เมื่อเร็วๆ นี้ Apple ได้สร้างความก้าวหน้าครั้งใหญ่ในด้านความเร็วของการสร้างโมเดลภาษาขนาดใหญ่ (LLM) โดยได้ร่วมมือกับ NVIDIA เพื่อใช้เทคโนโลยีโอเพ่นซอร์ส Recurrent Drafter (ReDrafter) เพื่อเพิ่มความเร็วเกือบสามเท่าของการสร้าง ReDrafter ใช้วิธีการถอดรหัสแบบเก็งกำไรเพื่อปรับปรุงประสิทธิภาพการฝึกโมเดลอย่างมีนัยสำคัญ และรวมเข้ากับเฟรมเวิร์กการเร่งความเร็วการอนุมาน TensorRT-LLM ของ NVIDIA เพื่อลดต้นทุนการใช้งานและเวลาแฝงเพิ่มเติม ความร่วมมือนี้ไม่เพียงแต่ปรับปรุงประสิทธิภาพการพัฒนาเท่านั้น แต่ยังมอบประสบการณ์การบริการที่รวดเร็วยิ่งขึ้นแก่ผู้ใช้ ซึ่งถือเป็นความมุ่งมั่นและความแข็งแกร่งของ Apple ที่จะสร้างสรรค์นวัตกรรมในด้าน AI ต่อไป บทความนี้จะกล่าวถึงรายละเอียดของความร่วมมือระหว่าง Apple และ NVIDIA และข้อดีของเทคโนโลยี ReDrafter
เมื่อเร็วๆ นี้ การวิจัยล่าสุดของ Apple ในด้านการเรียนรู้ของเครื่องแสดงให้เห็นว่าด้วยความร่วมมือกับ NVIDIA พวกเขาประสบความสำเร็จในการเพิ่มความเร็วการสร้างโมเดลภาษาขนาดใหญ่ (LLM) ได้เกือบสามเท่า กุญแจสำคัญในความก้าวหน้านี้อยู่ที่เทคโนโลยีโอเพ่นซอร์ส “Recurrent Drafter” (ReDrafter) ของ Apple ซึ่งใช้วิธีการถอดรหัสแบบเก็งกำไรซึ่งสามารถปรับปรุงประสิทธิภาพของการฝึกโมเดลได้อย่างมาก
ในอดีต กระบวนการการสร้างแบบจำลองภาษาขนาดใหญ่มักใช้เวลานานและใช้ทรัพยากรมาก และบริษัทต่างๆ มักจำเป็นต้องซื้ออุปกรณ์ฮาร์ดแวร์จำนวนมาก ซึ่งส่งผลให้ต้นทุนการดำเนินงานเพิ่มขึ้น ในช่วงต้นปี 2024 Apple ได้เปิดตัว ReDrafter ซึ่งเป็นเทคโนโลยีที่ผสมผสานโครงข่ายประสาทเทียมแบบเรียกซ้ำและวิธีการสนใจต้นไม้แบบไดนามิกเพื่อสร้างและตรวจสอบแท็กอย่างรวดเร็ว โดยเพิ่มความเร็วในการสร้างแท็กได้ 3.5 เท่า เมื่อเทียบกับวิธีการถดถอยอัตโนมัติแบบดั้งเดิม
ในสัปดาห์นี้ Apple ได้ประกาศเพิ่มเติมว่าความร่วมมือกับ NVIDIA จะรวม ReDrafter เข้ากับเฟรมเวิร์กการเร่งการอนุมาน TensorRT-LLM ของ NVIDIA การเคลื่อนไหวนี้จะช่วยให้นักพัฒนาแมชชีนเลิร์นนิงที่ใช้ NVIDIA GPU สามารถใช้ประโยชน์จากความสามารถในการเร่งความเร็วของ ReDrafter ในสภาพแวดล้อมการผลิต เป็นมูลค่าการกล่าวขวัญว่าแม้ว่าเซิร์ฟเวอร์หลาย GPU ประสิทธิภาพสูงมักจะมีราคาแพง แต่ความร่วมมือนี้สามารถลดเวลาแฝงในขณะที่ลดปริมาณฮาร์ดแวร์ที่ต้องการ ส่งผลให้เกิดโซลูชันที่ประหยัดมากขึ้น
ในการทดสอบเกณฑ์มาตรฐานกับ NVIDIA ประสิทธิภาพการสร้างโดยใช้ ReDrafter ได้รับการปรับปรุงอย่างมีนัยสำคัญ โดยเพิ่มการสร้างโทเค็นต่อวินาที 2.7 เท่าในโหมดการเข้ารหัสแบบละโมบ ซึ่งหมายความว่านักพัฒนาจะได้รับผลลัพธ์มากขึ้นโดยใช้เวลาน้อยลง และมอบประสบการณ์การบริการที่รวดเร็วยิ่งขึ้นให้กับผู้ใช้
หลังจากยืนยันความร่วมมือกับ NVIDIA แล้ว Apple ยังระบุด้วยว่าพวกเขากำลังพิจารณาใช้ชิป Trainium2 ของ Amazon เพื่อปรับปรุงประสิทธิภาพการฝึกโมเดล คาดว่าประสิทธิภาพของการฝึกอบรมล่วงหน้าโดยใช้ Trainium2 จะได้รับการปรับปรุงขึ้น 50% เมื่อเทียบกับฮาร์ดแวร์ที่มีอยู่
บล็อกอย่างเป็นทางการ: https://developer.nvidia.com/blog/nvidia-tensorrt-llm-now-supports-recurrent-drafting-for-optimizing-llm-inference/
ไฮไลท์:
Apple ร่วมมือกับ NVIDIA เพื่อเพิ่มความเร็วเกือบสามเท่าของการสร้างโมเดลภาษาขนาดใหญ่
เทคโนโลยีโอเพ่นซอร์ส ReDrafter ผสมผสานกับโครงข่ายประสาทที่เกิดซ้ำเพื่อปรับปรุงประสิทธิภาพการฝึกโมเดลอย่างมาก
การทำงานร่วมกันนี้ช่วยลดต้นทุนและมอบโซลูชันที่มีประสิทธิภาพมากขึ้นสำหรับนักพัฒนาแมชชีนเลิร์นนิง
โดยรวมแล้ว ความร่วมมือระหว่าง Apple และ NVIDIA และการประยุกต์ใช้เทคโนโลยี ReDrafter ได้นำมาซึ่งการปรับปรุงประสิทธิภาพที่สำคัญและการลดต้นทุนในการพัฒนาและการประยุกต์ใช้โมเดลภาษาขนาดใหญ่ สิ่งนี้ไม่เพียงแต่ส่งเสริมความก้าวหน้าทางเทคโนโลยีในด้านปัญญาประดิษฐ์เท่านั้น แต่ยังนำเสนอโซลูชั่นที่สะดวกและประหยัดมากขึ้นแก่นักพัฒนาและผู้ใช้ ซึ่งบ่งบอกถึงการพัฒนาแอปพลิเคชัน AI อย่างแข็งแกร่งในอนาคต