รุ่นโอเพ่นซอร์สซีรีส์ Llama 3.1 รุ่นล่าสุดของ Meta ประสบความสำเร็จอย่างมากในด้านประสิทธิภาพ และเวอร์ชันพารามิเตอร์ 405B ยังเหนือกว่ารุ่นโอเพ่นซอร์สบางรุ่นอีกด้วย ในบรรดาเวอร์ชันเหล่านั้น เวอร์ชัน Llama3.1-8B-Instruct รองรับหลายภาษา โดยมีความยาวบริบทสูงถึง 131,072 โทเค็น และได้รับการฝึกอบรมด้วยข้อมูลสังเคราะห์ขนาดใหญ่เพื่อปรับปรุงความสามารถในการให้เหตุผลในด้านต่างๆ เช่น โค้ดและคณิตศาสตร์ จากโมเดลนี้ ทีม OpenBuddy ได้เปิดตัวโมเดล OpenBuddy-Llama3.1-8B-v22.1-131K ที่รองรับคำถามและคำตอบภาษาจีน และการแปลข้ามภาษา ซึ่งแสดงให้เห็นถึงศักยภาพของโมเดลโอเพ่นซอร์สในแอปพลิเคชันหลายภาษา
Meta เพิ่งเปิดตัวซีรีส์โอเพ่นซอร์สรุ่นใหม่ Llama3.1 ซึ่งรวมถึงเวอร์ชันพารามิเตอร์ 405B ซึ่งมีประสิทธิภาพใกล้เคียงหรือเหนือกว่าโมเดลโอเพ่นซอร์สเช่น GPT-4 ในการทดสอบเกณฑ์มาตรฐานบางรายการ Llama3.1-8B-Instruct เป็นเวอร์ชันพารามิเตอร์ 8B ในซีรีส์นี้ รองรับภาษาอังกฤษ เยอรมัน ฝรั่งเศส อิตาลี โปรตุเกส สเปน ฮินดี และไทย ความยาวบริบทสูงสุด 131072 โทเค็น กำหนดเวลารับความรู้อัปเดตถึงเดือนธันวาคมปี 2023
เพื่อเพิ่มขีดความสามารถของ Llama3.1-8B-Instruct นั้น Meta ได้ใช้ข้อมูลสังเคราะห์มากกว่า 25 ล้านชิ้นในการฝึกอบรม ซึ่งสร้างขึ้นโดยโมเดล 405B ที่ใหญ่กว่า ซึ่งช่วยให้ Llama3.1-8B-Instruct แสดงความสามารถในการรับรู้และการใช้เหตุผลที่คล้ายคลึงกับ GPT3.5Turbo ในการเขียนโค้ด คณิตศาสตร์ และการทดสอบอื่นๆ
OpenBuddy ใช้โมเดล Llama3.1-8B-Instruct และฝึกฝนข้อมูลภาษาจีนจำนวนเล็กน้อยเพื่อเผยแพร่ OpenBuddy-Llama3.1-8B-v22.1-131k คนรุ่นใหม่ที่มีคำถามและคำตอบภาษาจีนและความสามารถในการแปลข้ามภาษา โมเดลข้ามภาษาแบบโอเพ่นซอร์ส แม้ว่า Llama3.1 เองจะไม่มีความสามารถด้านภาษาจีน แต่หลังจากการฝึกอบรมแล้ว โมเดลก็สามารถสร้างคำตอบที่โดยปกติแล้วมีเพียงโมเดลขนาดใหญ่เท่านั้นที่สามารถสร้างคำถามบางข้อที่มีแนวโน้มที่จะเกิดความสับสนทางแนวคิด ซึ่งแสดงศักยภาพทางปัญญาที่แข็งแกร่งยิ่งขึ้น
อย่างไรก็ตาม เนื่องจากข้อจำกัดของชุดข้อมูลและเวลาการฝึกอบรม OpenBuddy-Llama3.1-8B-v22.1 ยังคงมีข้อจำกัดด้านความรู้ภาษาจีน โดยเฉพาะอย่างยิ่งความรู้ด้านวัฒนธรรมดั้งเดิม อย่างไรก็ตาม โมเดลนี้แสดงประสิทธิภาพที่ค่อนข้างคงที่ในงานต่างๆ เช่น การทำความเข้าใจข้อความขนาดยาว ซึ่งได้รับประโยชน์จากความสามารถข้อความขนาดยาวดั้งเดิม
ในอนาคต OpenBuddy วางแผนที่จะจัดการฝึกอบรมในวงกว้างขึ้นสำหรับโมเดล 8B และ 70B เพื่อเพิ่มพูนความรู้ภาษาจีนของโมเดล ความสามารถด้านข้อความขนาดยาว และความสามารถด้านการรับรู้ และสำรวจความเป็นไปได้ในการปรับแต่งโมเดล 405B อย่างละเอียด
ที่อยู่โครงการ: https://modelscope.cn/models/OpenBuddy/openbuddy-llama3.1-8b-v22.1-131k
การเปิดตัวโมเดล OpenBuddy-Llama3.1-8B-v22.1-131k ถือเป็นก้าวใหม่ในการพัฒนาโมเดลโอเพ่นซอร์สหลายภาษา แม้ว่าจะยังมีช่องว่างสำหรับการปรับปรุงความรู้ภาษาจีน แต่ศักยภาพของมันก็คุ้มค่าที่จะรอคอย ในอนาคต เมื่อขนาดของการฝึกอบรมแบบจำลองขยายออกไป ประสิทธิภาพก็คาดว่าจะได้รับการปรับปรุงให้ดียิ่งขึ้นไปอีก หวังว่าจะได้รับความประหลาดใจเพิ่มเติมจากทีมงาน OpenBuddy ในอนาคต