สถาบันวิจัยปัญญาประดิษฐ์ที่ไม่แสวงหาผลกำไร AI2 เปิดตัวชุดภาษาเปิดใหม่ Olmo2 Olmo2 ติดตามคำจำกัดความของการริเริ่มรหัสโอเพนซอร์สอย่างเคร่งครัดและข้อมูลการฝึกอบรมเครื่องมือและรหัสทั้งหมดมีอยู่ การเคลื่อนไหวของ AI2 มีจุดมุ่งหมายเพื่อส่งเสริมนวัตกรรมและการพัฒนาชุมชนโอเพ่นซอร์สและเพื่อให้นักพัฒนาทั่วโลกได้รับการสนับสนุนทางเทคนิคที่แข็งแกร่งและแพลตฟอร์มการแบ่งปันทรัพยากร
ซึ่งแตกต่างจากซีรี่ส์ Llama ของแบบจำลองภาษา "เปิด" อื่น ๆ ในตลาดเช่นซีรี่ส์ Llama ของ Meta ของ Meta, Olmo2 สอดคล้องกับคำจำกัดความที่เข้มงวดของความคิดริเริ่มรหัสโอเพนซอร์สซึ่งหมายความว่าข้อมูลเครื่องมือและรหัสที่ใช้สำหรับการพัฒนาของพวกเขา เปิดอยู่ ตามคำจำกัดความของสมาคมโปรโมชั่นรหัสโอเพ่นซอร์ส Olmo2 เป็นไปตามข้อกำหนดของหน่วยงานสำหรับมาตรฐาน "โอเพนซอร์ส AI"
AI2 กล่าวถึงในบล็อกว่าในระหว่างการพัฒนา OLMO2 ข้อมูลการฝึกอบรมทั้งหมดรหัสแผนการฝึกอบรมวิธีการประเมินผลและจุดตรวจสอบระดับกลางเปิดอย่างเต็มที่และจุดประสงค์ของการแบ่งปันทรัพยากรเพื่อส่งเสริมนวัตกรรมและการค้นพบชุมชนโอเพ่นซอร์ส "โดยการแบ่งปันข้อมูลโซลูชันและการค้นพบของเราต่อสาธารณะเราหวังว่าจะให้วิธีการใหม่ ๆ และเทคโนโลยีที่เป็นนวัตกรรมสำหรับชุมชนโอเพ่นซอร์ส" AI2 กล่าว
ซีรี่ส์ Olmo2 ประกอบด้วยสองเวอร์ชัน: หนึ่งคือ Olmo7b ที่มีพารามิเตอร์ 7 พันล้านและอีกรุ่นคือ Olmo13b ที่มีพารามิเตอร์ 13 พันล้านพารามิเตอร์ จำนวนพารามิเตอร์ที่มีผลโดยตรงต่อประสิทธิภาพของโมเดล ในงานข้อความทั่วไป Olmo2 ทำงานได้ดีและสามารถทำงานให้เสร็จเช่นการตอบคำถามสรุปเอกสารและการเขียนโค้ด
ในการฝึกอบรม OLMO2 AI2 ใช้ชุดข้อมูลที่มีโทเค็น 5 ล้านล้าน โทเค็นเป็นหน่วยที่เล็กที่สุดในรูปแบบภาษาและ 1 ล้านโทเค็นเท่ากับประมาณ 750,000 คำ ข้อมูลการฝึกอบรมรวมถึงเนื้อหาของเว็บไซต์คุณภาพสูงเอกสารทางวิชาการบอร์ดการอภิปรายคำถามและการฝึกฝนคณิตศาสตร์สังเคราะห์
AI2 มีความมั่นใจในการแสดงของ Olmo2 โดยอ้างว่าได้แข่งขันกับโมเดลโอเพนซอร์สเช่น Llama3.1 ของ Meta ในแง่ของการแสดง AI2 ชี้ให้เห็นว่าการแสดงของ Olmo27b นั้นเกินกว่า Llama3.18b ซึ่งเป็นหนึ่งในโมเดลภาษาที่แข็งแกร่งที่สุดและเปิดกว้างในปัจจุบัน ทุกรุ่น OLMO2 และส่วนประกอบของพวกเขาสามารถดาวน์โหลดได้ฟรีผ่านเว็บไซต์ทางการ AI2 และทำตามใบอนุญาต Apache2.0 ซึ่งหมายความว่าโมเดลเหล่านี้สามารถใช้ไม่เพียง แต่สำหรับการวิจัย แต่ยังสำหรับแอปพลิเคชันเชิงพาณิชย์
ลักษณะโอเพนซอร์สของ Olmo2 และประสิทธิภาพที่ยอดเยี่ยมได้นำความเป็นไปได้ใหม่ ๆ มาสู่การพัฒนาปัญญาประดิษฐ์