บริษัท xAI ได้โอเพ่นซอร์สโดยผู้เชี่ยวชาญแบบไฮบริดพารามิเตอร์รุ่น Grok-1 มูลค่า 3.14 แสนล้านเครื่อง ซึ่งดึงดูดความสนใจอย่างกว้างขวางในด้านปัญญาประดิษฐ์ น้ำหนักและสถาปัตยกรรมเครือข่ายของโมเดลเป็นแบบเปิดโดยสมบูรณ์ และได้รับการฝึกตั้งแต่ต้นโดยอิงจากข้อมูลข้อความจำนวนมาก โดยไม่มีการปรับแต่งเฉพาะแอปพลิเคชันอย่างละเอียด น้ำหนักการเปิดใช้งานคือ 25% ไลบรารี JAX และภาษา Rust ใช้สำหรับการฝึกอบรมแบบกำหนดเองและสอดคล้องกับลิขสิทธิ์ Apache2.0 ซึ่งสะดวกสำหรับนักพัฒนาในการใช้งานและการพัฒนารอง โอเพ่นซอร์สของโมเดลช่วยให้นักวิจัยได้รับทรัพยากรการเรียนรู้และการวิจัยที่มีคุณค่า และยังส่งเสริมการพัฒนาเพิ่มเติมในด้านปัญญาประดิษฐ์อีกด้วย แม้ว่านักวิจัยบางคนเชื่อว่าจำเป็นต้องปรับปรุงความเปิดกว้างของมัน แต่การเปิดตัว Grok-1 ถือเป็นความก้าวหน้าครั้งสำคัญในด้านปัญญาประดิษฐ์อย่างไม่ต้องสงสัย
บริษัท xAI ของ Musk ประกาศว่าจะเปิดซอร์สโมเดลผู้เชี่ยวชาญไฮบริด 314 พันล้านพารามิเตอร์ "Grok-1" พร้อมตุ้มน้ำหนักแบบเปิดเต็มรูปแบบและสถาปัตยกรรมเครือข่าย โมเดลได้รับการฝึกฝนตั้งแต่เริ่มต้นโดยไม่มีการปรับแต่งเฉพาะแอปพลิเคชัน โดยอิงตามข้อมูลข้อความจำนวนมาก น้ำหนักการเปิดใช้งานโมเดล MoE คือ 25% ใช้ไลบรารี JAX และภาษา Rust เพื่อปรับแต่งสแต็กการฝึกอบรมและสอดคล้องกับลิขสิทธิ์ Apache2.0 และความนิยมยังคงเพิ่มขึ้นอย่างต่อเนื่อง ที่เก็บโมเดลจะมีโค้ดตัวอย่าง JAX ซึ่งต้องใช้หน่วยความจำ GPU ขนาดใหญ่ และมีลิงก์แม่เหล็กเพื่อดาวน์โหลดไฟล์น้ำหนัก นักวิจัยประเมินว่า Grok-1 มีความเปิดกว้างน้อยกว่าและสามารถคาดการณ์ได้ดีกว่า LLaMA-2 โดยให้รายละเอียดสถาปัตยกรรมแบบจำลอง และเรียกร้องให้มีรายละเอียดต่อสาธารณะเพิ่มเติม
โอเพ่นซอร์สของ Grok-1 แม้ว่าจะมีข้อโต้แย้งบางประการในแง่ของความเปิดกว้าง แต่ประสิทธิภาพอันทรงพลังและใบอนุญาตแบบเปิดทำให้เป็นโมเดลที่ควรค่าแก่ความสนใจ และคาดว่าจะส่งเสริมการพัฒนาในสาขาโมเดลภาษาขนาดใหญ่ ในอนาคต เราหวังว่าจะมีโครงการโอเพ่นซอร์สที่คล้ายกันเกิดขึ้นเพื่อร่วมกันส่งเสริมความก้าวหน้าของเทคโนโลยีปัญญาประดิษฐ์ การได้มาและการใช้แบบจำลองนั้นจำเป็นต้องมีเกณฑ์ทางเทคนิคที่แน่นอน แต่ไม่ได้ขัดขวางการมีส่วนร่วมในการวิจัยปัญญาประดิษฐ์