ความก้าวหน้าครั้งสำคัญเกิดขึ้นจากเทคโนโลยีการหาปริมาณบิตต่ำสำหรับโมเดลภาษาขนาดใหญ่ วิธี BitNet b1.58 เปิดตัวร่วมกันโดย Microsoft และ University of Chinese Academy of Sciences แปลงพารามิเตอร์โมเดลเป็นตัวแทนแบบไตรภาค ซึ่งช่วยลดพื้นที่หน่วยความจำของโมเดลลงอย่างมาก และทำให้กระบวนการคำนวณง่ายขึ้น นี่เป็นเครื่องหมายว่าโมเดลภาษาขนาดใหญ่ได้เข้าสู่ "ยุค 1 บิต" อย่างเป็นทางการแล้ว ซึ่งบ่งชี้ว่าโมเดลในอนาคตจะเบากว่าและมีประสิทธิภาพมากขึ้น
โมเดลภาษาขนาดใหญ่ได้นำไปสู่ "ยุค 1 บิต" วิธี BitNet b1.58 ที่เสนอโดย Microsoft และ University of Chinese Academy of Sciences จะแปลงพารามิเตอร์เป็นการเป็นตัวแทนแบบไตรภาค ซึ่งจะลดขนาดหน่วยความจำของโมเดลโดยพื้นฐานและทำให้การคำนวณง่ายขึ้น กระบวนการ. ประสิทธิภาพของวิธีนี้ถูกนำมาเปรียบเทียบกับรุ่นที่มีขนาดต่างกัน ความเร็วได้รับการปรับปรุงและลดการใช้หน่วยความจำ ซึ่งก่อให้เกิดการถกเถียงกันอย่างดุเดือดในหมู่ชาวเน็ต
การเกิดขึ้นของวิธี BitNet b1.58 นำมาซึ่งความเป็นไปได้ใหม่ๆ ในการประยุกต์ใช้โมเดลภาษาขนาดใหญ่ และชี้ทางสำหรับทิศทางการวิจัยในอนาคต ไม่เพียงปรับปรุงประสิทธิภาพของโมเดลเท่านั้น แต่ยังช่วยลดต้นทุนการดำเนินงานและส่งเสริมการประยุกต์ใช้เทคโนโลยี AI ในวงกว้างอีกด้วย เราหวังว่าจะมีความก้าวหน้าที่คล้ายกันมากขึ้นในอนาคต ซึ่งจะทำให้เทคโนโลยี AI เป็นประโยชน์ต่อผู้คนในวงกว้างขึ้น