ในช่วงไม่กี่ปีที่ผ่านมา เทคโนโลยีโมเดลภาษาขนาดใหญ่ (LLM) ได้รับการพัฒนาอย่างรวดเร็ว และโมเดลต่างๆ ก็ได้ถือกำเนิดขึ้นทีละรุ่นๆ บทความนี้จะมุ่งเน้นไปที่ความคืบหน้าล่าสุดของรุ่น RNN Eagle7B และสถาปัตยกรรม RWKV ในการท้าทายความเหนือกว่าของรุ่น Transformer Eagle7B ทำงานได้ดีในการวัดประสิทธิภาพหลายภาษาและลดต้นทุนการอนุมานได้อย่างมาก ในขณะที่สถาปัตยกรรม RWKV ผสมผสานข้อดีของ RNN และ Transformer เพื่อให้ได้ประสิทธิภาพที่เทียบเคียงได้กับ GPT ความก้าวหน้าเหล่านี้ได้นำความเป็นไปได้ใหม่ๆ มาสู่เทคโนโลยีปัญญาประดิษฐ์ และยังได้ประกาศถึงการเปลี่ยนแปลงในทิศทางการพัฒนาของเทคโนโลยี LLM ในอนาคต
ด้วยการเพิ่มขึ้นของโมเดลขนาดใหญ่ โมเดล RNN Eagle7B ท้าทายความเหนือกว่าของ Transformer โมเดลดังกล่าวได้รับประสิทธิภาพที่เหนือกว่าในการวัดประสิทธิภาพหลายภาษา ในขณะเดียวกันก็ลดต้นทุนการอนุมานได้หลายสิบเท่า ทีมงานมุ่งมั่นที่จะสร้างปัญญาประดิษฐ์ที่ครอบคลุม รองรับ 25 ภาษาทั่วโลก และครอบคลุมผู้คน 4 พันล้านคน ความสำคัญของขนาดข้อมูลในการปรับปรุงประสิทธิภาพของโมเดลมีความโดดเด่นมากขึ้นเรื่อยๆ และสถาปัตยกรรมจำเป็นต้องมีประสิทธิภาพและปรับขนาดได้มากขึ้น ด้วยการแนะนำข้อดีของ RNN และ Transformer สถาปัตยกรรม RWKV จึงบรรลุประสิทธิภาพระดับ GPT และนำความเป็นไปได้ใหม่ๆ มาสู่เทคโนโลยีปัญญาประดิษฐ์การเกิดขึ้นของสถาปัตยกรรม Eagle7B และ RWKV ถือเป็นการเกิดขึ้นของคู่แข่งใหม่และเส้นทางทางเทคนิคในด้านโมเดลภาษาขนาดใหญ่ ซึ่งให้ความเป็นไปได้มากขึ้นในการพัฒนาปัญญาประดิษฐ์ในอนาคต พวกเขาไม่เพียงแต่สร้างความก้าวหน้าในด้านประสิทธิภาพเท่านั้น แต่ที่สำคัญกว่านั้น ยังช่วยลดต้นทุนและปรับปรุงความสามารถในการขยายขนาด ซึ่งมีความสำคัญอย่างยิ่งต่อความนิยมและการประยุกต์ใช้เทคโนโลยีปัญญาประดิษฐ์ เราหวังว่าจะมีนวัตกรรมที่คล้ายกันเกิดขึ้นในอนาคต