สถาปัตยกรรมโมเดล "Titans" ล่าสุดที่เผยแพร่โดย Google Research ได้สร้างกระแสในสาขาปัญญาประดิษฐ์ด้วยความยาวบริบทของโทเค็นที่ล้ำหน้าถึง 2 ล้าน การออกแบบเชิงนวัตกรรมนี้จำลองระบบหน่วยความจำของมนุษย์ ผสมผสานการตอบสนองที่รวดเร็วของหน่วยความจำระยะสั้นเข้ากับความทนทานของหน่วยความจำระยะยาว และใช้กลไกความสนใจอย่างชาญฉลาดเพื่อให้เกิดการประมวลผลข้อมูลที่มีประสิทธิภาพ มันแสดงให้เห็นถึงข้อได้เปรียบที่สำคัญในงานการประมวลผลแบบลำดับยาว และยังเหนือกว่ารุ่นต่างๆ เช่น GPT-4 ที่มีหมายเลขพารามิเตอร์ที่สูงกว่ามากในบางสถานการณ์การใช้งาน
เมื่อเร็วๆ นี้ Google Research ได้เปิดตัวสถาปัตยกรรมโมเดลซีรีส์ "Titans" ที่เป็นนวัตกรรมใหม่ ซึ่งบรรลุความสำเร็จในบริบทของโทเค็นความยาว 2 ล้านโทเค็นผ่านการออกแบบไบโอนิค และวางแผนที่จะใช้เทคโนโลยีที่เกี่ยวข้องกับโอเพ่นซอร์สในอนาคต
นวัตกรรมหลักของสถาปัตยกรรมนี้คือการเปิดตัวโมดูลหน่วยความจำระยะยาวแบบ deep neural ซึ่งการออกแบบได้รับแรงบันดาลใจจากระบบหน่วยความจำของมนุษย์ Titans ผสมผสานความสามารถในการตอบสนองอย่างรวดเร็วของหน่วยความจำระยะสั้นเข้ากับคุณลักษณะการคงอยู่ของหน่วยความจำระยะยาวอย่างชาญฉลาด ขณะเดียวกันก็ใช้กลไกความสนใจเพื่อประมวลผลบริบทที่เกิดขึ้นทันที ก่อให้เกิดระบบประมวลผลข้อมูลที่มีประสิทธิภาพ
จากข้อมูลของ Google Titans แสดงให้เห็นถึงข้อได้เปรียบที่สำคัญในงานประมวลผลลำดับยาว สถาปัตยกรรมนี้มีความก้าวหน้าอย่างมากทั้งในด้านการสร้างแบบจำลองภาษาและการทำนายอนุกรมเวลา สิ่งที่น่าสังเกตมากกว่านั้นคือในบางสถานการณ์ของแอปพลิเคชัน Titans ยังมีเหนือกว่ารุ่นอย่าง GPT-4 ด้วยจำนวนพารามิเตอร์หลายสิบเท่า
ด้วยความมุ่งมั่นของ Google ในด้านเทคโนโลยีที่เกี่ยวข้องกับโอเพ่นซอร์ส การเกิดขึ้นของ Titans อาจนำมาซึ่งแนวทางการพัฒนาใหม่สำหรับการประมวลผลข้อความขนาดยาวในสาขา AI การออกแบบเชิงนวัตกรรมที่รวมเอาหลักการทางปัญญาทางชีวภาพนี้แสดงให้เห็นถึงความเป็นไปได้ในการลดจำนวนพารามิเตอร์แบบจำลองไปพร้อมๆ กับการเพิ่มประสิทธิภาพการประมวลผล
แผนโอเพ่นซอร์สของสถาปัตยกรรมโมเดล Titans จะนำคุณประโยชน์มหาศาลมาสู่ชุมชนปัญญาประดิษฐ์ ส่งเสริมการพัฒนาเทคโนโลยีการประมวลผลข้อความแบบยาว และคาดว่าจะก่อให้เกิดแอปพลิเคชันที่เป็นนวัตกรรมมากขึ้น แนวคิดการออกแบบไบโอนิคยังให้แนวคิดและทิศทางใหม่สำหรับการออกแบบโมเดล AI ในอนาคต