Yuanshi Intelligence (RWKV) อาศัยสถาปัตยกรรม AI ที่สร้างการเปลี่ยนแปลงครั้งใหญ่เพื่อรับเงินหลายสิบล้านหยวนในการจัดหาเงินทุน Angel Round ในเดือนธันวาคม 2566 ซึ่งเพิ่มการประเมินมูลค่าเป็นสองเท่า การจัดหาเงินทุนรอบนี้นำโดย Skyrim Capital และเงินทุนส่วนใหญ่จะใช้สำหรับการสร้างทีม การวิจัยและพัฒนาเทคโนโลยี และการค้าผลิตภัณฑ์ ในฐานะความพยายามเชิงนวัตกรรมสำหรับสถาปัตยกรรม Transformer แบบดั้งเดิม สถาปัตยกรรม RWKV มีเป้าหมายเพื่อแก้ไขข้อบกพร่องในด้านประสิทธิภาพและความแม่นยำของโมเดลภาษาขนาดใหญ่ที่มีอยู่ และมุ่งมั่นที่จะเปิดโอกาสใหม่ๆ ในด้าน AI
ท่ามกลางกระแส AI เจนเนอเรชั่นระดับโลกในปี 2022 Yuanshi Intelligence (RWKV) ระดมทุนหลายสิบล้านหยวนในการระดมทุน Angel Round ในเดือนธันวาคม 2023 ซึ่งลงทุนโดย Skyrim Capital หลังจากการระดมทุนครั้งนี้ การประเมินมูลค่าของบริษัทเพิ่มขึ้นสองเท่า และเงินทุนจะถูกนำไปใช้สำหรับการขยายทีม การวิจัยและพัฒนาโครงสร้างใหม่ และการจำหน่ายผลิตภัณฑ์ในเชิงพาณิชย์
การเกิดขึ้นของ RWKV ถือเป็นความท้าทายอันทรงพลังต่อสถาปัตยกรรม Transformer แบบดั้งเดิม ด้วยการพัฒนาโมเดลภาษาขนาดใหญ่ (LLM) แม้ว่าขนาดพารามิเตอร์ของโมเดลจะมีขนาดใหญ่ขึ้นเรื่อยๆ แต่ข้อบกพร่องในประเด็นต่างๆ เช่น ภาพลวงตาและความแม่นยำ มักจะแก้ไขได้ยาก ดังนั้น ทีมผู้ก่อตั้ง RWKV จึงตัดสินใจสำรวจสถาปัตยกรรมใหม่ทั้งหมดเพื่อให้บรรลุประสิทธิภาพและความยืดหยุ่นที่มากขึ้น
แนวคิดการออกแบบของ RWKV นั้นแตกต่างจาก Transformer อย่างสิ้นเชิง Luo Xuan ผู้ร่วมก่อตั้งกล่าวว่าโมเดล Transformer แบบดั้งเดิมจำเป็นต้องอ่านข้อความก่อนหน้าซ้ำทุกครั้งที่สร้างโทเค็น ในขณะที่ RWKV ไม่จำเป็นต้องบันทึกสถานะของโทเค็นแต่ละรายการ ซึ่งช่วยลดปริมาณการคำนวณลงอย่างมาก RWKV บรรลุความก้าวหน้าในด้านประสิทธิภาพและความสามารถในการจำลองภาษาโดยการรวมข้อดีของ RNN (Recurrent Neural Network)
ข้อดีของสถาปัตยกรรมที่เป็นนวัตกรรมนี้คือ RWKV สามารถประมวลผลข้อมูลในพื้นที่สถานะที่จำกัด ด้วยวิธีการเรียนรู้แบบเสริมกำลัง โมเดลสามารถกำหนดได้โดยอัตโนมัติเมื่อจำเป็นต้องตรวจสอบข้อความก่อนหน้า ซึ่งจะช่วยปรับปรุงความสามารถด้านหน่วยความจำ เมื่อเปรียบเทียบกับรุ่นดั้งเดิม RWKV มีประสิทธิภาพเหนือกว่าในการทดสอบเกณฑ์มาตรฐานหลายรายการ ซึ่งพิสูจน์ได้ว่ามีการปรับปรุงประสิทธิภาพการเรียนรู้ภาษา
ปัจจุบัน RWKV ได้เสร็จสิ้นการฝึกอบรมโมเดลตั้งแต่ 0.1B ถึง 14B และได้เปิดตัวโมเดลตัวอย่าง 32B ในชุมชนต่างประเทศ ในอนาคต Yuanshi Intelligence วางแผนที่จะเปิดตัว RWKV-7 ที่มีพารามิเตอร์ 70B ขึ้นไปในปี 2568 และสำรวจเฟรมเวิร์กและชิปการอนุมานใหม่ๆ เพื่อปรับปรุงประสิทธิภาพของโมเดลให้ดียิ่งขึ้น
ในแง่ของธุรกิจ RWKV ไม่เพียงแต่ให้บริการโครงการโอเพ่นซอร์สเท่านั้น แต่ยังดำเนินรูปแบบเชิงพาณิชย์ที่เกี่ยวข้องกับการสร้างเพลง AI และความร่วมมือกับองค์กรต่างๆ อีกด้วย ด้วยการพัฒนาเทคโนโลยีและความก้าวหน้าในเชิงพาณิชย์ RWKV มุ่งมั่นที่จะเป็น "Android และ Linux" ในด้านโมเดลขนาดใหญ่
สถาปัตยกรรมเชิงนวัตกรรมและรูปแบบเชิงพาณิชย์ของ RWKV แสดงให้เห็นถึงศักยภาพที่แข็งแกร่งในสาขาโมเดลขนาดใหญ่ที่มีการแข่งขันสูง และการพัฒนาในอนาคตก็คุ้มค่ากับการรอคอย เป้าหมายในการเป็น "Android และ Linux" ในสาขาโมเดลขนาดใหญ่ยังสะท้อนถึงความทะเยอทะยานอันสูงส่งของบริษัทอีกด้วย ฉันเชื่อว่าในขณะที่เทคโนโลยียังคงเติบโตอย่างต่อเนื่องและรูปแบบธุรกิจได้รับการปรับปรุง RWKV จะบรรลุความสำเร็จที่ยิ่งใหญ่ยิ่งขึ้นในด้าน AI