ในด้านปัญญาประดิษฐ์การใช้เหตุผลแบบจำลองที่มีประสิทธิภาพเป็นสิ่งจำเป็น นักพัฒนากำลังสำรวจวิธีการอย่างต่อเนื่องในการเรียกใช้รูปแบบภาษาขนาดใหญ่บนแพลตฟอร์มฮาร์ดแวร์ที่แตกต่างกัน เมื่อเร็ว ๆ นี้ผู้พัฒนา Andrei David ได้ประสบความสำเร็จอย่างน่าทึ่ง: เขาประสบความสำเร็จในการปลูกถ่าย Meta Ai Llama 2 ไปยังคอนโซลเกม Xbox 360 เกือบ 20 ปี สิ่งนี้ได้เอาชนะความท้าทายมากมายเช่นสถาปัตยกรรม PowerPC การ จำกัด หน่วยความจำและการแปลง Endian และมอบประสบการณ์ที่มีคุณค่าสำหรับการใช้แบบจำลองภาษาขนาดใหญ่ในสภาพแวดล้อมทรัพยากรต่ำ
วันนี้ด้วยการพัฒนาอย่างรวดเร็วของเทคโนโลยีปัญญาประดิษฐ์วิธีการบรรลุการให้เหตุผลแบบจำลองที่มีประสิทธิภาพในฮาร์ดแวร์ต่างๆได้กลายเป็นความท้าทายที่สำคัญสำหรับนักพัฒนา เมื่อเร็ว ๆ นี้ผู้พัฒนา Andrei David พบแรงบันดาลใจจากเกมคอนโซล Xbox360 เกือบ 20 ปี
เดวิดแบ่งปันความสำเร็จของเขาบนแพลตฟอร์มโซเชียลมีเดีย X โดยกล่าวว่าความท้าทายที่เขาเผชิญนั้นมีขนาดใหญ่มาก PowerPC CPU ของ Xbox360 ใช้สถาปัตยกรรมขนาดใหญ่-เอดินซึ่งหมายความว่าเมื่อการกำหนดค่าแบบจำลองและน้ำหนักถูกโหลดจะต้องทำการแปลง Endian จำนวนมาก นอกจากนี้เดวิดยังต้องมีการปรับและปรับให้เหมาะสมในเชิงลึกของรหัสต้นฉบับเพื่อให้สามารถทำงานได้อย่างราบรื่นบนฮาร์ดแวร์ที่มีอายุมากขึ้น
การจัดการหน่วยความจำยังเป็นปัญหาสำคัญที่เขาต้องแก้ไข ขนาดของรุ่น LLAMA2 ถึง 60MB และสถาปัตยกรรมหน่วยความจำของ Xbox360 เป็นหน่วยความจำแบบครบวงจรซึ่งหมายความว่า CPU และ GPU จำเป็นต้องใช้หน่วยความจำเดียวกัน สิ่งนี้ทำให้เดวิดระมัดระวังมากเมื่อออกแบบความทรงจำ เขาเชื่อว่าถึงแม้ว่าขีด จำกัด ความทรงจำของ Xbox360 จะก้าวไปข้างหน้าอย่างมาก -มองในเวลานั้นสถาปัตยกรรมของมันก็มองไปข้างหน้าอย่างมาก -มองเห็นเทคโนโลยีการจัดการหน่วยความจำมาตรฐานของคอนโซลเกมที่ทันสมัยและ APUs
หลังจากการเข้ารหัสและการเพิ่มประสิทธิภาพซ้ำ ๆ ในที่สุดเดวิดก็ประสบความสำเร็จในการเรียกใช้โมเดล LLAMA2 ใน Xbox360 เพียงแค่พร้อมด้วยพรอมต์ง่ายๆ: "Sleeping Joe พูด" เป็นเรื่องที่ควรค่าแก่การกล่าวถึงว่ารุ่น LLAMA2 มีรหัส C เพียง 700 แถวและไม่มีการพึ่งพาภายนอกซึ่งทำให้มันแสดงให้เห็นถึงประสิทธิภาพที่แข็งแกร่งภายใต้การปรับแต่งของเขตข้อมูลเฉพาะ
สำหรับนักพัฒนาคนอื่น ๆ ความสำเร็จของดาวิดทำให้พวกเขามีทิศทางใหม่ ผู้ใช้บางคนแนะนำว่าหน่วยความจำ 512MB ของ Xbox360 อาจรองรับการใช้งาน LLM ขนาดเล็กอื่น ๆ เช่น smollm ที่พัฒนาโดยการกอดใบหน้า David ยินดีต้อนรับสิ่งนี้
กรณีที่ประสบความสำเร็จของเดวิดให้แนวคิดและแรงบันดาลใจใหม่ ๆ สำหรับนักพัฒนาซึ่งพิสูจน์ได้ว่าแม้ในอุปกรณ์ที่มีทรัพยากรที่ จำกัด พวกเขายังสามารถเรียกใช้แบบจำลองภาษาขนาดใหญ่ผ่านการเพิ่มประสิทธิภาพที่ชาญฉลาดและการปรับรหัส สิ่งนี้ไม่เพียง แต่ส่งเสริมการพัฒนาเทคโนโลยีปัญญาประดิษฐ์ในด้านการคำนวณขอบ แต่ยังให้ความเป็นไปได้ไม่ จำกัด สำหรับแอพพลิเคชั่นที่เป็นนวัตกรรมมากขึ้นในอนาคต ในอนาคตเราหวังว่าจะได้เห็นความก้าวหน้าที่คล้ายกันมากขึ้นและนำเทคโนโลยีปัญญาประดิษฐ์มาสู่สถานการณ์แอปพลิเคชันที่หลากหลาย