Di bidang kecerdasan buatan, penalaran model yang efisien sangat penting. Pengembang terus -menerus mengeksplorasi metode untuk menjalankan model bahasa besar pada platform perangkat keras yang berbeda. Baru -baru ini, pengembang Andrei David telah membuat pencapaian yang luar biasa: ia berhasil mentransplantasikan model meta Ai llama 2 ke konsol game Xbox 360 hampir 20 tahun. Ini telah mengatasi banyak tantangan seperti arsitektur PowerPC, pembatasan memori, dan konversi Endian, dan memberikan pengalaman yang berharga untuk menjalankan model bahasa besar di lingkungan sumber daya rendah.
Saat ini, dengan perkembangan cepat teknologi kecerdasan buatan, bagaimana mencapai penalaran model yang efisien dalam berbagai perangkat keras telah menjadi tantangan penting bagi pengembang. Baru -baru ini, pengembang Andrei David menemukan inspirasi dari konsol game Xbox360 hampir 20 tahun.
David berbagi prestasinya di platform media sosial X, mengatakan bahwa tantangan yang dihadapinya sangat besar. CPU PowerPC dari Xbox360 menggunakan arsitektur besar-endian, yang berarti bahwa ketika konfigurasi model dan berat dimuat, sejumlah besar konversi endian harus dilakukan. Selain itu, David juga perlu disesuaikan dan dioptimalkan secara mendalam dari kode asli sehingga dapat berjalan dengan lancar pada perangkat keras yang menua.
Manajemen memori juga merupakan masalah utama yang harus ia selesaikan. Ukuran model LLAMA2 mencapai 60MB, dan arsitektur memori Xbox360 adalah memori terpadu, yang berarti bahwa CPU dan GPU perlu berbagi memori yang sama. Ini membuat David sangat berhati -hati saat merancang memori. Dia percaya bahwa meskipun batas memori Xbox360 sangat maju -melihat pada saat itu, arsitekturnya sangat maju -melihat, menunjukkan teknologi manajemen memori standar konsol game modern dan APU.
Setelah pengkodean dan optimasi yang berulang, David akhirnya berhasil menjalankan model LLAMA2 di Xbox360, hanya prompt sederhana: "Sleeping Joe berkata". Perlu disebutkan bahwa model LLAMA2 hanya memiliki 700 baris kode C dan tidak ada dependensi eksternal, yang membuatnya menunjukkan "mengejutkan" kinerja kuat di bawah kustomisasi bidang spesifik.
Untuk pengembang lain, keberhasilan David memberi mereka arah baru. Beberapa pengguna telah menyarankan bahwa memori 512MB dari Xbox360 juga dapat mendukung implementasi LLM kecil lainnya, seperti SmollM yang dikembangkan dengan memeluk wajah. David menyambut ini.
Kasus -kasus David yang sukses memberikan ide dan inspirasi baru bagi pengembang, yang membuktikan bahwa bahkan pada perangkat dengan sumber daya yang terbatas, mereka juga dapat menjalankan model bahasa besar melalui optimasi yang cerdas dan penyesuaian kode. Ini tidak hanya mempromosikan pengembangan lebih lanjut dari teknologi kecerdasan buatan di bidang komputasi tepi, tetapi juga memberikan kemungkinan yang tidak terbatas untuk aplikasi yang lebih inovatif di masa depan. Di masa depan, kami berharap dapat melihat terobosan yang lebih mirip dan membawa teknologi kecerdasan buatan ke dalam berbagai skenario aplikasi.