Kemajuan terobosan telah dicapai dalam teknologi kuantisasi bit rendah untuk model bahasa besar. Metode BitNet b1.58 yang diluncurkan bersama oleh Microsoft dan University of Chinese Academy of Sciences mengubah parameter model menjadi representasi ternary, secara signifikan mengurangi jejak memori model dan menyederhanakan proses penghitungan. Hal ini menandai bahwa model bahasa besar telah resmi memasuki "era 1-bit", yang menunjukkan bahwa model masa depan akan lebih ringan dan efisien.
Model bahasa besar telah mengantarkan "era 1-bit". Metode BitNet b1.58 yang diusulkan oleh Microsoft dan Universitas Akademi Ilmu Pengetahuan China mengubah parameter menjadi representasi ternary, yang secara mendasar mengurangi jejak memori model dan menyederhanakan penghitungan. proses. Kinerja metode ini dibandingkan pada model dengan ukuran berbeda. Kecepatannya ditingkatkan dan penggunaan memori dikurangi, yang memicu diskusi hangat di kalangan netizen.
Munculnya metode BitNet b1.58 membawa kemungkinan baru pada penerapan model bahasa besar dan menunjukkan jalan bagi arah penelitian di masa depan. Hal ini tidak hanya meningkatkan efisiensi model, namun juga mengurangi biaya pengoperasian dan mendorong penerapan teknologi AI secara lebih luas. Kami menantikan lebih banyak terobosan serupa di masa depan, yang memungkinkan teknologi AI memberikan manfaat bagi lebih banyak orang.