Des progrès révolutionnaires ont été réalisés dans la technologie de quantification à faible bit pour les grands modèles de langage. La méthode BitNet b1.58 lancée conjointement par Microsoft et l'Université de l'Académie chinoise des sciences convertit les paramètres du modèle en représentation ternaire, réduisant considérablement l'empreinte mémoire du modèle et simplifiant le processus de calcul. Cela marque que les grands modèles linguistiques sont officiellement entrés dans « l'ère 1 bit », indiquant que les futurs modèles seront plus légers et plus efficaces.
Les grands modèles de langage ont inauguré « l'ère du 1 bit ». La méthode BitNet b1.58 proposée par Microsoft et l'Université de l'Académie chinoise des sciences convertit les paramètres en représentation ternaire, ce qui réduit fondamentalement l'empreinte mémoire du modèle et simplifie le calcul. processus. Les performances de cette méthode ont été comparées sur des modèles de différentes tailles, la vitesse a été améliorée et l'utilisation de la mémoire a été réduite, ce qui a déclenché de vives discussions parmi les internautes.
L'émergence de la méthode BitNet b1.58 apporte de nouvelles possibilités pour l'application de grands modèles de langage et ouvre la voie à de futures orientations de recherche. Cela améliore non seulement l’efficacité du modèle, mais réduit également les coûts d’exploitation et favorise une application plus large de la technologie de l’IA. Nous attendons avec impatience d’autres avancées similaires à l’avenir, permettant à la technologie de l’IA de bénéficier à un plus large éventail de personnes.