Se han logrado grandes avances en la tecnología de cuantificación de bits bajos para modelos de lenguaje grandes. El método BitNet b1.58 lanzado conjuntamente por Microsoft y la Academia de Ciencias de la Universidad de China convierte los parámetros del modelo en una representación ternaria, lo que reduce significativamente la huella de memoria del modelo y simplifica el proceso de cálculo. Esto marca que los modelos de lenguajes grandes han entrado oficialmente en la "era de 1 bit", lo que indica que los modelos futuros serán más livianos y más eficientes.
Los grandes modelos de lenguaje han marcado el comienzo de la "era del 1 bit". El método BitNet b1.58 propuesto por Microsoft y la Academia de Ciencias de la Universidad de China convierte los parámetros en representaciones ternarias, lo que reduce fundamentalmente la huella de memoria del modelo y simplifica el cálculo. proceso. El rendimiento de este método se comparó en modelos de diferentes tamaños, se mejoró la velocidad y se redujo el uso de memoria, lo que provocó acaloradas discusiones entre los internautas.
La aparición del método BitNet b1.58 brinda nuevas posibilidades para la aplicación de grandes modelos de lenguaje y señala el camino para futuras direcciones de investigación. No solo mejora la eficiencia del modelo, sino que también reduce los costos operativos y promueve una aplicación más amplia de la tecnología de IA. Esperamos más avances similares en el futuro, que permitan que la tecnología de IA beneficie a una gama más amplia de personas.