Прорывной прогресс был достигнут в технологии низкобитового квантования для больших языковых моделей. Метод BitNet b1.58, совместно запущенный Microsoft и Университетом Китайской академии наук, преобразует параметры модели в троичное представление, что значительно сокращает объем памяти модели и упрощает процесс расчета. Это означает, что большие языковые модели официально вступили в «однобитную эру», указывая на то, что будущие модели будут легче и эффективнее.
Большие языковые модели открыли «эру 1-бита». Метод BitNet b1.58, предложенный Microsoft и Университетом Китайской академии наук, преобразует параметры в троичное представление, что существенно уменьшает объем памяти, занимаемый моделью, и упрощает расчеты. процесс. Производительность этого метода сравнивалась на моделях разных размеров. Была улучшена скорость и уменьшено использование памяти, что вызвало бурные дискуссии среди пользователей сети.
Появление метода BitNet b1.58 открывает новые возможности для применения больших языковых моделей и указывает путь для будущих направлений исследований. Это не только повышает эффективность модели, но также снижает эксплуатационные расходы и способствует более широкому применению технологий искусственного интеллекта. Мы с нетерпением ожидаем новых подобных прорывов в будущем, которые позволят технологиям искусственного интеллекта принести пользу более широкому кругу людей.