Etched AI, американский стартап по производству чипов, недавно совершил крупный прорыв, успешно внедрив архитектуру Transformer непосредственно в чип и разработав первый в мире сервер, специально созданный для вывода Transformer. Производительность этого сервера намного превышает производительность аналогичных продуктов NVIDIA, он может запускать модели с триллионами параметров и имеет множество функций, таких как голосовой агент в реальном времени, эффективное кодирование и поиск по дереву, многоадресное спекулятивное декодирование и т. д. Он также оснащен Память HBM3E емкостью 144 ГБ с высокой пропускной способностью. Ожидается, что это нововведение полностью изменит перспективы применения архитектуры Transformer и внесет революционные изменения в область искусственного интеллекта.
В статье основное внимание уделяется:
Американский стартап по производству чипов Etched AI успешно внедрил архитектуру Transformer непосредственно в чип, создав самый мощный в мире сервер, предназначенный для вывода Transformer. Эта технология может запускать модели с триллионами параметров, опережая Nvidia на сотни миль. Сервер имеет множество функций, включая голосовое проксирование в реальном времени, улучшенные возможности кодирования и поиска по дереву, возможности многоадресного спекулятивного декодирования, а также оснащен HBM3E емкостью 144 ГБ. Эта революционная технология откроет новые возможности для применения архитектуры Transformer.
Этот прорыв Etched AI знаменует собой прорыв в области аппаратного обеспечения искусственного интеллекта. Его высокая производительность и богатые функции принесут значительные улучшения во многие сценарии применения и заслуживают внимания и ожиданий отрасли. В будущем мы можем увидеть более инновационные приложения на основе этой технологии.