A Etched AI, uma start-up americana de chips, fez recentemente um grande avanço, gravando com sucesso a arquitetura do Transformer diretamente no chip e desenvolvendo o primeiro servidor do mundo construído especificamente para inferência do Transformer. O desempenho deste servidor excede em muito o de produtos similares da NVIDIA, ele pode executar modelos de trilhões de parâmetros e tem muitas funções, como agente de voz em tempo real, codificação eficiente e pesquisa em árvore, decodificação especulativa multicast, etc. Memória de alta largura de banda HBM3E de 144 GB. Espera-se que esta inovação mude completamente as perspectivas de aplicação da arquitetura Transformer e traga mudanças revolucionárias no campo da inteligência artificial.
O artigo se concentra em:
A startup americana de chips Etched AI gravou com sucesso a arquitetura do Transformer diretamente no chip, criando o servidor mais poderoso do mundo dedicado à inferência do Transformer. Esta tecnologia pode executar modelos com trilhões de parâmetros, centenas de quilômetros à frente da Nvidia. O servidor possui vários recursos, incluindo proxy de voz em tempo real, melhores recursos de codificação e pesquisa em árvore, recursos de decodificação especulativa multicast e está equipado com um HBM3E de 144 GB. Esta tecnologia inovadora trará novas possibilidades para a aplicação da arquitetura Transformer.
Este avanço da Etched AI marca um salto no campo do hardware de inteligência artificial. Seu desempenho poderoso e funções ricas trarão melhorias significativas para muitos cenários de aplicação e merecem a atenção e as expectativas da indústria. No futuro, poderemos ver aplicações mais inovadoras baseadas nesta tecnologia.