Groq, fundada por ex-funcionários do Google, lançou recentemente seu chip de aceleração de IA LPU. Este chip melhora significativamente a velocidade de inferência e geração de modelos grandes através da inovadora tecnologia de armazenamento SRAM e de um design arquitetônico que reduz o acesso à memória. Diz-se que a velocidade pode ser até dez vezes maior que a da GPU. LPU suporta uma variedade de modelos grandes, como Llama e Mixtral. Seu lançamento ajudará a otimizar o desempenho de modelos grandes e melhorar a velocidade de resposta de aplicativos como assistentes de voz e escrita de IA, trazendo novas possibilidades para melhoria de desempenho de aplicativos de IA. Isto marca um avanço importante no campo dos chips de IA.
Groq é uma startup de chips de IA fundada por ex-funcionários do Google. A empresa lançou um chip de aceleração de IA chamado LPU, que acelera muito a inferência e geração de grandes modelos por meio da inovação tecnológica, com velocidades até 10 vezes maiores que as GPUs. Isto se deve principalmente ao uso de tecnologia de armazenamento SRAM de alta velocidade e design arquitetônico que reduz o acesso à memória. Os usuários podem executar Llama, Mixtral e outros modelos grandes em LPU. A introdução do LPU pode ajudar a otimizar ainda mais o desempenho de modelos grandes ou ser usada para melhorar a velocidade de resposta de aplicativos como assistentes de voz e escrita de IA.O surgimento dos chips LPU trouxe uma nova vitalidade ao campo da IA. Espera-se que seu desempenho de alta velocidade promova a popularização e o desenvolvimento de mais aplicações de IA. Vale a pena continuar prestando atenção ao seu desempenho e impacto no mercado futuro. . Esperamos ver mais aplicações inovadoras baseadas em LPU surgirem no futuro.