Groq lançou recentemente um novo chip para inferência de modelos grandes, que pode processar 500 tokens por segundo, superando significativamente as GPUs tradicionais e as TPUs do Google. Este progresso revolucionário decorre do design inovador da arquitetura do chip pela equipe Groq e do profundo acúmulo técnico dos membros da equipe do Google TPU, incluindo o fundador Jonathan Ross. Este chip, que é vendido por cerca de US$ 20.000, utiliza uma solução LPU autodesenvolvida e planeja superar a Nvidia dentro de três anos, o que sem dúvida terá um impacto profundo no campo da inteligência artificial.
Groq lançou um chip de inferência de modelo grande com velocidade de 500 tokens por segundo, superando a GPU tradicional e o Google TPU. Os membros da equipe vêm do Google TPU, incluindo o fundador Jonathan Ross. O chip usa uma solução LPU autodesenvolvida e tem o compromisso de superar a NVIDIA dentro de três anos, e o preço é de cerca de US$ 20.000. Possui velocidade de acesso à API extremamente rápida e suporte para vários modelos LLM de código aberto.
Espera-se que o novo chip da Groq se torne um forte concorrente no campo de inferência de grandes modelos com suas capacidades de processamento de alta velocidade e suporte para uma variedade de modelos de código aberto. Sua velocidade de acesso API extremamente rápida e preço competitivo atrairão muitos desenvolvedores e usuários corporativos e promoverão o desenvolvimento de aplicativos de inteligência artificial. No futuro, continuaremos a prestar atenção ao progresso da Groq e às mudanças que os seus chips trazem para a indústria de inteligência artificial.