Groq, fondée par d'anciens employés de Google, a récemment lancé sa puce d'accélération d'IA LPU. Cette puce améliore considérablement la vitesse d'inférence et de génération des grands modèles grâce à une technologie de stockage SRAM innovante et une conception architecturale qui réduit l'accès à la mémoire. On dit que la vitesse peut être jusqu'à dix fois supérieure à celle du GPU. LPU prend en charge une variété de grands modèles tels que Llama et Mixtral. Son lancement contribuera à optimiser les performances des grands modèles et à améliorer la vitesse de réponse des applications telles que les assistants vocaux et l'écriture IA, offrant de nouvelles possibilités d'amélioration des performances des applications IA. Il s’agit d’une avancée importante dans le domaine des puces IA.
Groq est une startup de puces IA fondée par d'anciens employés de Google. La société a lancé une puce d'accélération de l'IA appelée LPU, qui accélère considérablement l'inférence et la génération de grands modèles grâce à l'innovation technologique, avec des vitesses jusqu'à 10 fois supérieures à celles des GPU. Cela est principalement dû à l'utilisation de la technologie de stockage SRAM à haute vitesse et à une conception architecturale qui réduit l'accès à la mémoire. Les utilisateurs peuvent exécuter Llama, Mixtral et d'autres grands modèles sur LPU. L'introduction de LPU peut contribuer à optimiser davantage les performances des grands modèles ou être utilisée pour améliorer la vitesse de réponse d'applications telles que les assistants vocaux et l'écriture IA.L'émergence des puces LPU a apporté une nouvelle vitalité au domaine de l'IA. Ses performances à grande vitesse devraient favoriser la vulgarisation et le développement d'un plus grand nombre d'applications d'IA. Il convient de continuer à prêter attention à ses performances et à son impact sur le marché futur. . Nous sommes impatients de voir émerger davantage d’applications innovantes basées sur LPU à l’avenir.