Groq lanzó recientemente un nuevo chip para inferencia de modelos grandes, que puede procesar 500 tokens por segundo, superando significativamente a las GPU tradicionales y a las TPU de Google. Este avance revolucionario surge del diseño innovador de la arquitectura del chip por parte del equipo de Groq y de la profunda acumulación técnica de los miembros del equipo de Google TPU, incluido el fundador Jonathan Ross. Este chip, que se vende por unos 20.000 dólares, utiliza una solución LPU de desarrollo propio y planea superar a Nvidia dentro de tres años, lo que sin duda tendrá un profundo impacto en el campo de la inteligencia artificial.
Groq ha lanzado un chip de inferencia de modelo grande con una velocidad de 500 tokens por segundo, superando a la GPU tradicional y a la TPU de Google. Los miembros del equipo provienen de Google TPU, incluido el fundador Jonathan Ross. El chip utiliza una solución LPU de desarrollo propio y se compromete a superar a NVIDIA en tres años, y el precio es de unos 20.000 dólares estadounidenses. Tiene una velocidad de acceso a API extremadamente rápida y admite múltiples modelos LLM de código abierto.
Se espera que el nuevo chip de Groq se convierta en un fuerte competidor en el campo de la inferencia de modelos grandes con sus capacidades de procesamiento de alta velocidad y soporte para una variedad de modelos de código abierto. Su velocidad de acceso a API extremadamente rápida y su precio competitivo atraerán a muchos desarrolladores y usuarios empresariales y promoverán un mayor desarrollo de aplicaciones de inteligencia artificial. En el futuro, seguiremos prestando atención al progreso de Groq y los cambios que sus chips aportan a la industria de la inteligencia artificial.