Groq hat kürzlich einen neuen Chip für die Inferenz großer Modelle veröffentlicht, der 500 Token pro Sekunde verarbeiten kann und damit herkömmliche GPUs und Google TPUs deutlich übertrifft. Dieser bahnbrechende Fortschritt ist auf das innovative Design der Chip-Architektur durch das Groq-Team und die umfassende technische Zusammenarbeit von Teammitgliedern von Google TPU, darunter Gründer Jonathan Ross, zurückzuführen. Dieser Chip, der für rund 20.000 US-Dollar verkauft wird, nutzt eine selbst entwickelte LPU-Lösung und will Nvidia innerhalb von drei Jahren überholen, was zweifellos tiefgreifende Auswirkungen auf den Bereich der künstlichen Intelligenz haben wird.
Groq hat einen großen Modell-Inferenzchip mit einer Geschwindigkeit von 500 Token pro Sekunde auf den Markt gebracht, der die herkömmliche GPU und Google TPU übertrifft. Die Teammitglieder kommen von Google TPU, darunter Gründer Jonathan Ross. Der Chip nutzt eine selbst entwickelte LPU-Lösung und soll NVIDIA innerhalb von drei Jahren übertreffen. Der Preis liegt bei etwa 20.000 US-Dollar. Es verfügt über eine extrem schnelle API-Zugriffsgeschwindigkeit und Unterstützung für mehrere Open-Source-LLM-Modelle.
Es wird erwartet, dass der neue Chip von Groq aufgrund seiner Hochgeschwindigkeitsverarbeitungsfähigkeiten und der Unterstützung einer Vielzahl von Open-Source-Modellen ein starker Konkurrent im Bereich der Inferenz großer Modelle wird. Seine extrem schnelle API-Zugriffsgeschwindigkeit und der wettbewerbsfähige Preis werden viele Entwickler und Unternehmensanwender anziehen und die Weiterentwicklung von Anwendungen für künstliche Intelligenz fördern. Auch in Zukunft werden wir die Fortschritte von Groq und die Veränderungen, die seine Chips für die Branche der künstlichen Intelligenz mit sich bringen, im Auge behalten.