Groq は最近、大規模モデル推論用の新しいチップをリリースしました。これは、従来の GPU や Google TPU を大幅に上回る 1 秒あたり 500 個のトークンを処理できます。この画期的な進歩は、Groq チームによるチップ アーキテクチャの革新的な設計と、創設者 Jonathan Ross を含む Google TPU のチーム メンバーの深い技術蓄積に由来しています。このチップは約2万ドルで販売されており、自社開発のLPUソリューションを使用しており、3年以内にNvidiaを超えることを計画しており、人工知能の分野に大きな影響を与えることは間違いない。
Groq は、従来の GPU や Google TPU を上回る、1 秒あたり 500 トークンの速度を持つ大型モデル推論チップを発売しました。チームメンバーは、創設者のジョナサン・ロスを含め、Google TPU 出身です。このチップは自社開発の LPU ソリューションを使用しており、3 年以内に NVIDIA を超えることを目指しており、価格は約 20,000 ドルです。 API アクセス速度が非常に速く、複数のオープンソース LLM モデルをサポートしています。
Groq の新しいチップは、高速処理能力とさまざまなオープンソース モデルのサポートにより、大規模モデル推論の分野で強力な競争相手になることが期待されています。その非常に速い API アクセス速度と競争力のある価格は、多くの開発者や企業ユーザーを魅了し、人工知能アプリケーションのさらなる開発を促進します。今後もGroqの進歩とそのチップが人工知能業界にもたらす変化に注目していきます。