Groq公司近日发布了一款针对大模型推理的全新芯片，其每秒处理500个token的速度显著超越了传统的GPU和谷歌TPU。这一突破性进展源于Groq团队对芯片架构的创新设计，以及团队成员来自谷歌TPU的深厚技术积累，其中包括创始人Jonathan Ross。这款售价约2万美元的芯片采用自研LPU方案，并计划在三年内超越英伟达，这无疑将对人工智能领域产生深远的影响。
Groq公司推出大模型推理芯片，每秒500tokens速度超越传统GPU和谷歌TPU。团队成员来自谷歌TPU，包括创始人Jonathan Ross。芯片采用自研LPU方案，致力于在三年内超越英伟达，价格约2万美元。具有极快的API访问速度和对多种开源LLM模型的支持。
Groq的新型芯片凭借其高速的处理能力和对多种开源模型的支持，有望成为大模型推理领域的强力竞争者。其极快的API访问速度和富有竞争力的价格，将吸引众多开发者和企业用户，推动人工智能应用的进一步发展。未来，我们将持续关注Groq的进展，以及其芯片对人工智能行业带来的变革。