Groq는 최근 초당 500개의 토큰을 처리할 수 있는 대형 모델 추론을 위한 새로운 칩을 출시했는데, 이는 기존 GPU와 Google TPU를 훨씬 능가하는 수치입니다. 이러한 획기적인 발전은 Groq 팀의 혁신적인 칩 아키텍처 설계와 창립자 Jonathan Ross를 포함한 Google TPU 팀 구성원의 심층적인 기술 축적에서 비롯되었습니다. 약 2만 달러에 판매되는 이 칩은 자체 개발한 LPU 솔루션을 사용해 3년 안에 엔비디아를 능가할 계획인데, 이는 의심할 여지없이 인공지능 분야에 지대한 영향을 미칠 것이다.
Groq는 기존 GPU와 Google TPU를 능가하는 초당 500개의 토큰 속도를 갖춘 대형 모델 추론 칩을 출시했습니다. 창립자 Jonathan Ross를 포함하여 팀 구성원은 Google TPU 출신입니다. 이 칩은 자체 개발한 LPU 솔루션을 사용해 3년 내 엔비디아를 능가하겠다는 공약을 내세웠으며 가격은 약 2만달러 수준이다. 매우 빠른 API 액세스 속도와 여러 오픈 소스 LLM 모델을 지원합니다.
Groq의 새로운 칩은 고속 처리 기능과 다양한 오픈 소스 모델 지원을 통해 대형 모델 추론 분야에서 강력한 경쟁자가 될 것으로 예상됩니다. 매우 빠른 API 액세스 속도와 경쟁력 있는 가격은 많은 개발자와 기업 사용자를 끌어들이고 인공 지능 애플리케이션의 추가 개발을 촉진할 것입니다. 앞으로도 Groq의 행보와 그 칩이 인공지능 산업에 가져올 변화에 계속해서 주목해보겠습니다.