Недавно компания Groq выпустила новый чип для вывода больших моделей, который может обрабатывать 500 токенов в секунду, значительно превосходя традиционные графические процессоры и TPU Google. Этот прорывной прогресс стал результатом инновационной разработки архитектуры чипа командой Groq и глубокого технического опыта членов команды Google TPU, включая основателя Джонатана Росса. Этот чип, который продается по цене около 20 000 долларов США, использует решение LPU собственной разработки и планирует превзойти Nvidia в течение трех лет, что, несомненно, окажет глубокое влияние на область искусственного интеллекта.
Groq выпустил чип вывода большой модели со скоростью 500 токенов в секунду, превосходящий традиционные графические процессоры и Google TPU. Члены команды происходят из Google TPU, включая основателя Джонатана Росса. В чипе используется решение LPU собственной разработки, и он стремится превзойти NVIDIA в течение трех лет, а его цена составляет около 20 000 долларов США. Он имеет чрезвычайно высокую скорость доступа к API и поддержку нескольких моделей LLM с открытым исходным кодом.
Ожидается, что новый чип Groq станет сильным конкурентом в области вывода больших моделей благодаря своим возможностям высокоскоростной обработки и поддержке множества моделей с открытым исходным кодом. Его чрезвычайно высокая скорость доступа к API и конкурентоспособная цена привлекут многих разработчиков и корпоративных пользователей и будут способствовать дальнейшему развитию приложений искусственного интеллекта. В будущем мы продолжим обращать внимание на прогресс Groq и изменения, которые его чипы привносят в индустрию искусственного интеллекта.