Groq baru-baru ini merilis chip baru untuk inferensi model besar, yang dapat memproses 500 token per detik, jauh melebihi GPU tradisional dan Google TPU. Kemajuan terobosan ini berasal dari desain inovatif arsitektur chip oleh tim Groq dan akumulasi teknis mendalam dari anggota tim Google TPU, termasuk pendiri Jonathan Ross. Chip yang dijual dengan harga sekitar US$20.000 ini menggunakan solusi LPU yang dikembangkan sendiri dan berencana melampaui Nvidia dalam waktu tiga tahun, yang tentunya akan berdampak besar pada bidang kecerdasan buatan.
Groq telah meluncurkan chip inferensi model besar dengan kecepatan 500 token per detik, melampaui GPU tradisional dan Google TPU. Anggota tim berasal dari Google TPU, termasuk pendiri Jonathan Ross. Chip ini menggunakan solusi LPU yang dikembangkan sendiri dan berkomitmen untuk melampaui NVIDIA dalam waktu tiga tahun, dan harganya sekitar US$20.000. Ini memiliki kecepatan akses API yang sangat cepat dan dukungan untuk beberapa model LLM sumber terbuka.
Chip baru Groq diharapkan menjadi pesaing kuat di bidang inferensi model besar dengan kemampuan pemrosesan berkecepatan tinggi dan dukungan untuk berbagai model sumber terbuka. Kecepatan akses API yang sangat cepat dan harga yang kompetitif akan menarik banyak pengembang dan pengguna perusahaan serta mendorong pengembangan lebih lanjut aplikasi kecerdasan buatan. Kedepannya, kami akan terus memperhatikan kemajuan Groq dan perubahan yang dibawa chipnya ke industri kecerdasan buatan.