미국의 칩 스타트업인 Etched AI는 최근 Transformer 아키텍처를 칩에 직접 굽는 데 성공하고 Transformer 추론을 위해 특별히 제작된 세계 최초의 서버를 개발하는 등 큰 발전을 이루었습니다. 이 서버의 성능은 NVIDIA의 유사한 제품을 훨씬 능가하며, 1조 개의 매개변수 모델을 실행할 수 있고, 실시간 음성 에이전트, 효율적인 인코딩 및 트리 검색, 멀티캐스트 추측 디코딩 등과 같은 많은 기능을 갖추고 있습니다. 144GB HBM3E 고대역폭 메모리. 이러한 혁신은 Transformer 아키텍처의 응용 전망을 완전히 바꾸고 인공 지능 분야에 혁신적인 변화를 가져올 것으로 예상됩니다.
이 기사는 다음에 중점을 둡니다.
미국의 칩 스타트업인 Etched AI는 Transformer 아키텍처를 칩에 직접 성공적으로 구워 Transformer 추론 전용 서버를 만드는 데 성공했습니다. 이 기술은 Nvidia보다 수백 마일 앞선 수조 개의 매개변수로 모델을 실행할 수 있습니다. 서버에는 실시간 음성 프록시, 향상된 인코딩 및 트리 검색 기능, 멀티캐스트 추측 디코딩 기능을 포함한 여러 기능이 있으며 144GB HBM3E가 장착되어 있습니다. 이 획기적인 기술은 Transformer 아키텍처의 응용에 새로운 가능성을 가져올 것입니다.
Etched AI의 이러한 혁신은 인공 지능 하드웨어 분야의 도약을 의미합니다. 강력한 성능과 풍부한 기능은 많은 애플리케이션 시나리오에 상당한 개선을 가져올 것이며 업계의 관심과 기대를 받을 자격이 있습니다. 앞으로는 이 기술을 기반으로 하는 더 혁신적인 응용 프로그램을 볼 수 있을 것입니다.