Bytedance의 Doubao Big Model 팀은 최근에 큰 획기적인 획기적인 발전을 이루었으며 새로운 스파 스 모델 아키텍처 Ultramem을 성공적으로 개발했습니다. 이 아키텍처는 MOE 모델 추론에서 고 부가가치 메모리 액세스 문제를 혁신하여 추론 속도와 효율성을 크게 향상시키고 추론 비용을 줄입니다. 모델 효과를 보장하면서 Ultramem은 MOE에 비해 추론 속도를 2-6 배 증가 시켰으며 추론 비용은 최대 83%감소하여 대규모 모델의 효율적인 추론을위한 새로운 솔루션을 제공하고 건축을위한 기초를 제공합니다. 대규모 모델. 견고한 기초.
Bytedance Doubao Big Model 팀은 오늘 새로운 스파 스 아키텍처 Ultramem을 성공적으로 개발했다고 발표했습니다. Moe의 것보다 비용은 83%까지 줄어들 수 있습니다. 이러한 획기적인 진행 상황은 대형 모델의 효율적인 추론을위한 새로운 경로를 열어줍니다.
모델 효과를 보장하기 위해 Ultramem 아키텍처는 MOE 아키텍처 추론에서 메모리 액세스 병목 현상을 성공적으로 해결했습니다. 실험 결과는 동일한 파라미터 및 활성화 조건 하에서 Ultramem이 MOE보다 모델 효과를 더 잘 갖을뿐만 아니라 추론 속도를 2-6 배 증가 시킨다는 것을 보여줍니다. 또한 공통 배치 크기 스케일에서 Ultramem의 메모리 액세스 비용은 동일한 계산량을 갖는 조밀 한 모델의 메모리 액세스 비용과 거의 동일하여 추론 비용을 크게 줄입니다.
연구팀은 2 천만 개의 값으로 Ultramem 모델을 훈련 시켰습니다. 실험 결과는 동일한 컴퓨팅 리소스에서 업계 최고의 추론 속도 및 모델 성능을 달성합니다. 이 결과는 Ultramem 아키텍처의 우수한 스케일링 특성을 확인하고 수십억의 가치 또는 전문가 모델을 구축하기위한 기술 기반을 마련합니다.
대형 모델의 규모가 계속 확장됨에 따라 추론 비용과 속도가 응용 프로그램을 제한하는 주요 요인이되었습니다. MOE 아키텍처는 매개 변수에서 계산 분리를 구현했지만 추론 중에 높은 메모리 가져 오기 수요로 인해 대기 시간이 증가합니다. Ultramem Architecture의 제안은이 문제를 효과적으로 해결하고 대규모 모델의 대규모 적용을위한 새로운 기술 선택을 제공합니다.
Ultramem 아키텍처의 성공적인 개발은 대형 모델 추론 기술의 중대한 진전을 나타내며, 향후 큰 모델을 광범위하게 적용하는 데 강력한 기술 지원을 제공하며, 또한 큰 모델 시대가 도착할 예정임을 나타냅니다. 탁월한 성능과 비용 효율성은 더 많은 분야에서 대형 모델의 응용 프로그램 및 개발을 주도 할 것입니다.