Shenzhen Yuanxiang Information Technology Co., Ltd.는 중국 최대 규모의 MoE(Mixture of Experts) 오픈 소스 대형 모델인 XVERSE-MoE-A36B를 출시했습니다. 총 매개변수가 255B이고 활성화 매개변수가 36B이므로 성능이 더 큰 매개변수 모델과 비슷하거나 훨씬 뛰어납니다. . 이 모델은 훈련 시간과 추론 성능이 크게 향상되고, 토큰당 비용이 크게 감소하며, AI 애플리케이션의 저비용 배포에 대한 강력한 지원을 제공합니다. 이러한 획기적인 발전은 대규모 언어 모델 분야에서 중국의 중요한 진전을 의미하며, 국내 오픈 소스 기술을 국제적 선두 위치로 끌어올렸습니다. XVERSE-MoE-A36B 모델은 완전 오픈 소스이며 상업용으로 무료로 제공되며 중소기업, 연구원 및 개발자에게 귀중한 리소스를 제공합니다.
XVERSE-MoE-A36B 모델은 총 매개변수가 255B이고 활성화 매개변수가 36B입니다. 성능은 매개변수가 100B 이상인 대형 모델과 비슷하며 교차 수준 성능 향상을 달성합니다. 이 모델은 훈련 시간을 30% 단축하고, 추론 성능을 100% 향상시키며, 토큰당 비용을 크게 절감하고, AI 애플리케이션의 저렴한 배포를 가능하게 합니다. Yuanxiang XVERSE의 고성능 제품군 버킷 시리즈 모델은 완전한 오픈 소스였으며 상업용으로 무조건 무료이므로 많은 중소기업, 연구원 및 개발자에게 더 많은 선택권을 제공합니다. MoE 아키텍처는 모델 규모를 확장하는 동안 전문가 모델을 결합하여 기존 확장 법칙의 한계를 깨고 모델 성능을 최대화하고 훈련 및 추론의 계산 비용을 줄입니다. 여러 권위 있는 평가에서 Yuanxiang MoE의 효과는 국내 1000억 MoE 모델 Skywork-MoE, 전통적인 MoE 대군주 Mixtral-8x22B 및 3140억 매개변수 MoE 오픈 소스 모델 Grok-1을 포함한 많은 유사한 모델의 효과를 크게 능가했습니다. - A86B 등
Yuanxiang XVERSE의 고성능 제품군 버킷 시리즈 모델은 완전한 오픈 소스였으며 상업용으로 무조건 무료이므로 많은 중소기업, 연구원 및 개발자에게 더 많은 선택권을 제공합니다. MoE 아키텍처는 모델 규모를 확장하는 동안 전문가 모델을 결합하여 기존 확장 법칙의 한계를 깨고 모델 성능을 최대화하고 훈련 및 추론의 계산 비용을 줄입니다.
여러 권위 있는 평가에서 Yuanxiang MoE의 효과는 국내 1000억 MoE 모델 Skywork-MoE, 전통적인 MoE 대군주 Mixtral-8x22B 및 3140억 매개변수 MoE 오픈 소스 모델 Grok-1을 포함한 많은 유사한 모델의 효과를 크게 능가했습니다. - A86B 등
대형 모델 무료 다운로드
포옹하는 얼굴: https://huggingface.co/xverse/XVERSE-MoE-A36B
매직 스코프: https://modelscope.cn/models/xverse/XVERSE-MoE-A36B
Github: https://github.com/xverse-ai/XVERSE-MoE-A36B
문의 : [email protected]
공식 홈페이지: chat.xverse.cn
XVERSE-MoE-A36B의 오픈 소스 및 무료 상업적 사용은 AI 애플리케이션의 문턱을 낮추고 중국 인공 지능 기술의 개발 및 적용을 크게 촉진할 것입니다. 탁월한 성능과 편리한 접근성은 의심할 여지없이 국내외 AI 개발자 및 연구자들에게 강력한 도구와 리소스를 제공합니다. 앞으로 이 모델을 기반으로 하는 더욱 혁신적인 응용 프로그램을 볼 수 있기를 기대합니다.