xAI컴퍼니가 인공지능 분야에서 폭넓은 주목을 받고 있는 3,140억 개의 매개변수를 가진 하이브리드 전문가 모델 Grok-1을 오픈소스화했습니다. 모델의 가중치와 네트워크 아키텍처는 완전히 개방되어 있으며, 애플리케이션별 미세 조정 없이 대량의 텍스트 데이터를 기반으로 처음부터 학습됩니다. JAX 라이브러리와 Rust 언어는 맞춤형 교육에 사용되며 개발자가 사용 및 2차 개발에 편리한 Apache2.0 라이선스를 준수합니다. 모델의 오픈 소스는 연구자들에게 귀중한 학습 및 연구 리소스를 제공하고 인공 지능 분야의 추가 개발을 촉진합니다. 일부 연구자들은 개방성을 개선해야 한다고 생각하지만, Grok-1의 출시는 의심할 여지 없이 인공 지능 분야에서 큰 진전입니다.
Musk의 xAI 회사는 완전히 개방된 가중치와 네트워크 아키텍처를 갖춘 3,140억 매개변수 하이브리드 전문가 모델 "Grok-1"을 오픈 소스화할 것이라고 발표했습니다. 모델은 애플리케이션별 미세 조정 없이 처음부터 학습됩니다. MoE 모델 활성화 가중치는 25%입니다. JAX 라이브러리와 Rust 언어를 사용하여 훈련 스택을 사용자 정의하고 Apache2.0 라이센스를 준수하며 인기가 계속 높아지고 있습니다. 모델 리포지토리에서는 대용량 GPU 메모리가 필요한 JAX 샘플 코드를 제공하고 가중치 파일을 다운로드할 수 있는 마그넷 링크를 제공합니다. 연구원들은 Grok-1을 LLaMA-2보다 덜 개방적이고 예측성이 더 높은 것으로 평가하고 모델 아키텍처 세부 정보를 제공했으며 더 많은 공개 세부 정보를 요구했습니다.
Grok-1의 오픈소스는 개방성 측면에서 일부 논란이 있지만, 강력한 성능과 오픈 라이선스로 주목할만한 모델이며, 대형 언어 모델 분야의 발전을 촉진할 것으로 기대된다. 앞으로 우리는 인공 지능 기술의 발전을 공동으로 촉진하기 위해 더 많은 유사한 오픈 소스 프로젝트가 등장하기를 기대합니다. 모델을 획득하고 사용하려면 일정한 기술적 한계가 필요하지만 이것이 인공지능 연구에 대한 기여를 방해하지는 않습니다.