Allen AI는 AI2의 Dolma 데이터 세트를 기반으로 구축되었으며 각 모델이 최소 2T 마커로 훈련된 4개의 7B 규모 모델 변형을 포함하는 미세 조정 모델인 OLMo-7B-Instruct의 오픈 소스를 발표했습니다. 이 오픈 소스 이니셔티브는 모델 연구 및 애플리케이션 개발을 촉진하는 것을 목표로 합니다. Allen AI는 또한 사용자가 사전 훈련 모델부터 RLHF 미세 조정까지 전체 프로세스를 완전히 이해할 수 있도록 완전한 가중치, 평가 제품군, 훈련 및 평가 코드를 제공합니다. 모델은 연구자들에게 귀중한 자원을 제공하고 개발자들은 귀중한 자원을 제공합니다.
Allen AI는 최근 AI2의 Dolma 데이터 세트를 기반으로 구축된 오픈 소스 미세 조정 모델 OLMo-7B-Instruct를 발표했습니다. 이 모델에는 각각 최소 2T 마커에 대해 훈련된 4개의 7B 규모 모델 변형의 전체 가중치가 포함되어 있습니다. Allen AI는 또한 훈련 및 평가 코드를 제공하는 개발용 평가 키트를 출시하여 사용자가 사전 훈련 모델부터 RLHF 미세 조정 모델까지 전체 프로세스를 포괄적으로 이해할 수 있도록 하여 모델 개발에 대한 강력한 지원을 제공합니다. 연구 및 응용.
OLMo-7B-Instruct의 오픈 소스는 강력한 모델 리소스를 제공할 뿐만 아니라 더 중요한 것은 AI 커뮤니티의 연구 및 적용에 큰 편의성을 제공하고 대형 모델 개발을 촉진하는 완벽한 지원 코드 및 평가 도구입니다. 지속적인 개발과 혁신을 통해 향후 응용 분야에서의 성능을 기대해볼 가치가 있습니다.