O Allen Institute for Artificial Intelligence colaborou com várias universidades para lançar em conjunto o primeiro modelo de linguagem em grande escala totalmente aberto do mundo, OLMo. Isto representa um marco importante no campo da inteligência artificial e promoverá o desenvolvimento de tecnologia de modelos de grande porte que seja mais transparente e aberta. OLMo inclui pesos de modelo, código, conjuntos de dados e um processo de treinamento completo. Sua versão de parâmetros 7B funciona bem em múltiplas tarefas. Além disso, a equipa de investigação também divulgou o conjunto de dados pré-formação Dolma e forneceu ferramentas de recolha e análise de dados para maximizar a transparência dos dados, o que tem um significado de longo alcance para promover a investigação e aplicação de grandes modelos linguísticos na academia e na indústria.
O Instituto Allen de Inteligência Artificial e várias universidades lançaram o primeiro grande modelo OLMo 100% aberto do mundo, incluindo pesos, códigos, conjuntos de dados e todo o processo de treinamento. A avaliação de desempenho mostra que o OLMo-7B é ligeiramente superior em muitas tarefas. Ao mesmo tempo, os pesquisadores divulgaram o conjunto de dados de pré-treinamento Dolma para promover pesquisas abertas no campo do pré-treinamento de modelos de linguagem. Em termos de transparência de dados, são fornecidas ferramentas de recolha de dados e ferramentas de análise.
O lançamento de código aberto do OLMo não apenas reduz o limite para pesquisas de grandes modelos, mas também contribui com recursos valiosos para a comunidade global de inteligência artificial, anunciando a chegada de um ecossistema de inteligência artificial mais aberto e colaborativo. No futuro, esperamos ver o surgimento de aplicações e resultados de pesquisas mais inovadores baseados no OLMo.