O projeto LLM360 lançou dois modelos de linguagem grande de parâmetros 7B, AMBER e CRYSTALCODER, como código aberto. Este movimento destaca a importância do LLM de código aberto no campo da inteligência artificial. A iniciativa visa promover a transparência dos grandes modelos globais de linguagem de código aberto e promover a sua ampla aplicação na academia e na indústria. O desempenho pré-treinamento do modelo AMBER em quatro conjuntos de dados também é demonstrado, fornecendo uma base confiável para avaliação do seu desempenho. Isso ajudará os pesquisadores a compreender melhor e melhorar a tecnologia de modelos de linguagem de código aberto de grande porte.
LLM360 planeja ser totalmente open source e lançar dois LLMs de parâmetros 7B, AMBER e CRYSTALCODER. O estudo enfatiza a importância dos LLMs de código aberto, demonstra o desempenho de pré-treinamento do modelo AMBER em quatro conjuntos de dados e promove uma iniciativa transparente para grandes modelos globais de linguagem de código aberto.
A iniciativa de código aberto do programa LLM360 fornece recursos valiosos para investigadores de inteligência artificial em todo o mundo e é propícia à promoção do desenvolvimento e aplicação de tecnologia de grandes modelos de linguagem. Também reflecte o seu compromisso em promover a cooperação aberta no domínio da inteligência artificial. Esperamos ver aplicações mais inovadoras baseadas nisso no futuro.