Allen AI は、OLMo-7B-Instruct と呼ばれる微調整モデルのオープンソースを発表しました。これは AI2 の Dolma データセットに基づいて構築されており、4 つの 7B スケール モデル バリアントが含まれており、各モデルは少なくとも 2T マーカーでトレーニングされています。このオープンソース イニシアチブは、モデルの研究とアプリケーションの開発を促進することを目的としています。また、ユーザーがモデルの事前トレーニングから RLHF 微調整までのプロセス全体を完全に理解できるように、完全な重み付け、評価スイート、トレーニングおよび評価コードも提供します。モデルを研究者に提供し、開発者には貴重なリソースを提供します。
Allen AI は最近、AI2 の Dolma データセットに基づいて構築されたオープンソース微調整モデル OLMo-7B-Instruct を発表しました。このモデルには、それぞれ少なくとも 2T マーカーでトレーニングされた 4 つの 7B スケール モデル バリアントの完全な重みが含まれています。 Allen AI は、トレーニングおよび評価コードを提供する開発用の評価キットもリリースしています。これにより、ユーザーは事前トレーニング モデルから RLHF 微調整モデルまでのプロセス全体を包括的に理解でき、モデル開発を強力にサポートします。研究と応用。
OLMo-7B-Instruct のオープン ソースは、強力なモデル リソースを提供するだけでなく、さらに重要なことに、その完全なサポート コードと評価ツールを提供します。これにより、AI コミュニティの研究と応用に大きな利便性がもたらされ、大規模モデルの開発が促進されます。継続的な開発と革新により、将来のアプリケーションでのパフォーマンスに期待する価値があります。