Allen AI 宣布开源其名为 OLMo-7B-Instruct 的微调模型,该模型基于 AI2 的 Dolma 数据集构建,包含四个 7B 规模的模型变体,每个模型都至少训练了 2T 个标记。这一开源举措旨在促进模型研究和应用的发展,Allen AI 还提供了完整的权重、评估套件以及训练和评估代码,方便用户全面了解从预训练模型到 RLHF 微调模型的整个过程,为研究者和开发者提供了宝贵的资源。
Allen AI最近宣布了开源微调模型OLMo-7B-Instruct,基于AI2的Dolma数据集构建。该模型包括四种7B规模模型变体的完整权重,每个模型至少训练了2T个标记。Allen AI还发布了用于开发中使用的评估套件,提供了训练和评估代码,使用户能够全面了解预训练模型到RLHF微调模型的整个过程,为模型研究和应用的发展提供了强大的支持。
OLMo-7B-Instruct 的开源,不仅提供了强大的模型资源,更重要的是其配套的完整代码和评估工具,为 AI 社区的研究和应用带来了极大的便利,推动了大模型领域的持续发展和创新,值得期待其在未来应用中的表现。