英伟达近期开源了两个新型大模型：Nemotron-4-Minitron-4B和Nemotron-4-Minitron-8B，它们在训练效率上取得了显着突破。通过结构化剪枝和知识蒸馏技术，这两个模型的训练所需数据减少了40倍，算力成本降低了1.8倍，其性能与其他知名大模型相媲美。这不仅代表着AI技术的一次飞跃，也为AI领域带来了新的可能性，并为AI社区贡献了宝贵的资源。
传统的AI大模型训练需要消耗大量的数据和算力。然而，英伟达通过采用结构化剪枝和知识蒸馏两种高效的训练方法，显着降低了这一需求。具体来说，与从零开始训练相比，新模型所需的训练token数据减少了40倍，算力成本节省了1.8倍。这一成就的背后，是英伟达对现有模型Llama-3.18B的深度优化。
结构化剪枝是一种神经网络压缩技术，它通过去除不重要的权重来简化模型结构。不同于随机剪枝，结构化剪枝保留了权重矩阵的结构，通过移除整个神经元或注意力头，使得剪枝后的模型更适合在GPU、TPU等硬件上高效运行。
知识蒸馏是一种通过让学生模型模仿教师模型来提升性能的方法。在英伟达的实践中，通过基于logit的知识蒸馏，学生模型能够学习到教师模型的深层理解，即使在大幅减少训练数据的情况下，也能保持出色的性能。
经过结构化剪枝和知识蒸馏训练的Minitron-4B和Minitron-8B模型，在MMLU上的评分提升了16%，性能可与Mistral7B、Gemma7B和Llama-38B等知名模型媲美。这一成果证明了英伟达方法的有效性，同时也为AI大模型的训练和部署提供了新的可能性。
英伟达的这一开源举措，不仅展示了其在AI技术上的领导地位，也为AI社区带来了宝贵的资源。随着AI技术的不断进步，我们期待看到更多创新的方法，推动AI向更高效、更智能的方向发展。
模型地址：
https://huggingface.co/nvidia/Nemotron-4-Minitron-4B-Base
https://huggingface.co/nvidia/Nemotron-4-Minitron-8B-Base
英伟达开源的这两个大模型，为AI领域的效率提升提供了新的思路，也预示着未来AI模型训练成本的进一步降低和应用范围的进一步拓展。 期待更多基于此的创新应用出现。