近年来，随着大语言模型的快速发展，推理增强模型在提升复杂任务处理能力的同时，也引发了关于其产生幻觉率的广泛讨论。 Vectara 的机器学习团队最近对DeepSeek 系列模型进行了深入研究，揭示了推理增强模型在幻觉率方面的显着差异。
近日，Vectara 的机器学习团队对DeepSeek 系列的两款模型进行了深入的幻觉测试，结果显示，DeepSeek-R1的幻觉率高达14.3%，显着高于其前身DeepSeek-V3的3.9%。这表明，在增强推理的过程中，DeepSeek-R1产生了更多不准确或与原始信息不一致的内容。该结果引发了对推理增强大语言模型（LLM）产生幻觉率的广泛讨论。
图源备注:图片由AI生成，图片授权服务商Midjourney
研究团队指出，推理增强模型可能会比普通的大语言模型更容易产生幻觉。这一现象在DeepSeek 系列与其他推理增强模型的比较中表现得尤为明显。以GPT 系列为例，推理增强的GPT-o1与普通版GPT-4o 之间的幻觉率差异，也验证了这一推测。
为了评估这两款模型的表现，研究人员使用了Vectara 的HHEM 模型和Google 的FACTS 方法进行判断。 HHEM 作为专门的幻觉检测工具，在捕捉DeepSeek-R1的幻觉率增加时表现出较高的灵敏度，而FACTS 模型在这方面的表现则相对逊色。这提示我们，可能HHEM 比LLM 作为标准更加有效。
值得注意的是，DeepSeek-R1尽管在推理能力上表现出色，但却伴随着更高的幻觉率。这可能与推理增强模型所需处理的复杂逻辑有关。随着模型推理的复杂性增加，生成内容的准确性反而可能受到影响。研究团队还强调，若DeepSeek 在训练阶段能够更关注减少幻觉问题，或许能实现推理能力与准确性之间的良好平衡。
虽然推理增强模型通常表现出更高的幻觉率，但这并不意味着它们在其他方面不具优势。对于DeepSeek 系列来说，仍需在后续的研究和优化中，解决幻觉问题以提升整体模型性能。
参考资料：https://www.vectara.com/blog/deepseek-r1-hallucinates-more-than-deepseek-v3
随着大语言模型的不断进化，如何在提升推理能力的同时减少幻觉率，将成为未来研究的重要方向。 DeepSeek 系列的测试结果为我们提供了宝贵的参考，推动行业进一步优化模型性能。