哈尔滨工业大学和华为的研究团队近期发表了一篇50页的综述，全面梳理了通用型LLM在专业领域中存在的幻觉问题。LLM幻觉问题主要表现在两个方面，一是事实型幻觉，二是忠实度幻觉。
事实型幻觉主要是由于模型在训练过程中接触到的数据包含了错误的信息或偏见，导致模型学到的知识也出现了错误。另一方面, 忠实度幻觉则是指模型在处理复杂问题时，由于知识边界的限制，不能准确地反映出事实的忠实度。这些问题在专业领域中更为突出，因为通用型LLM通常在广泛的公开数据集上进行训练，缺乏专业领域的知识。
研究人员认为，数据问题是导致幻觉的主要原因。为解决这些问题，研究团队主张提高数据质量，增强模型学习和回忆事实知识的能力。同时他们还讨论了LLM在训练阶段的挑战，包括预训练阶段和通用表征学习，并呼吁改善数据质量，以便更有效地学习和回忆事实知识，从而减轻专业领域中的幻觉问题。
值得注意的是，该研究强调了解决幻觉问题并非一日之功，而是需要持续的努力和改进。这项研究为理解和解决LLM幻觉问题提供了新的思路，并且对于LLM在未来专业领域的应用具有重要的指导意义。
