超越传统微调：探索缓解大型语言模型幻觉的先进技术

大型语言模型（LLM）彻底改变了文本生成方式，但它们倾向于生成事实不准确和无意义输出（即“幻觉”）的问题仍然是一个主要担忧。昨天我读了一篇信息丰富的论文，名为“大型语言模型中幻觉缓解技术的综合调查”。我猜它包含了所有用于缓解幻觉的突出方法。那么，让我们来解读一下它有哪些内容。

幻觉

LLM 中的幻觉是指模型倾向于生成看似真实但完全是捏造或不符合实际的文本。这会导致模型准确性下降、误导性洞察、有偏见和矛盾的输出、不切实际的叙述等等。简单来说，幻觉就是 LLM 在不知道答案时试图蒙混过关（开玩笑啦😃😃）

幻觉缓解技术

研究人员提出了多种技术来缓解 LLM 中的幻觉。幻觉缓解技术分为两类：提示工程和开发方法。 提示工程又分为两个部分：RAG 和通过反馈与推理进行的自我完善，以及提示微调。

检索增强生成（RAG）

RAG，全称检索增强生成，是一种结合了基于检索和基于生成的方法来提高 LLM 性能的技术。检索模块从外部源搜索相关信息，生成模块使用检索到的信息生成 LLM 的响应。RAG 下有许多技术。其中一些是

1. LLM 增强器 - 它通过向 LLM 架构添加小型模块并针对目标任务进行微调，来修改内部参数以使 LLM 适应特定任务。
2. FreshPrompt - 从更新的搜索引擎中检索与用户查询相关的外部信息，并使用这些信息创建 LLM 响应。
3. 知识检索 - LM 利用外部源的相关知识，并使用关键词搜索和基于嵌入的检索来查找相关信息以生成响应。
4. 分解与查询 框架将用户查询分解为小问题，对于每个子问题，LLM 生成其相关响应。
5. 高熵词识别和替换技术 通过识别高熵词并使用同义词搜索、随机采样或知识替换来替换它们，从而提高 LLM 的创造性和多样性。

通过反馈和推理进行自我完善

通过反馈和推理进行自我完善是一种新颖的大型语言模型（LLM）迭代改进其输出的方法。它利用基于反馈的学习和推理能力，以在生成的文本中实现更好的事实性、一致性和相关性。在通过反馈和推理进行自我完善中使用了许多技术，例如 ChatProtect、自我反思方法、结构化比较推理、验证链（CoVe）、自然语言推理链（CoNLI）等。

提示微调

这是一种定制提示以引导大型语言模型（LLM）获得所需输出的方法。它避免了大量再训练的需要，使其成为一种强大而高效的工具。

发展中的方法

许多发展中的方法也可以成为缓解 LLM 幻觉的有效技术。其中一些是

1.上下文感知解码（CAD）它通过将语义上下文向量集成到解码过程中来对抗 LLM 幻觉。这些向量捕捉整个上下文的含义，而不仅仅是特定单词（如在注意力机制中）。CAD 在模型先验知识与提供上下文相矛盾时，特别有效地覆盖了模型的先验知识，从而在知识冲突可能发生的任务中显著提高了性能。

2.对比层解码 (DoLa) 这是一种简单的解码策略，旨在缓解预训练 LLM 中的幻觉，而无需外部知识条件或额外微调。DoLa 通过对比后续层和早期层在词汇空间中的对数差来获得下一个词元分布。它增强了对事实知识的识别，并最大限度地减少了不正确事实的生成。

3.监督微调（SFT） 是一种利用标记数据，通过根据目标任务微调 LLM 参数来使预训练 LLM 适应目标任务的技术。由于只更新了部分参数，因此 SFT 通常比完全微调所需的计算能力和训练时间更少。

要充分发挥 LLM 的潜力，就需要解决长期存在的幻觉问题。虽然传统的微调方法有其局限性，但 RAG、自我完善和上下文感知解码等令人兴奋的新技术提供了有前景的解决方案。随着我们深入研究这些方法，问题随之而来

哪些技术在特定研究领域或任务中具有最大潜力？我们能否结合这些方法以实现更强大的幻觉缓解？

这些只是引燃讨论的几点火花。请在下方评论中分享您的想法、经验和问题！让我们共同努力，构建一个 LLM 不仅强大，而且可靠和值得信赖的未来。