🅰️ℹ️ 1️⃣0️⃣1️⃣ 提示优化秘诀
~ 这是我们 AI 101 系列的一部分 ~ 本期作者：Isabel González 编辑：Ksenia Se
优化提示对于提高大型语言模型 (LLM) 的性能至关重要。在这篇文章中，我们将借鉴最近的研究和实用技术，探讨提示优化的一些关键。无论您是想提高查询的清晰度，分解复杂问题，还是最大化检索信息的关联性，这些策略都将帮助您改进方法并取得更好的结果。
人人皆应知！开始吧。
🔳 Turing Post 在 🤗 Hugging Face 上驻扎 -> 点击关注！
在本期节目中，我们将讨论
查询优化的四大支柱
查询优化可以分为四种主要策略，每种策略都适用于不同的场景：扩展、分解、消歧和抽象。让我们通过一些相关示例来概述每种策略。
扩展
提示优化的基本技术之一是扩展，它涉及使用额外的相关信息来丰富原始查询。扩展对于弥补上下文的不足、发现隐藏的关联或解决初始提示中的歧义特别有用。
查询扩展的一个具体应用是检索增强生成 (RAG) 系统。在 RAG 中，大型语言模型 (LLM) 用于生成文本，但它们通常需要访问外部知识源才能提供准确和全面的响应。查询扩展有助于改进从这些知识源中检索相关文档，从而生成信息更丰富的 LLM 输出。
扩展可以分为两种主要类型：内部扩展和外部扩展。
内部扩展
内部扩展利用 LLM 在预训练期间已经嵌入的知识。通过分析原始查询并添加上下文线索、同义词或相关概念，模型可以将查询重构为更强大的版本。
例如，给定一个像“气候变化的影响是什么？”这样的提示，内部扩展可能会包含“对生态系统、全球气温上升和经济影响”等短语，以引导模型给出更全面的回应。内部扩展对于时间敏感性低的查询特别有效，因为所需信息已经存在于模型的知识库中。
外部扩展
相比之下，外部扩展结合了来自模型外部来源的补充数据，例如网络或结构化知识库。此方法对于时间敏感的查询或需要最新信息的主题特别有价值。
例如，像“2024 年奥运会将在哪里举行？”这样的提示可以通过检索相关更新或官方公告来扩展，以确保答案准确无误。外部扩展有效地弥合了静态预训练知识与动态真实世界信息之间的差距。
分解
分解简化了查询结构，降低了模型的认知负荷，并提高了生成准确响应的可能性。通过独立处理查询的每个组件，此方法确保最终输出全面且连贯。
当查询涉及多层推理或需要整合不同信息时，单个提示可能会使模型不堪重负，导致模糊或不完整的答案。优点？提高清晰度、聚焦上下文和可伸缩性。
以下是一些示例
顺序分解
对于遵循逻辑进度的查询，将任务分解为多个步骤至关重要。
- 原始查询：“2024 年奥运会中国在乒乓球或羽毛球项目中哪个赢得的奖牌更多？”
- 分解后的查询
- 问题 1：“2024 年奥运会中国在乒乓球项目中赢得了多少枚奖牌？”
- 问题 2：“2024 年奥运会中国在羽毛球项目中赢得了多少枚奖牌？”
然后可以综合这些子查询的答案，以确定哪个项目获得了更多奖牌。
并行分解
对于需要多个独立事实的查询，可以同时处理这些组件。
- 原始查询：“森林砍伐对环境和经济有何影响？”
- 分解后的查询
- 问题 1：“森林砍伐对环境有何影响？”
- 问题 2：“森林砍伐对经济有何影响？”
每个子查询都探讨了问题的不同方面，确保没有遗漏任何关键细节。
消歧
语言本身就充满细微之处，查询中哪怕是轻微的歧义都可能导致截然不同的解释。例如，查询“2024 年奥运会乒乓球冠军是谁？”可能指男子或女子组别，因此有必要澄清问题以消除不确定性。消歧通过分解或重新措辞查询来帮助识别和消除此类歧义，以确保清晰度。
消歧的一些实际例子
澄清歧义
- 原始查询：“2024 年奥运会乒乓球冠军是谁？”
- 消歧后的查询
- 问题 1：“谁赢得了 2024 年奥运会男子单打乒乓球冠军？”
- 问题 2：“谁赢得了 2024 年奥运会女子单打乒乓球冠军？” 这种细化确保模型为两个类别检索到有针对性的答案。
多轮对话
在对话设置中，消歧可以涉及通过合并先前交流的上下文来重新措辞查询。
- 上下文
- 用户：“谁赢得了金牌？”
- 模型：“在哪个项目中？”
- 用户：“乒乓球。”
- 消歧后的查询：“谁赢得了 2024 年奥运会乒乓球金牌？”
重新组织宽泛的查询
- 原始查询：“气候变化的影响是什么？”
- 消歧后的查询
- 问题 1：“气候变化的环境影响是什么？”
- 问题 2：“气候变化的经济影响是什么？”
这种结构化方法使模型能够全面探索复杂问题的不同方面。
抽象
抽象有助于将注意力从细枝末节转移到总体目标，使模型能够更有效地综合信息和推理。此方法在需要详细分步分解（如分解）反而会使过程更复杂的情况下特别有价值。
一些实际例子
拓宽范围
- 原始查询：“中国举办过多少次奥运会？”
- 抽象化查询：“中国奥运会主办历史是怎样的？”
通过重新组织查询，鼓励模型提供更广阔的视角，提供超越眼前问题的上下文和额外见解。
核心概念识别
- 原始查询：“过去十年巴西森林砍伐的主要经济影响是什么？”
- 抽象化查询：“森林砍伐的经济影响是什么？”
去除时间和地理限制使模型能够在添加特定于上下文的详细信息之前探索基础知识，从而确保更全面的响应。
结合策略
您可以将抽象与其他策略结合使用：从抽象查询开始以识别关键概念，然后使用分解将其分解为更小的子问题，并应用扩展以丰富相关细节或数据。
结论
毫无疑问，提示优化是一门艺术和科学，它将对模型行为的理解与结构化的查询细化方法相结合。通过利用扩展、分解、消歧和抽象的原则，开发人员可以充分发挥 LLM 在各种应用中的潜力。通过解决查询处理中的特定挑战，这些支柱有助于提高搜索结果的准确性、完整性和整体质量。
随着该领域的发展，将这些技术与强大的基准和工具相结合将是提高 LLM 驱动系统效率的关键。为了更深入地探索这些策略，我们强烈建议查阅 Mingyang Song 和 Mao Zheng 的富有洞察力的研究《大型语言模型中的查询优化综述》，该研究为 LLM 中的查询优化提供了全面的基础，并强调了其变革潜力。
今天就开始尝试这些技术，迈出为您的项目打造更有效和更有影响力的提示的第一步！
关于作者：Isabel Gonzalez / 一位热衷于研究和开发创新领域人工智能技术的工程师。凭借在机器学习、自然语言处理和计算机视觉方面的扎实背景，我致力于分享知识和经验，以激励他人发现人工智能的迷人世界。
福利：深入学习资源
- 使用大型语言模型探索查询扩展的最佳实践
- 语料库引导的语言模型查询扩展
- 通过提示大型语言模型进行查询扩展
- 优化查询生成以增强 RAG 中的文档检索
- 针对分布偏移的大型语言模型的鲁棒提示优化
- 通过 LLM 查询分解和方面融合的多方面评审项检索
- 分解式提示：解决复杂任务的模块化方法
- 思想抽象使语言模型成为更好的推理者
- Promptagator：从 8 个示例中进行少样本密集检索
来自图灵邮报的资料
- 什么是 HtmlRAG、多模态 RAG 和代理式 RAG？
- 检索增强生成 (RAG) 的 12 种类型
- 检索增强生成 (RAG) 的 16 种新类型
- 主题 3：什么是图 RAG 方法？
- 主题 9：什么是推测性 RAG？
- 主题 12：什么是 HybridRAG？
- 7 门免费 RAG 掌握课程
📨 如果您想直接在收件箱中收到我们的文章，请在此订阅