高级 RAG：为 RAG 微调 HuggingFace 的嵌入
什么是 BeyondLLM？
BeyondLLM 提供了一个用户友好的库，优先考虑数据科学家的灵活性。BeyondLLM 通过最少的编码简化了复杂 RAG 管道的构建，并通过上下文相关性、答案相关性、基础性和事实真相等全面基准增强了评估过程。这些指标评估了从检索器获取相关信息的能力到大型语言模型 (LLM) 响应的准确性和事实真相，所有这些都在框架内得到了简化，该框架还自动化了快速实验。
大型语言模型 (LLM) 展示了卓越的潜力，为各种应用程序提供了广泛的功能。LLM 在开源库中的快速增长使得各种工具的开发成为可能，例如 RAG 应用程序、LLM 评估、微调、可观察性等等。BeyondLLM 旨在简化 RAG 和 LLM 应用程序的开发，并完成评估，所有这些都只需 5-7 行代码。
使用 HuggingFace 构建高级 RAG 管道
微调嵌入的分步指南
在深入代码之前，请确保已安装必要的库。您可以使用以下命令安装它们：
!pip install beyondllm
!pip install llama-index-finetuning
!pip install llama-index-embeddings-huggingface
1. 导入所需库
首先，导入必要的库并设置环境。
from beyondllm import source, retrieve, llms, generator
from beyondllm.embeddings import FineTuneEmbeddings
import os
from getpass import getpass
os.environ['GOOGLE_API_KEY'] = getpass("API key:")
2. 加载和准备数据
从指定路径加载数据并进行处理。本示例中，数据应为 PDF 格式，并将进行适当分块。
data = source.fit(path="my_cv.pdf", dtype="pdf", chunk_size=1024, chunk_overlap=0)
3. 初始化语言模型
从 beyondllm 初始化语言模型。这里我们使用 `GeminiModel`。
llm = llms.GeminiModel()
4. 微调嵌入
为什么需要微调嵌入？
使用您的特定数据集微调嵌入可以增强语言模型的上下文理解，使其更适合检索和生成相关信息。此过程使嵌入适应您数据中存在的细微差别和特定领域语言，从而提高 RAG 管道的准确性和相关性。
使用 FineTuneEmbeddings 类微调嵌入。这涉及在您的特定数据集上训练嵌入，以更好地捕获您的数据的细微差别。
为了微调嵌入，LLM 从给定数据生成一对数据集。这个过程对于训练模型至关重要。在这种情况下使用的模型是 HuggingFace 的开源嵌入模型 BAAI/bge-small-en-v1.5。
fine_tuned_model = FineTuneEmbeddings()
embed_model = fine_tuned_model.train(
["my_cv.pdf"],
"BAAI/bge-small-en-v1.5",
llm,
"finetune"
)
注意：在训练函数中，我们声明了模型需要保存的路径。在本例中，此路径设置为 finetune。此相同的路径变量也用于加载微调的嵌入模型。
5. 加载微调模型
HuggingFace 嵌入现已更新，我们将现在将其用于检索和生成管道。
embed_model = fine_tuned_model.load_model("finetune")
6. 设置检索器
使用微调的嵌入设置检索器。检索器负责根据查询获取相关文档。
retriever = retrieve.auto_retriever(data, embed_model, type="normal", top_k=4)
7. 检索信息
您现在可以使用检索器来获取相关信息。例如，要检索有关“Tarun 在 AI Planet 的角色”的信息
query = "what is Tarun's role in AI planet"
result = retriever.retrieve(query)[0].text
print(result)
8. 使用 RAG 生成响应
最后，使用检索器和语言模型设置生成管道。此管道将使用检索到的信息生成连贯的响应。
评估 RAG 性能
RAG 三元组的评估指标评估管道的有效性。这些指标包括上下文相关性、答案相关性、基础性和事实真相。它们共同衡量系统检索、理解和生成准确、事实正确且上下文适当的响应的能力。
pipeline = generator.Generate(
question=query,
retriever=retriever,
llm=llm
)
# Generate the response
response = pipeline.call()
print(response)
# Get evaluation metrics for the RAG triad
evals = pipeline.get_rag_triad_evals()
print(evals)
为什么选择 BeyondLLM？
用最少的代码轻松构建模型
BeyondLLM 通过自动化大部分集成任务，实现 RAG 应用程序的快速实验。借助 source 和 auto_retriever 等组件，该框架简化了开发过程。灵活评估嵌入和 LLM
BeyondLLM 支持多种 LLM，用于评估 LLM 和嵌入，为嵌入提供命中率和 MRR（平均倒数排名）等指标，并为 LLM 提供四个评估指标。减少 LLM 幻觉的高级技术
BeyondLLM 集成了 Markdown 分割器、分块策略、重新排名和混合搜索等功能，以最大程度地减少幻觉，从而使 RAG 应用程序更加可靠。
结论
通过遵循这些步骤，您可以微调 HuggingFace 的嵌入，以创建针对特定数据集量身定制的强大 RAG 管道。这种方法增强了模型的检索和生成能力，从而产生更准确和上下文相关的响应。无论您正在处理复杂的 AI 项目还是仅仅探索 RAG 的功能，本指南都为高级应用程序提供了坚实的基础。
合著者：Shivaya Pandey
开始使用 BeyondLLM
有关更多详细信息并开始使用，请查看文档：BeyondLLM 文档
快速入门指南 Colab Notebook：快速入门指南
在此处打开您的 PR：BeyondLLM GitHub 存储库
别忘了点赞 ⭐️ 和 Fork 存储库！