智能体课程文档

AI 智能体可观测性与评估

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

AI 智能体可观测性与评估

Bonus Unit 2 Thumbnail

欢迎来到附加单元 2!在本章中,你将探索观察、评估并最终提高智能体性能的进阶策略。


📚 我何时应该学习这个附加单元?

如果你符合以下情况,那么这个附加单元非常适合你:

  • 开发和部署 AI 智能体: 你希望确保你的智能体在生产环境中可靠运行。
  • 需要详细的洞察: 你希望诊断问题、优化性能或理解智能体的内部工作原理。
  • 旨在降低运营开销: 通过监控智能体成本、延迟和执行细节,你可以高效管理资源。
  • 寻求持续改进: 你对将实时用户反馈和自动化评估集成到你的 AI 应用中感兴趣。

简而言之,对于所有希望将智能体推向用户的人来说!


🤓 你将学到什么

在本单元中,你将学到:

  • 检测你的智能体: 学习如何通过 OpenTelemetry 与 *smolagents* 框架集成可观测性工具。
  • 监控指标: 跟踪性能指标,如 Token 使用量(成本)、延迟和错误跟踪。
  • 实时评估: 了解实时评估的技术,包括收集用户反馈和利用 LLM 作为评估者。
  • 离线分析: 使用基准数据集(例如 GSM8K)测试和比较智能体性能。

🚀 准备好开始了吗?

在下一节中,你将学习智能体可观测性和评估的基础知识。之后,就该亲自动手实践了!

< > 在 GitHub 上更新