MedEmbed：针对医疗/临床信息检索的微调嵌入模型
注：本文也发布在Medium上。欢迎在那里关注我。
引言
在信息爆炸的时代，医疗领域面临着一个独特的挑战：如何高效地检索和利用海量的临床数据、研究成果和医学文献。传统的医疗信息检索系统在处理医学术语和概念的复杂性和特异性时往往力不从心。MedEmbed应运而生，旨在增强医疗信息检索和医疗领域的自然语言处理（NLP）任务。
MedEmbed不仅仅是另一个嵌入模型；它是一系列经过精心微调、专门用于医疗和临床数据的嵌入模型。通过利用先进的机器学习技术和合成数据生成管道，MedEmbed在医疗检索任务中取得了优异的性能，超越了许多体积比它大几倍的模型。
模型下载链接：v0.1
数据集下载链接：v1
医疗信息检索的挑战
医疗数据的复杂性
医疗信息本质上是复杂的，其特点是：
- 专业术语：医学行话和技术术语，在日常语言中很少使用。
- 语境细微差别：同一术语根据医疗语境可能具有不同的含义。
- 不断发展的知识：医学研究的快速进展要求信息系统不断更新。
- 跨学科性质：医学知识通常涵盖多个领域，从生物学到药理学再到患者护理。
通用模型的局限性
尽管通用嵌入模型在自然语言理解方面取得了显著进展，但它们在处理医疗数据时往往会遇到困难：
- 缺乏领域知识：通用模型可能无法捕捉医学术语的深层语义。
- 语境误解：通用模型在处理通用文本时可能会丢失或误解医学语境。
- 特异性不足：通用模型可能无法区分密切相关的医学概念。
- 无法处理罕见术语：许多关键医学术语在通用文本语料库中出现频率较低。
这些局限性可能导致关键医疗应用性能不佳，潜在地影响患者护理和医学研究。
MedEmbed：量身定制的医疗嵌入方法
MedEmbed家族
MedEmbed通过一套专为医疗数据设计的模型来应对这些挑战：
- MedEmbed-Small-v1：一个紧凑型模型，适用于资源受限环境或医疗场景中的边缘设备。（最小可行产品）
- MedEmbed-Base-v1：一个平衡模型，为各种医疗NLP任务提供强大的性能。
- MedEmbed-Large-v1：该家族中最强大的模型，为高要求的医疗信息检索任务提供卓越性能。
MedEmbed家族中的每个模型都经过精心设计，旨在捕捉医疗语言的复杂性，同时保持效率和可扩展性。
开发过程：从临床笔记到最先进的嵌入
MedEmbed的创建涉及一个复杂而创新的过程，它将大型语言模型的力量与真实世界的临床数据相结合。
数据收集与准备
源数据：MedEmbed的基础建立在PubMed Central (PMC) 大量临床笔记和医学文献之上。这确保了模型扎根于真实的医疗语言和概念。
数据清洗与预处理：应用严格的清洗和匿名化流程，以确保数据质量并保护患者隐私。
合成数据生成管道
MedEmbed成功的核心在于其独特的合成数据生成过程：
LLM驱动生成：清洗后的临床笔记通过最先进的大型语言模型LLaMA 3.1 70B进行处理。这一步骤生成高质量的查询-响应对，捕捉医疗查询及其相应相关信息的复杂性。
查询多样性：该管道为每份临床笔记生成各种类型的查询：
- 基于关键词的查询
- 自然语言问题（Q/A格式）
- 与治疗、程序和随访相关的查询
负采样：为了增强模型的判别能力，创建了具有挑战性的负例。这些负例被设计成与正例在语义上接近，迫使模型学习医疗语境中的细微区别。
三元组形成：正例和负例组合形成三元组（查询、正响应、负响应）。这种格式对于训练中使用的对比学习方法至关重要。
基准性能
MedEmbed的性能在医疗NLP基准套件上经过严格评估，证明其优于现有模型。
评估基准
模型在五个关键医疗检索基准上进行了测试：
- ArguAna
- MedicalQARetrieval
- NFCorpus
- PublicHealthQA
- TRECCOVID
关键性能指标
评估侧重于几个关键指标：
- nDCG（归一化折减累积增益）@1、5和10
- MAP（平均平均精度）@5和10
- 召回率@1、5和10
- 精度@1和5
- MRR（平均倒数排名）@1和5
下图所示的
mix{N}模型是使用LM_Cocktail创建的模型融合。
结果亮点
小型模型卓越表现:
- MedEmbed-Small-v1在所有基准测试中始终优于BAAI/bge-small-en-v1.5模型。
- 在某些任务中，nDCG@10和MAP@5指标的改进尤为显著，增幅超过10%。
基础模型成就:
- MedEmbed-Base-v0在BAAI/bge-base-en-v1.5模型上表现出显著增强。
- 在MedicalQARetrieval和PublicHealthQA基准测试中表现尤为强劲，Recall@5和MAP@10的改进超过10%。
大型模型优势:
- MedEmbed-Large-v0表现出优于BAAI/bge-large-en-v1.5模型的卓越性能。
- 在TRECCOVID基准测试中取得了顶尖成果，nDCG@5提升超过10%，MAP@10提升15%。
跨尺寸比较:
- MedEmbed-Small-v1在多个基准测试的多个指标上超越了基础BAAI/bge-base-en-v1.5模型，展现了卓越的效率。
- MedEmbed-Base-v0与更大的模型相比表现出竞争力，经常达到或超越BAAI/bge-large-en-v1.5的性能。
这些结果强调了MedEmbed专业训练方法的有效性及其高效捕捉医学领域知识的能力。
潜在的实际应用和影响
量身定制的嵌入模型在医疗保健和医学研究领域的潜在应用广泛且具有变革性：
- 增强临床决策支持
- 加速医学研究
- 改善患者护理
- 优化电子健康记录（EHR）系统
- 高级医学教育
- 公共卫生和流行病学
- 药物研发
未来方向与正在进行的工作
尽管MedEmbed已展现出令人印象深刻的能力，但征程远未结束。MedEmbed团队致力于将医疗AI推向更远的境界：
- 更好的模型变体
- 结合ColBERT等高级检索技术实现后期交互
- 改进合成数据管道
参与其中：托管与实验
为了方便研究人员、开发人员和医疗专业人员探索大型语言模型在医疗领域的潜力，我们创建了一个便捷的解决方案：
LLaMA 3.1 70B 的 RunPod 模板
为了方便实验和进一步开发，我们设置了一个RunPod模板，可以轻松部署LLaMA 3.1 70B，它是我们合成数据生成管道的核心。
此模板提供了一种无忧的方式来自行托管您的大型语言模型，让您可以在自己的研究或应用中探索这些强大工具的潜力。
分步指南
为了详细了解如何设置和使用此模板，我们准备了全面的指南：
本指南涵盖了从初始设置到高级使用的所有内容。
总结：
MedEmbed的旅程才刚刚开始，我们诚挚邀请医疗和人工智能社区加入我们，共同探索其功能、为其发展贡献力量，并帮助其在全球范围内充分发挥改善人类健康的潜力。
欲了解更多信息、合作机会或访问MedEmbed模型，请访问我们的GitHub仓库或通过abhinand.ml@gmail.com联系Abhinand Balachandran。
加入我们，共同通过MedEmbed革新医疗信息检索，为更智能、高效、有效的医疗未来铺平道路。
