🎙️🧩 TP/推理：Sharon Zhou谈AI幻觉、智能体炒作以及将GenAI的钥匙交给开发者
模型如何进行手术、重新思考人工智能教育以及释放生成式人工智能的真正魔力
这是一次实验！所以这篇帖子才花了这么长时间才发给你们。
最近，我参加了HumanX会议，并进行了一些非常有趣的采访。开始一个视频采访系列并不是我的计划，但演讲者们都太棒了——我无法抗拒。所以现在我有一堆录音（+更多采访正在进行中！），然后我想：作为一位时间紧迫的五个孩子的母亲，我能用AI工具做些什么？我真的能利用我所写的技术，自己制作几集节目吗？
我的主要工具是CapCut进行视频剪辑（付费版）——内置了许多AI功能。最酷的功能是：无需手动剪切，只需生成文字稿，然后通过编辑文字即可编辑视频。操作非常流畅。我还使用了ElevenLabs的Scribe（免费版，通常我用付费的Otter进行转录），付费的Claude 3.7 Extended进行采访编辑（ChatGPT在这方面真的很糟糕），以及付费的ChatGPT 4.5用于生成重点、引语和TLDRs（太长不看版本）。
首先：这些工具现在能做到的——简直是纯粹的魔法。
但同时，由于人工智能工具提供了如此多的选项（您想保留还是删除背景？人工智能生成的背景如何？画外音呢？等等），它们需要时间来学习。一旦您掌握了它们，成为一个单人媒体团队会感觉出奇地可行。尽管如此，我并不一定会推荐这样做。在CapCut和其他工具上熬夜了几晚后，我可以告诉您：工作量很大。写一篇关于MCP的文章要容易得多。
无论如何——**隆重推出这个自发诞生的播客：图灵邮报 / 推理。**
我们与杰出的人士对话，发掘关于人工智能、科技和人类未来的真知灼见——将深度对话转化为有益、可行和引人深思的内容。
**在第001集：不可思议的Sharon Zhou。**她是一位生成式AI的拓荒者，是斯坦福大学吴恩达的得意门生——吴恩达以及Andrej Karpathy等都是她公司Lamini的投资者。从共同创建Coursera上最顶尖的AI课程之一，到入选麻省理工学院著名的“35位35岁以下创新者”榜单，Sharon将复杂的技术转化为日常的魔力。从古代文本到现代代码，她架起了哈佛与硅谷之间的桥梁——构建出扎实、强大且为人服务的AI。
她也超级有趣！
📝 执行摘要
- 从超现实图像到企业级LLMs：Sharon的旅程涵盖了早期的生成模型到创办Lamini，她在Lamini帮助团队微调模型以实现真实世界的准确性。
- 幻觉可修复：她解释了Lamini如何通过“手术式”编辑模型权重（而非提示）来减少幻觉——将事实准确率从6-30%提升至90%以上。
- 基准≠现实：企业客户不关心MMLU或Spider——他们需要的是能在其复杂数据上运行的模型。
- 智能体和RAG？炒作过度（某种程度上）：Sharon分析了为什么这些流行词在非专家中引起共鸣，即使它们让研究人员感到困惑。
- 用表情包而非数学教学：Sharon让复杂的AI变得直观——无论是对开发者、政策制定者还是任何人。
- 核心思想：更多人——不仅仅是研究人员——应该能够引导和塑造AI的行为。
观看视频！订阅我们的YouTube频道，和/或阅读文字稿（为清晰和简洁已编辑）⬇️。
生成式人工智能的过去与现在
在生成式人工智能变得时髦之前，你就已经涉足其中了。你还教授了一门非常受欢迎的Coursera课程。有多少学生？
我现在教导着数百万人。但最初只有一个学生。
所以从一个人开始。然后是几十万。现在是数百万人。你认为你的受众从你开始教学时到现在有什么变化？
我认为最重要的一点是它在商业上的相关性。最初它只是一项神奇的技术。你几乎可以，至少我可以看到它的前景，它将走向何方。当然，它当时产生的输出——并不是真正可用的。基于图像的模型产生的图像看起来像噩梦，像是恐怖电影里会出现的人。但这已经被认为是好的了。比随机像素好多了。
那在当时真的很有吸引力。而现在我们可以生成看起来完全逼真的视频。我大约在2016-17年开始从事通用人工智能的工作。现在它是一个完全不同的阶段。
我还记得2019年，我思考过生成式人工智能，当时我在构思一种媒体概念，它将使用生成的图像、声音和主播。没有人相信这会发生。
你真有远见。
看到那些令人毛骨悚然的图片却又着迷，真是太神奇了。
哦，是的，绝对是！我感觉它奇怪地激发了我的母性本能。我就像：这些是我的孩子。因为你可以看到模型是如何随着时间进步的。随着时间的推移，在训练过程中，你先看到眼睛，然后看到一张完整的脸。然后你就会想——天哪——我培育它才达到了这个阶段。我调整了正确的超参数。我投入了正确的数据，才让它达到了正确的位置。
我会称它们为我的孩子。我想我的博士导师吴恩达会说：“这有点奇怪，但好吧。”说实话，我的电脑里还存着那些当时看起来很奇怪的生成面孔的截图。
现在它无处不在。人们到处生成东西，看到人们如此有创意真是太神奇了。这让我非常高兴——我觉得很多人也看到了这项技术的神奇之处。不仅仅是我一个人被它迷住了。
是的，这很神奇。你是如何从图像处理转向现在在Lamini所做的工作的？
赋能开发者与民主化
这是个好问题。在攻读博士学位之前，我是一名产品经理，但在担任产品经理之前，我实际上学习了古典学，比如拉丁语和古希腊文学。我热爱语言。所以这些都结合在一起，形成了产品中的语言和沟通，以及故事和讲故事。我喜欢把这些结合起来，于是我也开始从事语言方面的工作。我曾是非营利性AI研究机构的负责人。不是OpenAI！是一家致力于语言模型对齐的非营利组织，类似于OpenAI，专注于这些大型语言模型（LLMs）的安全。那大概是在2020-2021年。之后我开始更多地研究语言模型，因为它们在商业上取得了巨大的成功。我感觉到这些用例可以在企业中产生非常大的影响，而我在产品方面有这方面的经验。
有几件事促使我创办了Lamini。其中之一是看到了所有这些令人惊叹的基础模型。我想，如果世界上更多的人能够驾驭这些模型，那不是更神奇吗？更多的人可以定义安全性，更多的人可以定义这些模型能够成长到什么程度，以及它们能够具备什么能力。他们真的可以引导这些模型的行为和知识应该是什么，而目前这些都比较局限于OpenAI和Anthropic等公司。
现在有2400万开发者，可能因为生成式人工智能而更多——如果我们能把这些做事的钥匙交给他们，那么我认为我们就能构建更好的模型。
我还相信，最了解自身问题的人——在获得正确工具的情况下——最适合解决这些问题。在攻读博士期间，我做了一些应用于医疗保健的项目。我们与斯坦福医学院合作，我清楚地认识到医生对机器学习能提供哪些帮助有着深刻的见解。对我来说，癌症治疗如何通过机器学习来帮助并不那么明显：哦，它预测这种细菌会预测癌症！我就是不知道，但他们对此理解得很深，也明白这在诊断中如何有用。我觉得对于所有这些学科，如果我们能将这项神奇的技术作为工具提供给所有这些人——那将能实现更多。
这就是创办Lamini的初衷，然后Lamini发展到寻找你首先想帮助人们引导这些模型的智能垂直领域。我与300位潜在客户进行了交流，并提出了这个想法——最初是帮助人们访问他们的文本到SQL结构化数据。随着我与更多客户的交流，它演变为“我们需要能够更进一步地引导这些模型”，不仅限于这个垂直领域，而是更广泛的横向平台。所以后来它变成了对这些模型进行微调，直接编辑这些模型，将其推向下一步，而不仅仅是提示它们。
下一阶段的领悟是：哦，实际上我们不想覆盖所有领域，对于一家初创公司来说这太多了，而且也让最终客户感到困惑。所以让我们专注于一个智能的垂直领域，并把它做得非常好。
处理幻觉的技术方法
我们发现最大的问题是幻觉。我们决定不只是询问，而是真正检查客户的数据，并准确理解他们的目标——对他们来说，幻觉究竟是什么。我们意识到这实际上是一个技术问题，而不是哲学问题。对于他们中的许多人来说，仅仅是某些标记在特定上下文中需要更具确定性，而不能是随意编造的。
我相信幻觉有多种定义，但这只是其中之一。一旦我们能够正确地界定问题，我们就能从技术上解决它。
现在，这容易吗？不。我们必须对模型进行“手术”，我们必须编辑模型后训练和微调的方式。我们创建了一个新的方法，它改变了这些模型的LoRA适配器层，并将其转化为一个专家混合模型，这实际上等同于在学习索引中学习一个检索器。就像把这个放在适配器层中，而不是像RAG那样用于索引的外部检索器。所以把这个放在模型的权重中，这样它就能非常非常准确地检索这些事实——达到极高的准确度，达到百分之九十多的准确率。
这并非不可能。而那时OpenAI还在发布类似“幻觉是设计使然”的论文，好像这些模型天生就应该产生幻觉一样。
当人们谈论幻觉时，有时感觉像是一种氛围。但它实际上是一个技术问题！那么当你发现它时，你如何衡量结果呢？你有什么指标或评估系统吗？
我认为两种类型的基准最重要。一是我们将基础模型与维基百科页面进行比较。例如，关于金门大桥，它会产生幻觉，而在我们的模型上则不会。因此，准确率从30%左右提高到90%。
当然，对于我们的客户，通常是企业，比如高露洁——他们并不真正关心通用评估。他们不关心MMLU，也不关心模型在数学方面的表现，这些对他们来说都不重要。他们中许多人甚至不关心现有的文本转SQL基准。例如Spider和Bird——这些是机器学习社区中非常常见的文本转SQL基准，并且已经存在一段时间了。他们不关心，因为如果一个模型在这些基准上表现良好，并不意味着它在他们相当复杂的模式上也能表现良好。如果你去检查，这实际上是一项极其不同的任务。不仅模式要复杂得多，而且任务本身对于企业实际希望模型做什么来说是模糊不清的。
所以我们所做的反而是：好吧，让我们检查一下你自己的内部评估。让我们帮你以一种简单的方式制定它——我们有一个框架可以做到。他们只需遵循那个简单/中等/困难的分解，保持简单。然后让模型真正解决简单/中等/困难的问题。通常我们的阈值是90%左右——因为我总是想看到一个9在里面。对于高露洁，使用OpenAI的最新模型，准确率从30%提升了，对于另一家财富500强公司，他们有更复杂的东西，从6%提升到90%。
对我来说最神奇的是看到他们做到这一点。我不在场，我没有为他们写一行代码。他们做到了，他们的开发者做到了。他们能够将这些模型引导到如此极端的精度。
人工智能误解与市场趋势
您在很多层面上都有如此深刻的理解，大多数人都没有那么渊博的知识。您从客户那里听到的最常见的误解是什么？您需要不断向他们解释什么？
我想对于人工智能研究人员来说，我们发现有些事情……用“有趣”来形容不太准确，但也许我们只是对市场对某些事情感兴趣感到惊讶。
其中之一就是“代理”这个词。
我跟我的OpenAI、Anthropic朋友们聊过——他们都说：“我不知道市场为什么关心这个，但我想我们为了营销不得不这样做。”这很有趣，因为我觉得我的第一反应也是一种过敏反应。但后来我深入思考，并开始和越来越多的人讨论它，包括非AI研究人员。这时我才真正明白：这只是对同一件事的不同看法。我以一种非常以模型为中心的方式思考，因为我对这些模型非常熟悉，而且我在过去十年里一直这样工作。但其他人可能不这么看。他们认为“这个AI如何与人互动或模仿人”。我认为世界上的智能体观点是以人类或个体为中心的。AI是一个个体，而不是AI作为一个模型。我认为这在软件工程中等同于OOP（面向对象编程）。那就像是面向对象的，而不是函数式编程。
所以这只是对几乎相同事物的一种不同视角，而你都可以实现。
另一件事是关于RAG。
我知道，我知道！我想人们都被RAG迷住了。但对于我们这些在这个领域待了很久的人来说，我们很惊讶他们会这样，因为终极检索是谷歌。终极检索已经建成了，它不是人工智能，但人们把RAG看作人工智能。它实际上是信息检索，这比人工智能存在的时间长得多，但它与人工智能结合在一起，因此连接到人工智能大脑。对我来说，这真是令人着迷，我想它被误认为是人工智能。没有反向传播。它就像你实际输入到提示中的东西，当然它会作为输入影响模型。但从技术角度来看，那并没有什么实际意义。
当我将它与智能体一起考虑时，实际上是说得通的，因为这样它就像一个完整的智能体做了所有这些事情，汇聚在一起，它是一个个体。然后，他们将整个系统视为人工智能，而不是仅仅是模型部分，这就说得通了。
你刚才把两个最热门的话题都解决了！
不，不，它们对于理解事物很重要。为什么它们在市场上如此受追捧？因为它们能向人们解释很多东西。我认为这实际上是几乎最符合其他人直觉的用户体验或界面。有趣的是，在某些方面，像我这样的专家也有“专家盲点”。所以我们太习惯于以模型为中心的方式看待世界，以至于以那种方式看待它对我们来说有点困惑。
但我真的觉得是位媒体人最让我大开眼界。当我与她交谈时，我意识到“哦，天哪，以智能体视角看待事物对她来说，人工智能的作用以及人工智能如何影响世界，更能说得通。”否则，如果以模型为中心，她会想这到底如何影响世界。但当它以智能体为中心时，突然间就非常清楚它是什么了。这也更符合所有科幻电影的设定。它就是很合拍。
企业用例
很多人询问并乐于了解使用案例。你提到了高露洁。还有哪些你引以为豪的行业使用案例？
有一个让我非常兴奋的。它是一家全球2000强的生物技术公司，我们的客户之一，他们正在做的简直是疯狂。
他们正试图将常规癌症研究的三到五年时间缩短到仅仅几周。如果你退后一步思考一下——那将彻底改变一个行业。那将从根本上改变人类健康。所以我对此非常兴奋，因为它不仅能帮助他们赚钱，还能为世界带来益处。
我认为这是一种变革，我甚至无法想象这个行业未来将如何运作。现在，这家公司将超越其他无法做到这一点的公司。所以这非常令人兴奋。
他们具体所做的是，他们正在使用我们的本地平台，并且将公开专利数据与私人PII数据结合起来，因为这样他们才能获得最佳信息。但他们以私密的方式进行，数据安全可靠。他们不方便将数据发送出去。他们需要高度准确和专业化，目标是“超越科学家”。
对您来说，公司拥有高度结构化的数据重要吗？
不，实际上对我们来说最重要的是这些公司所拥有的用例有客观的输出。这意味着你可以告诉我什么是好的/更好的/最好的，并且你的专家们会对此达成一致。
越主观，你基本上就给了模型多个北极星。它不知道该往哪里去。它可能会优化一个目标，但其他目标都会变得更糟。这些模型非常擅长优化，你需要非常清楚你的北极星在哪里。你不想有一个巨大的模糊团块，然后每个人都对它没有朝着正确方向前进感到不满。
我们最初与客户面临的最大挑战是如何将用例限定为一个客观的用例。
这就是为什么我们实际上喜欢文本到SQL。它不仅渗透到每个企业，因为每个企业几十年来都将数据放入结构化格式，而且他们最有价值的数据也在那里，因为我们历史上就是这样进行分析的。
不仅如此，他们还喜欢当SQL查询失败时，我们都能同意它失败了。
你必须非常清楚你想要什么。在文本到SQL的例子中，这太清楚了，它已经摆在那里了。
你认为你会从处理幻觉转向其他领域吗？是哪些领域？
好吧，我不能确切地说接下来是什么，因为我确实认为幻觉会占用我们很多时间，而且我认为我们的客户会帮助我们决定接下来应该优先处理什么。但就想法而言：一个是创造力。如果这些模型能比现在更有创意，并为此进行优化，那可能是一件事。但我不知道这有多大的价值。要让我们建立一个有效并带来收入的企业，我们确实必须追随目前的价值所在。也许去追求创造力需要同样多的工作，但我们的客户目前更看重幻觉这部分。
研究与开源
为了我的新闻摘要，我每周都会浏览数百篇论文。我偶然发现了这篇论文，名为《如何引导LLM潜变量进行幻觉检测？》我觉得这和我们正在讨论的非常接近。我不知道你有没有听说过。
告诉我它的前提！
他们提出了一种真实性分离向量，它基本上会将真实陈述的位置与虚假陈述的位置分开，从而进一步清空潜在空间。所以我的问题是，首先，你们如何跟踪这个领域的研究？其次：是你们团队内部进行更多研究，还是你们关注外部研究成果并加以实施？你们的研究流程是怎样的？
是的，这是个很好的问题。关于研究有几点：可能需要结合确保我们阅读重点内容，了解总体趋势。研究论文很有趣，但根据我的经验，它们通常不会转化为商业价值或实际的商业成果。所以有些情况下，我们会收集信息并了解研究人员提出的内容是否属实，然后提出一个假设，看我们是否应该针对我们特定的情况进行检查。
这说得通。你们会开源吗？
我们确实有一些开源的东西，之前也发表过论文，确实有一些是开放的，但并非所有都开放。我们的核心IP——我们如何对模型进行后期训练以保持其事实准确性——目前尚未开源。
你提到这篇论文很有趣——它与“你可以将权重向更高事实性方向引导”的论点相符。我完全相信你可以做到这一点。而且你可以用很多不同的方式做到。一种方式是我们能够进行无监督微调。我们之所以能够做到这一点，是因为我们有针对这些模型的自动化数据管道，我们有代理（agent）可以编辑自己的训练数据。这就是我们所做的。但如果你读了DeepSeek的论文——他们也做了类似的事情。他们有一个事实性验证器来训练他们的奖励模型。所以有能力通过反向传播以多种不同方式整合事实性。这就是那篇论文所展示的，我完全相信这个论点，即你可以让模型更具事实性。
你对开源的总体看法是什么？
哦，我喜欢开源的发展方向。我们利用了很多开源技术。通常，我们的客户实际上是在使用我们的系统对开源模型进行后训练，并在他们自己的模型上进行编辑，比如先使用Llama或DeepSeek，然后使用我们的系统根据他们的数据集进行修改，使其在他们的数据上不再产生幻觉。然后将其与OpenAI或Claude 기반的模型进行比较。这通常就是正在发生的事情。我们非常依赖开源，并且与Meta合作非常紧密，与Mistral也有一些合作。DeepSeek的东西对我们非常有帮助——当然，可以传递给我们的客户。我们的一些管道确实受益于推理。我们的宗旨是，作为基础设施，我们不拥有模型。而是让我们的客户拥有它们。因为归根结底，它们是客户数据的深度衍生品，所以我们希望他们能够有效地将他们相同的数据治理应用于模型的权重。我们不需要看到它们，我们只是帮助他们修改它的基础设施。
教育、可访问性与哲学
在你的LinkedIn个人简介中你写道：“我们只有几百名人工智能专家，能够成功地教导和控制人工智能。如果只有我们能定义智能是什么，那未来会很糟糕。”我也觉得对人工智能的了解不足，加上其发展速度之快，令人感到不安和担忧。告诉我你的想法。我们应该如何解决这种知识匮乏的问题？
我认为我们有几件事可以做。
一是降低准入门槛——让这些工具更容易使用。我们开发的微调和后期训练方法已经比OpenAI的API更容易使用。例如，高露洁可以成功使用它。随着时间的推移，这种易用性可能会成为常态，即使对于专家来说也是如此——就像智能手机变得普及一样，尽管这并非其最初的意图。我真的相信后期训练方法，包括微调，可以变得像提示一样简单。如果你会用谷歌搜索，你其实已经在进行提示了。
我们还需要更多的自动化和更智能的系统设计——那些能够理解用户想要影响什么，而又不让他们感到不知所措的工具。你不需要看到每个超参数或理解数学。反正大部分对你的用例都不重要。
另一方面是提升人们的水平——这就是教学发挥作用的地方。我的背景是古典学，而不是计算机科学。我之所以进入计算机科学，是因为一位教授曾说：“永远不是用户的错。”这句话深深地影响了我。我就是那个从小与技术搏斗的人——我意识到：如果我为那时的自己设计，那么对每个人都会更容易。
这就是我转向产品管理的原因——带着同理心和慈悲心，深入思考最终用户。然后我爱上了生成式人工智能的魔力。
这就是我在公司和课程中试图结合的目标：使其更易于访问，降低门槛，并帮助人们提升自我。我认为它不必令人望而生畏。有时数学实际上很简单。我曾经给华盛顿特区的政策制定者上过一堂关于神经网络的大师班，只用了乘法和加法——他们都明白了。
这确实是可能的。当一切水到渠成时，它就会感觉很神奇。
我想过创办一个类似TikTok的教育平台，本质上是寓教于乐。
我在想孩子们——他们是人工智能原住民。我相信他们确实需要了解这项技术是什么，机器学习是什么，以及所有那些，比如提示——这并不容易，因为你需要知道如何与计算机交流。而这与微调不同，因为你需要更多的技术知识。所以，是的，请做TikTok :)。
如果努力寻找，也许能找到一些有趣的东西！学习这些东西可以非常引人入胜，也很有趣。我之前在斯坦福大学教的课程——我为此制作了100个表情包，帮助学生学习。因为学习时为什么不笑呢？我给的一个额外加分是：如果你能创作一个表情包，而我看了笑出来，那好吧。如果它有趣，我不必笑得那么厉害，但如果你创作了一个表情包，它很有趣——你就展示了你对这个概念的理解。你理解某个概念达到了能开玩笑的程度——那你就能得到额外的学分，所以为什么不让它变得有趣呢！
非常感谢您这次对话！也感谢我们的读者——感谢您的观看和阅读！
如果本文能帮助您的同事增强对人工智能的理解并保持领先，请与他们分享。
