机器学习专家——玛格丽特·米切尔

发布于2022年3月23日

在 GitHub 上更新

布兰妮·穆勒

britneymuller

朋友们好！欢迎来到机器学习专家。我是主持人布兰妮·穆勒，今天的嘉宾是玛格丽特·米切尔（简称梅格）。梅格创立并共同领导了谷歌的伦理AI小组，是机器学习领域的先驱，发表了50多篇论文，是伦理AI领域的领先研究员。

您将听到梅格讲述她认识到伦理AI重要性那一刻的故事（一个不可思议的故事！），机器学习团队如何能更清楚地识别有害数据偏见，以及机器学习中包容性和多样性的力量（和性能）优势。

非常高兴能向大家介绍这期精彩的节目！以下是我与梅格·米切尔的对话

转录：

注意：为提供最佳阅读体验，文字稿已稍作修改/重新排版。

您能简单介绍一下您的背景以及是什么让您来到了Hugging Face吗？

玛格丽特·米切尔博士的背景

里德学院语言学学士学位——从事自然语言处理（NLP）工作
在获得学士学位后和研究生学习期间，她从事辅助和增强技术工作
华盛顿大学计算语言学硕士学位
计算机科学博士学位

梅格：我在约翰·霍普金斯大学做博士后时做了大量的统计工作，然后去了微软研究院，在那里我继续做视觉到语言的生成，这导致我为一个帮助盲人更容易地探索世界的应用程序Seeing AI工作。

在微软工作几年后，我离开去了谷歌，专注于深度学习中固有的 Big Data 问题。在那里，我开始关注公平性、对各种问题的严格评估以及偏见等问题。在谷歌期间，我创立并共同领导了伦理AI团队，该团队专注于包容性和透明度。

在谷歌工作四年后，我来到了Hugging Face，得以全身心投入到编码工作中。我正在帮助创建伦理AI研究、包容性招聘、系统以及在Hugging Face建立良好文化的协议。

您是什么时候认识到伦理AI的重要性的？

梅格：这发生在我还在微软工作，从事辅助技术Seeing AI的时候。总的来说，我当时正在研究从图像生成语言，我开始看到数据是多么不平衡。数据代表了世界的一部分，它影响着模型会说什么。

因此，我开始遇到这样的问题：白人被描述为“人”，而黑人被描述为“黑人”，仿佛白人是默认的，黑人是被标记的特征。这让我很担心。

还有一个顿悟的时刻，当时我正在向我的系统输入一系列图像，让它更多地讲述一个故事。我输入了一些关于一次大规模爆炸的图片，很多人在那里工作，叫做“Hebstad爆炸”。你可以看到拍照的人在二楼或三楼，看向爆炸。爆炸离这个人很近。那是一个非常可怕和紧张的时刻，当我把这些输入到系统时，系统的输出是“这太棒了，景色真好，太美了”。我心想……这可怕的场景景色确实很棒，但重要的是可能有人在死亡。这是一次大规模的毁灭性爆炸。

但问题是，当你从图像中学习时，人们通常不会拍摄可怕的东西，他们会拍摄日落、烟花等，而视觉识别模型在这些图像上学习，并认为天空中的颜色是积极、美丽的事物。

在那一刻，我意识到如果一个具有那种思维的模型能够采取行动，那么它离一个认为建筑物爆炸很美并能按下按钮引爆建筑物的系统，只差一步。

那一刻，我意识到我不想再让这些系统在基准测试上表现得更好，我想要从根本上改变我们看待这些问题的方式，我们处理数据和分析数据的方式，我们评估的方式以及这些简单的流程中我们遗漏的所有因素。

所以，那真的成为了我转向伦理AI工作的转折点。

在哪些应用中，数据伦理最为重要？

梅格：以人为中心、处理人及身份信息（人脸识别、行人识别）的技术。在自然语言处理中，这更多地涉及个人隐私、如何谈论个人以及模型在描述人时产生的偏见。

机器学习团队如何才能更清楚地识别有害偏见？

梅格：一个主要问题是，这些概念尚未被教授，大多数团队根本不了解。另一个问题是缺乏一个词汇表来将正在发生的事情情境化并进行交流。

例如：

这就是边缘化
这就是权力差异
这就是包容
刻板印象是如何运作的

更好地理解这些支柱真的非常重要。

另一个问题是机器学习背后的文化。它有点采取“强势”或“男子气概”的方式，重点在于“打败”上一个数据、让事情“更快”、“更大”等等。这与人体解剖学有很多相似之处。

还有一种非常敌对的竞争，你会发现女性被不成比例地视为不如男性。

由于女性通常更熟悉歧视，所以她们更关注人工智能中的伦理、刻板印象、性别歧视等问题。这意味着它更多地与女性联系在一起，并被视为不那么重要，这使得这种文化更难渗透。

人们普遍认为我不懂技术。我不得不一次又一次地证明这一点。他们称我为语言学家、伦理学家，因为这些是我关心和了解的事情，但这被视为低人一等。人们说或想，“你不编程，你不懂统计，你不那么重要，”通常直到我开始技术性地谈论事情，人们才会认真对待我，这很不幸。

机器学习存在巨大的文化障碍。

缺乏多样性和包容性伤害所有人

梅格：多样性是指你在会议桌上有各种族裔、民族、性别、能力和地位的人。包容性是指每个人都感到自在地发言，感到受欢迎。

变得更具包容性的最佳方式之一就是不要排他。这听起来相当明显，但却经常被忽略。人们被排除在会议之外，因为我们觉得他们没有帮助，或者觉得他们令人讨厌或好斗（这与各种偏见有关）。要做到包容，你就不能排他，所以在安排会议时，要注意你邀请的人员的人口构成。如果你的会议全是男性，那就有问题了。

在发送电子邮件时，有意识地注意你所包含人员的人口构成是极其宝贵的。但你会发现在科技界，很多会议都是清一色男性，如果你提出这个问题，可能会遭到很大的敌意。宁可多包容一些人。

我们都有偏见，但有一些方法可以打破这些模式。在写电子邮件时，我会检查他们的性别和种族，以确保我具有包容性。这是一个非常自觉的努力。这种通过人口统计学思考的方式有所帮助。然而，在有人发送电子邮件或安排会议之前提及这一点。事后提及这些事情，人们往往不会有很好的反应。

人工智能中的多样性——有没有证据表明，在一个机器学习项目中拥有更多样化的人员会带来更好的结果？

梅格：是的，因为你有不同的视角，你对选择有不同的分布，因此，有更多的选择。机器学习的一个基本方面是，当你开始训练时，你可以使用随机的起始点和你想要采样的分布类型。

大多数工程师都同意，你不希望只从分布的一小部分进行采样，以获得找到局部最优解的最佳机会。

你需要把这种方法应用到在座的人身上。

就像你希望在不同的初始状态下采用高斯方法一样，在开始项目时，你也希望在会议桌上保持这种多样性，因为它能为你提供更大的搜索空间，从而更容易达到局部最优。

您能谈谈模型卡以及这个项目是如何产生的吗？

梅格：这个项目始于我在谷歌工作的时候，当时我刚开始研究公平性以及如何严格评估公平性。

为了做到这一点，你需要了解上下文和谁会使用它。这围绕着如何处理模型偏见，但它并没有得到太多关注。

我当时正在和蒂姆尼特·格布鲁交谈，她当时是该领域与我有相似兴趣的人，她在谈论数据表这个想法；一种数据文档（基于她在苹果公司的工程经验，在那里你通常有硬件规格）。但我们没有类似的数据文档，她当时在说这有多么疯狂。

所以蒂姆尼特有了关于数据集数据表的想法。这让我意识到，通过拥有一个“人工制品”，科技界那些受发布激励的人会更关心它。所以，如果我们说你必须生产这个人工制品，并且它将算作一次发布，那么人们就会更有动力去做。

我们想出这个名字的方式是，与“数据表”相对应的可用于模型的词是“卡片”（而且它更短）。我们也决定称其为“模型卡”，因为这个名字非常通用，并且会随着时间的推移而具有生命力。

蒂姆尼特的论文叫做《数据集数据表》。所以我们的论文叫做《用于模型报告的模型卡》，一旦我们发表了论文，人们就开始更认真地对待我们。没有蒂姆尼特·格布鲁的才华，就不可能做到这一点，她建议：“你需要一个人工制品，一个人们会想要生产的标准化东西。”

模型卡将走向何方？

梅格：以一种符合伦理的方式制作模型卡存在相当大的准入门槛。部分原因是需要填写这些信息的人通常是工程师和开发者，他们希望发布自己的模型，而不希望坐下来思考文档和伦理问题。

我之所以想加入Hugging Face，部分原因在于它给了我一个机会，将这些流程标准化，并尽可能自动化。我非常喜欢Hugging Face的一点是，它专注于创建尽可能顺畅的端到端机器学习流程。我希望也能对模型卡做类似的事情，使其能够根据不同的问题甚至直接根据模型规范自动生成大部分内容。

我们希望致力于使模型卡尽可能完整并具有交互性。交互性将允许您在移动决策阈值时查看假阴性率的差异。通常，对于分类系统，您会设置一个阈值来决定是或否，例如0.7，但实际上，您希望改变决策阈值以权衡不同的错误。

一份关于其工作效果的静态报告不如您希望的那样信息丰富，因为您想知道在选择不同决策阈值时它的工作效果如何，并且您可以使用它来决定您的系统应该使用哪个决策阈值。因此，我们创建了一个模型卡，您可以在其中交互式地更改决策阈值并查看数字如何变化。朝着进一步自动化和交互性的方向发展是正确的方法。

决策阈值与模型透明度

梅格：当亚马逊首次推出人脸识别和人脸分析技术时，发现对黑人女性的性别分类 disproportionately poor，亚马逊回应称“这是使用了错误的决策阈值”。然后，一家使用这些系统的警察机构被问及他们使用的决策阈值时，他们说：“哦，我们没有使用决策阈值。”

这就像，哦，你真的不明白这是如何工作的，并且正在使用开箱即用的默认参数设置？！这是一个问题。因此，最低限度地拥有这个文档可以提高对围绕各种类型参数的决策的认识。

机器学习模型与我们公开发布的其他事物截然不同。玩具、药品和汽车都有各种法规，以确保产品安全并按预期工作。在机器学习中，我们没有这些，部分原因是它很新，所以法律法规尚未存在。这有点像狂野西部，而这正是我们试图通过模型卡改变的。

您在Hugging Face从事什么工作？

致力于为工程师设计的几种不同工具。
致力于哲学和社会科学研究：刚刚深入研究了《世界人权宣言》（UDHR）以及如何将其应用于人工智能。试图帮助弥合人工智能、机器学习、法律和哲学之间的鸿沟。
试图开发一些有助于测试系统和理解数据集的统计方法。
我们最近还发布了一款工具，可以显示一种语言与齐夫分布（自然语言的趋势）的匹配程度，这样您就可以测试您的模型与自然语言的匹配程度。
在文化方面做了大量工作：投入大量时间在招聘和我们应该采取哪些流程才能更具包容性。
致力于大科学项目：一项与来自世界各地（不仅仅是Hugging Face）的人员合作的巨大努力，致力于数据治理（如何使用和审查大数据而不在世界各地扩散/跟踪其使用方式）。
偶尔我会接受采访或与参议员交谈，所以工作内容非常广泛。
有时会尝试回复邮件。

注：Hugging Face的每个人都身兼数职。 :)

梅格对AI的影响

梅格被收录在《天才创客：将AI带到谷歌、Facebook和世界的人们》一书中。她在谷歌工作时，凯德·梅茨采访了她。

梅格的开创性研究、系统和工作在人工智能历史上发挥了关键作用。（我们非常幸运能在Hugging Face拥有她！）

快速问答：

给想进入AI领域的人的最佳建议是什么？

梅格：这取决于这个人是谁。如果他们具有被边缘化的特征，我会有非常不同的建议。例如，如果是一个女人，我会说，‘不要听你的主管说你不擅长这个。很可能你只是在用与他们习惯不同的方式思考问题，所以要对自己有信心。’

如果是具有多数特征的人，我会说，‘忘掉人才管道问题，关注你周围的人，确保你支持他们，这样你现在所处的管道问题就会减少。’

另外，‘评估你的系统’。

您最期待机器学习（或机器学习伦理）应用于哪些行业？

梅格：健康和辅助领域仍然是我非常关心并看到巨大潜力的领域。

还希望看到有助于人们理解自身偏见的系统。目前正在开发许多技术来筛选面试候选人，但我认为这些技术应该真正关注面试官以及他们可能带着不同偏见来面对这种情况。我希望有更多的技术能够帮助人类变得更具包容性，而不是帮助人类排除他人。

您在主题演讲和采访中经常引用有偏见的模型的惊人例子。我特别喜欢的一个是您谈到的犯罪检测模型，它通过嘴角的模式来识别罪犯（您很快就揭穿了这一点）。

梅格：是的，[这个例子是]他们声称存在一个角度theta，当它是一个较小的角度时，更能指示罪犯。然而，我查看了数学，我意识到他们谈论的是微笑！微笑会有一个更宽的角度，而严肃的表情会有一个较小的角度。他们完全弄错了他们实际捕捉到的东西。实验者的偏见：想要找到不存在的东西。

人们应该害怕AI接管世界吗？

梅格：人工智能有很多值得害怕的地方。我倾向于将其视为我们对不同结果分布的把握，有些结果比其他结果更积极，所以没有一个固定的结果是我们能确定的。人工智能在很多方面都能提供巨大帮助，而且更多地是基于任务，而非更普遍的智能。你可以看到它走向另一个方向，类似于我之前提到的，一个模型认为破坏性事物是美丽的，这离一个能够按下按钮发射导弹的系统只差一步。我认为人们不应该害怕，但他们应该考虑最佳和最坏的情况，并尝试减轻或阻止最坏的结果。

我认为目前最大的问题是这些系统可能会加剧贫富差距。进一步赋予有权势的人权力，并进一步恶化无权势的人的境况。设计这些系统的人往往是拥有更多权力和财富的人，他们为自己的利益设计事物。我认为这种情况正在发生，并且是未来需要思考的问题。

希望我们能够专注于最有益的事情，并继续朝着那个方向前进。

最喜欢的机器学习论文？

梅格：最近我真的很喜欢阿贝巴·比尔汉在机器学习中编码的价值观方面所做的工作。我在谷歌的团队一直在研究数据谱系，对机器学习数据处理方式进行了批判性分析，他们就此发表了几篇论文——例如，《数据及其（不）内容：机器学习研究中数据集开发和使用调查》。我真的很喜欢这项工作，可能有些偏心，因为它包括了我的团队和直接下属，我为他们感到非常自豪，但它确实是基础性的优秀工作。

我感兴趣的早期论文更多地反映了我当时正在做的事情。我真的很喜欢赫伯特·克拉克的工作，他是一位心理语言学/传播学专家，他做了很多很容易转化为计算模型的人类交流研究。我非常喜欢他的工作，并在我的论文中多次引用他。