代码化机器学习时代已来临
2021 年版的《人工智能现状报告》于上周发布。Kaggle 的《机器学习和数据科学调查报告》也同时发布。这些报告中有许多值得学习和讨论的内容,其中有几个要点引起了我的注意。
“人工智能正越来越多地应用于国家电网和疫情期间超市自动化仓储计算等关键任务基础设施。然而,行业成熟度是否已赶上其日益增长的部署规模,仍是一个疑问。”
不可否认,机器学习驱动的应用程序正在渗透到 IT 的各个角落。但这对于公司和组织意味着什么?我们如何构建坚如磐石的机器学习工作流?我们都应该雇佣 100 名数据科学家吗?还是 100 名 DevOps 工程师?
“Transformer 已成为机器学习的通用架构。不仅适用于自然语言处理,还适用于语音、计算机视觉甚至蛋白质结构预测。”
老一辈人已深切体会到,IT 领域没有银弹。然而,Transformer 架构确实在各种机器学习任务中表现出色。但我们如何才能跟上机器学习领域疯狂的创新步伐?我们真的需要专业技能才能利用这些最先进的模型吗?或者是否存在一条更短的路径,能在更短的时间内创造商业价值?
嗯,这是我的看法。
全民机器学习!
机器学习无处不在,或者至少它正在努力实现这一点。几年前,《福布斯》写道:“软件吞噬了世界,现在人工智能正在吞噬软件”,但这到底意味着什么?如果这意味着机器学习模型应该取代成千上万行僵化的遗留代码,那么我完全支持。去死吧,邪恶的业务规则,去死吧!
那么,这是否意味着机器学习将真正取代软件工程呢?现在肯定有很多关于人工智能生成代码的幻想,并且一些技术确实很有趣,例如发现错误和性能问题。然而,我们不仅不应该考虑摆脱开发者,我们还应该努力赋能尽可能多的开发者,让机器学习成为又一个无聊的 IT 工作负载(而无聊的技术很棒)。换句话说,我们真正需要的是让软件吞噬机器学习!
这次并无不同
多年来,我一直主张并极力强调,几十年来软件工程的最佳实践也适用于数据科学和机器学习:版本控制、可重用性、可测试性、自动化、部署、监控、性能、优化等。有段时间我感觉孤立无援,然后谷歌的援军出乎意料地出现了
“像优秀的工程师一样做机器学习,而不是像优秀的机器学习专家一样。”——谷歌《机器学习规则》
也不需要重新发明轮子。DevOps 运动早在 10 多年前就解决了这些问题。现在,数据科学和机器学习社区应该毫不拖延地采纳并调整这些经过验证的工具和流程。这是我们能够在生产环境中构建健壮、可扩展和可重复的机器学习系统的唯一途径。如果称之为 MLOps 有助于理解,那也行:我不会为一个新的流行词争论。
现在确实是我们停止将概念验证和沙盒 A/B 测试视为显著成就的时候了。它们只是通往生产环境的一小步,而生产环境是唯一可以验证假设和业务影响的地方。每个数据科学家和机器学习工程师都应该致力于尽快、尽可能频繁地将他们的模型投入生产。**一个尚可的生产模型总是胜过一个优秀的沙盒模型**。
基础设施?那又怎样?
现在是 2021 年。IT 基础设施不应再成为阻碍。软件早已吞噬了它,通过云 API、基础设施即代码、Kubeflow 等将其抽象化。是的,甚至在本地也是如此。
同样的趋势也迅速在机器学习基础设施领域发生。根据 Kaggle 调查,75% 的受访者使用云服务,超过 45% 的受访者使用企业级机器学习平台,其中 Amazon SageMaker、Databricks 和 Azure ML Studio 位列前三。
有了 MLOps、软件定义的基础设施和平台,将所有这些好主意从沙盒中提取出来并投入生产变得前所未有的容易。为了回答我最初的问题,我很确定你需要雇用更多精通机器学习的软件和 DevOps 工程师,而不是更多的数据科学家。但内心深处,你早就知道了,对吗?
现在,我们来谈谈 Transformer。
Transformers!Transformers!Transformers!(鲍尔默风格)
人工智能现状报告指出:“Transformer 架构已远远超越自然语言处理,正成为机器学习的通用架构。” 例如,最近的模型如谷歌的Vision Transformer(一种无卷积 Transformer 架构)和CoAtNet(融合了 Transformer 和卷积)在 ImageNet 上刷新了图像分类的基准,同时训练所需的计算资源更少。
Transformer 在音频(例如语音识别)以及点云方面也表现出色。点云是一种用于对自动驾驶场景等 3D 环境进行建模的技术。
Kaggle 的调查也印证了 Transformer 的兴起。其使用量逐年增长,而 RNN、CNN 和梯度提升算法则在减少。
除了提高准确性,Transformer 还不断实现迁移学习的承诺,使团队能够节省训练时间和计算成本,并更快地交付业务价值。
随着 Transformer 的出现,机器学习世界正在从“野马!让我们从头开始构建和训练自己的深度学习模型”逐渐转向“让我们选择一个久经考验的现成模型,用我们自己的数据进行微调,然后早点回家吃晚饭。”
这在许多方面都是一件好事。最先进的技术不断进步,几乎没有人能跟上其不懈的步伐。还记得我之前提到的 Google Vision Transformer 模型吗?你想现在就测试一下吗?有了 Hugging Face,这再简单不过了。
Big Science 项目的最新零样本文本生成模型怎么样?
您还可以使用另外16,000 多个模型和1,600 多个数据集,以及用于推理、AutoNLP、延迟优化和硬件加速的其他工具。我们还可以帮助您启动项目,。
Hugging Face 的使命是让机器学习对初学者和专家都尽可能友好和高效。
我们坚信,应尽可能少地编写代码来训练、优化和部署模型。
我们相信内置的最佳实践。
我们相信基础设施应尽可能透明。
我们相信,高质量的模型快速投入生产是无与伦比的。
代码化机器学习,就在这里,就在现在!
你们中的许多人似乎都同意。我们在 Github 上有超过 52,000 颗星。Hugging Face 首次出现在 Kaggle 调查中,使用率已超过 10%。
感谢大家。是的,我们才刚刚开始。
对 Hugging Face 如何帮助您的组织构建和部署生产级机器学习解决方案感兴趣吗?请联系 julsimon@huggingface.co(请勿发送招聘信息或销售推销)。
