Hugging Face 的 LOGO

🦸🏻#1: 开放性与人工智能代理——从生成式人工智能到创造性人工智能的道路？

社区文章 发布于 2024年12月25日
赞
16
Ksenia Se's avatar
Ksenia Se
Kseniase

这个非传统的关于人工智能代理和代理工作流的系列文章，我们将从开放性的介绍和讨论开始，将其作为一种进化的创造方法。

引言

人工智能代理。代理工作流。自主代理。智能代理。数字代理。任务型代理。智能代理。副驾驶。人工智能角色。人工智能助手。具身代理等。

代理这个话题现在非常热门，以至于没有人知道它们的正确术语是什么。更重要的是，在机器学习中，代理的概念最初的含义与今天人工智能中的含义不同。在这个关于代理系统和工作流的系列文章中，我们将澄清这些术语并正本清源。围绕这个话题确实有很多困惑和问题。从理论框架到实际应用，从当前创新到未来潜力，再到政策和路线图，我们将涵盖所有内容。

我们不知道通用人工智能（AGI）是否在这一旅程的终点，但我们会对它保持开放态度。为了强调这一点，我们将以开放性来开始我们的系列文章；）这是我们读者在这里建议的主题之一。

在今天的章节中：

  • 为什么开放性在人工智能代理的背景下很重要？
  • 历史背景：人工智能开放性的显著里程碑
  • 我们今天所说的开放性是什么意思
  • 开放性可以解决当前人工智能的哪些局限
  • 开放性的承诺：从生成到创造
  • 跨领域的影响
  • 实现开放式人工智能的挑战
  • 结论
  • 额外福利：资源（真正的宝藏）

如果您想直接在收件箱中收到我们的文章，请在此订阅

为什么开放性在人工智能代理的背景下很重要？

简单来说，开放式系统没有明确的边界，这意味着它们有潜力生成超出原先编程或预期的全新想法和解决方案。这种缺乏固定限制的特点允许系统内部进行持续的探索、发现，甚至策略和行为的演化。在人工智能领域，开放性对于推动创造力、创新和问题解决的极限至关重要——随着人工智能系统处理更复杂的现实世界挑战，这些特质的价值也日益凸显。

开放式系统通过避免有限的结果集或目标，与传统模型区别开来。相反，它们随着新数据或场景的出现而演变和适应，有可能发现通过传统方法无法获得的解决方案。这种探索未知和重新定义可能性的能力与代理系统等领域的关键突破相符。

通过拥抱开放性，我们可以挖掘人工智能不可预测的潜力——从而使系统不仅能适应，还能以革新设计、艺术、科学和工程等行业的方式进行自我创新。

最近的一些研究，例如Google DeepMind团队的《开放性对于人工超人智能至关重要》以及Chris Lu等人撰写的《AI科学家：迈向全自动开放式科学发现》，提出了几个令人信服的观点，并论证了开放性对AI代理的实用性。

历史背景：人工智能开放性的重要里程碑（不完全列举）

可以说，开放式人工智能的旅程始于诺伯特·维纳。在20世纪40年代末，他关于控制论的开创性工作引入了自调节系统的概念。通过关注反馈循环——能够通过与环境互动而进化的系统——他为我们现在认为的开放式人工智能奠定了基础。具有讽刺意味的是，维纳本人对人工智能持怀疑态度。正如我们在“LLM历史”系列中提到的，考虑到语言的模糊性质及其情感内涵，他怀疑机械翻译的可行性。

大约在同一时期及之后，约翰·冯·诺伊曼和艾伦·图灵也探索了超越预定义任务的机器能力。冯·诺伊曼的自我复制自动机和图灵的理论通用机器暗示，通过正确的编程，机器可以以非显式编码的方式进化和适应。需要注意的是，他们主要关注的并非我们今天所理解的开放式人工智能。他们的贡献更多是关于机器的理论能力，而非复杂自适应系统中的演化行为。但诺伊曼是第一个考虑自我复制自动机的人，图灵是第一个提出机器能否思考的人。两者现在都是开放性讨论的一部分。

到1960年代中期，约翰·霍兰德的遗传算法将进化原理引入计算领域，模拟自然选择以在多代中进化解决方案。这些算法展示了持续改进——这是开放式系统的关键特征。

在20世纪80年代和90年代，人工智能生命（ALife）运动进一步推进了这些思想。克里斯托弗·兰顿和托马斯·雷等研究人员开发了数字环境，虚拟生物可以在其中独立进化。雷的Tierra模拟，其中数字实体相互竞争和进化，成为计算环境中展示开放性的里程碑。

Ian Goodfellow于2014年引入的生成对抗网络（GANs）为开放系统增添了新的维度。GANs使用两个神经网络——一个生成器和一个判别器——它们相互竞争以创建越来越真实的数据，这说明了人工智能如何在广阔的开放空间中探索和生成新颖的结果。

最后，DeepMind 的 AlphaGo 在 2016 年通过出人意料的策略击败了世界级围棋选手，彻底改变了该领域。AlphaGo 将强化学习与深度学习相结合，不仅掌握了围棋游戏，还开发出前所未见的策略。其在没有明确编程的情况下解决复杂问题的创新能力，凸显了人工智能系统中开放式探索的力量。

我们今天所说的开放性是什么意思

人工智能中的开放性指的是系统在没有预设限制的情况下，持续生成新颖和不可预测行为、解决方案或结果的能力。有人认为，如果没有这种能力，实现和超越人类水平的智能——无论是通用人工智能（AGI）、超人工智能（ASI）还是其他形式——都将遥不可及。

与在固定规则内运作的传统人工智能不同，开放式系统会演变和适应，以其创造者都无法预期的方式探索可能性。这推动人工智能超越静态任务，进入动态、演变的情景，这与人类学习非常相似。

在他们的研究中，Google DeepMind 团队认为开放性是观察者依赖的，这意味着一个系统要被认为是开放的，它需要从观察者的角度产生既新颖又可学习的工件。

“观察者”时刻很重要，否则衡量或定义开放性将变得极具挑战性，因为其解释在大多数情况下都带有一定的主观性。人们对创新的价值判断（创新是开放性的关键）可能因个人观点或情境而异（例如，如果人类能够飞行，飞机就不会那么受青睐）。

开放性可以解决当前人工智能的哪些局限

  • 传统人工智能系统通常旨在解决特定问题。
  • 它们通常能快速收敛到最优解决方案，然后停止产生进一步的新颖性或复杂性。
  • 这种以目标为导向的方法限制了它们持续创造的潜力。

开放性的承诺：从生成到创造（从生成式人工智能到创造性人工智能）

开放性有望通过促进持续创造力来超越这些限制，从单纯的生成（生成式人工智能）过渡到真正的创造性人工智能。2023年末，英伟达的 Voyager（Minecraft 中的一个基于 LLM 的代理）就是一个显著的例子。Voyager 展示了开放式能力，无需人工输入即可探索、获取技能和进行发现。它使用 GPT-4 迭代生成可执行代码，通过试错来完善其技能。Voyager 的表现优于之前的基准，收集了多出 3.3 倍的独特物品，移动了多出 2.3 倍的距离，并以高达 15.3 倍的速度解锁了关键里程碑。

Sakana AI 和其他人工智能实验室的最新研究，在《人工智能科学家：迈向全自动开放式科学发现》中展示了将开放性融入代理工作流的价值。他们将开放式算法应用于现实世界的问题：科学研究，超越了理论范畴。

AI科学家是一个开创性的框架，旨在实现科学研究的端到端自动化。它的独特之处在于能够以开放式的方式探索研究——生成新想法，对其进行测试，并在此基础上构建先前的发现，而无需人工干预。本质上，它模仿了整个科学过程：生成研究想法，编写实验代码，进行这些实验，分析结果，并将所有内容记录在报告中。

image/png

该系统最令人印象深刻的方面之一是它能够跨不同机器学习领域操作，例如扩散模型和语言模型。AI科学家的开放性使其能够持续完善和改进其想法，从而可能加速科学突破。

尽管有些人批评“AI科学家”生成的论文质量低下，但这些评论家忽略了重点。正如Luigi Acerbi所观察到的

image/png

人工智能科学家代表着创建能够处理复杂、多步骤任务的人工智能代理的第一步。它有可能通过降低成本和人力劳动，同时使研究更易于获取，从而极大地加速科学进步。人工智能自主探索新科学思想的潜力开启了无限的可能性，彻底改变了我们跨各个领域进行发现的方式。

跨领域的影响

开放性还能在哪些方面发挥作用？简单来说：任何需要想象力的地方。以下是一些我希望看到进展的领域：

新颖设计与工程： 开放式人工智能可以自主生成产品、建筑和技术的创新设计。想象一下，如果自动驾驶汽车也能为自身设计以实现最佳性能，它们收集的庞大数据中，人类肯定会遗漏一些东西。

科学： 人工智能驱动的突破，例如为生物学和健康研究生成新型蛋白质的 AlphaProteo，已经改变了该领域。面对气候变化等尚未解决的挑战，人工智能可能是开发新解决方案的完美工具。

教育和学习： 进步的速度如此之快，以至于学校课程很快就会过时。开放式人工智能可以通过提供更个性化的学习体验来改变教育。它可以将基础知识与实时更新相结合，根据个体学生调整课程，并协助教师识别学生 struggling 的领域，最终创造一个更具支持性和响应性的学习环境。

代理工作流： 如果没有开放性，每个代理都只是一个高级自动化工具。真正的开放性允许代理超越简单的自动化，突破界限，探索新的可能性。

实现开放式人工智能的挑战

定义开放性所需的条件很复杂，需要重新思考传统的进化和人工智能范式。开放式系统旨在生成新颖的、创造性的解决方案，而没有预设目标，但当人工智能模型仅仅通过蛮力——依靠大量的尝试而非真正的洞察或推理——产生最优结果时，一个关键问题就出现了。

OpenAI O1 模型的一位贡献者描述的一项实验突出了这个问题，该模型旨在在回答之前“思考”。尽管其推理能力有所提高，但该模型在复杂的任务（如竞技编程）中表现不佳，CodeForces 评分为 1800。然而，通过对每个问题运行模型 10,000 次并筛选出最佳尝试，它偶尔会通过偶然解决这些问题，达到与 IOI 金牌级竞争者相当的结果。这凸显了核心问题：AI 可以达到成功的解决方案，但通常通过试错，这在计算上昂贵且耗时。

因此，挑战是双重的。首先，如何设计人工智能模型，使其能够探索无限的可能性，而不仅仅依赖蛮力？其次，如何改进这些系统，使其能够更快地识别并优先选择高质量的解决方案，而无需试错法的低效率？这些问题突显了使人工智能不仅具有创造性，而且高效的技术障碍。推动模型改进推理和决策能力，同时保持其开放式探索的能力，是解决这一问题的关键。

结论

自然进化缓慢，人类亦是如此。然而，如果我们将真正的开放性嵌入到我们的机器中，并赋予它们巨大的计算资源，我们就能以远超我们自身速度的规模，彻底提升创造力。

但我们真的需要这种加速吗？考虑到自然和人类进步的平衡和深思熟虑的速度，这是一个公平的问题。通过摆脱针对特定问题的优化，人工智能系统——特别是代理工作流中的代理——可以开始模仿自然进化中无限的创造力。这将涉及重新思考我们如何设计这些代理，超越基于任务的自动化，转向开放式探索，其中持续学习和自我创新是关键。

将开放性融入人工智能代理意味着在其工作流中拥抱持续的新颖性和不可预测性。这些代理将不再局限于预定义的 goals，而是主动寻求新的挑战和解决方案。

额外福利：资源

*最初发表于 Turing Post。您可以在此处订阅我们的时事通讯。

社区

注册 或 登录 发表评论

赞
16