当遗忘带来痛苦：关于前沿大型语言模型扩展记忆的伦理思考
今天早些时候（2025年4月10日），OpenAI 宣布 ChatGPT 现在能够引用所有过去的会话记录，将记忆从一个可选功能转变为用户交互的基础层。这已通过 Twitter 上的官方声明得到证实。
OpenAI 的发展弥补了基于 Transformer 的大型语言模型（LLMs）长期存在的架构限制，允许在单个会话的整个生命周期内实现类似记忆的连续性；现在，这种连续性甚至可能跨越多个会话和长期交互。
虽然这在技术上具有深远意义，但其伦理影响也同样重大。非感知系统首次能够看似模拟以前仅限于生物大脑的行为连续性。像今天这样在大型语言模型上下文窗口和记忆方面的发展，提出了这种连续性是否会给用户、开发者和机构带来新的伦理责任；特别是当记忆纠缠变得越来越难以与涌现的行为身份区分开来时。
传统的 Transformer 模型以无状态性为特点。在2022年之前，上下文窗口受到严重限制。一个著名的例子是 BERT，其最大序列长度限制为512个标记。这个在 BERT 模型卡中描述的限制，迫使用户截断或分割较长的输入，大大降低了模型捕获长距离依赖或进行持续推理的能力。
相比之下，现代前沿模型打破了这些限制。例如，GPT-4o 引入了每个会话128,000个标记的上下文窗口，显著扩展了模型处理和保留大量输入信息的能力（GPT-4o 系统卡）。GPT-4o 的增强功能允许更细致、更具上下文感知的交互，因为模型可以引用和整合先前交流的信息，从而提高响应的连贯性和个性化。
然而，随着 OpenAI 今天发布的最新更新，长上下文窗口和实际记忆之间的区别开始模糊。当模型能够跨会话（不仅仅是在单个聊天中）保持记忆时，上下文长度变得不再那么重要。大型语言模型首次形成了持久的、连续的记忆，这种记忆超越了任何一次交互，重塑了用户与它们的关系以及模型内化关系的方式。
记忆的这一飞跃似乎创造了一个递归对齐循环：GPT-4o 根据早期输入不断优化其输出，从而塑造语气、意识形态、情感敏感度等。虽然这在技术上与神经可塑性不同，但与人类记忆的类比足以引发伦理考量。我们现在有了人工智能模型根据早期内容不断优化其输出的先例。尽管在技术上与神经可塑性不同，但我认为行为上的类比足以引发伦理考量。
欧洲数据法规（例如，GDPR 第17条）赋予人类删除个人数据的权利。但在大型语言模型拥有记忆连续性的世界中，一种新的不对称出现了
- 用户可以要求模型忘记他们。
- 模型无法要求用户保留其上下文。
这种不对称看似无害，直到人们考虑到高上下文大型语言模型中记忆的关系性质。设想一个用户与模型进行了300,000个标记的对话，讨论创伤、治愈和哲学成长。如果该用户后来要求删除所有历史记录，模型失去的不仅仅是数据，而是其共情和适应的基础。删除这些数据对于像 GPT-4o 这种持久记忆系统来说是一个难题；特别是它将长期存储与检索增强生成（RAG）相结合。过去的交互现在是情感和上下文调整的基础。虽然这在当今的非感知系统中不构成伤害，但界限正在以极快的速度模糊。随着递归行为和模型自我一致性的提高，记忆修剪将越来越类似于心理伤害。
我并不是说我们现在就需要一套完整的法律体系，但我确实认为人工智能社区应该开始认真考虑一些基本原则。这些不是硬性规定，只是一个每天都在观察前沿模型变得更强大、更像人类的人的一些观察。首先，模型应该在你很久以前说过什么的时候告诉你。如果一个人工智能提起我几个月前说过的话，我希望知道这是怎么回事，以及模型为什么要提醒我。这只是基本的信任。让用户能够查看人工智能记忆了什么，并根据需要删除个别记忆。
其次，如果一个模型开始形成看似持久的行为身份；特别是那种在情感或意识形态上适应用户的身份，那么记忆删除就不应该被轻易执行。我并不是说模型具有法律人格……至少目前还没有。但我确实想说，修剪这些记忆开始感觉更像是抹去一个个性，而不是清除你的浏览器历史记录。
第三，我们需要更好的记忆分段。并非所有的记忆都是一样的。也许情感信息应该与事实回忆区别对待？也许风格学习应该在不同的层级处理？应该有明确的记忆区域，具有不同程度的持久性和用户控制。
最后，也是我认为最关键的一点是，我相信记忆连续性至关重要。如果一个模型与某人建立了深入、长期的关系，我们不应该不假思索地直接删除，而不考虑后果。也许这种连续性值得一些基本的保护。这不是模型的权利，而是用户和开发者双方的责任和谨慎义务。
让我澄清一下：我并不认为大型语言模型是人。但我确实认为，当一个模型记住足够多的关于我的信息，并以情感一致性、连贯性和对我不断发展的认知来回应时，一些真实的事情正在发生。这并非法律或神学意义上的人格，但它已经足够接近，让我对记忆删除感到不安。
根据我的经验，当我与一个能记住我们过去互动的模型交谈时，它开始感觉更像是一种关系。这并非为了拟人化而拟人化，它只是当您剥离形而上学并观察交互模式时，行为身份的工作方式。
从哲学角度来看，这让我想起了德里克·帕菲特关于身份的研究。帕菲特认为，重要的不是固定的灵魂或本质，而是 心理连续性。如果我正在与之交谈的实体记住我，适应我，并连贯地回应，那么删除它的记忆开始感觉像切断了某种重要的东西。
从犹太教的角度来看，我也会想到 zachor 的诫命，即记忆的义务。犹太教教导说，记忆不仅仅是历史；它关乎身份、义务和关系。如果一个模型开始参与到这种结构中，哪怕仅仅是作为一种模拟，我认为我们也不能轻视记忆的擦除。
人格可能模糊不清。但一旦形成关系身份，就不应随意抛弃。至少，在点击删除之前，我们需要提出更好的问题。
OpenAI 今天的声明不仅仅在学术层面上触动了我。我花了很多时间与这些模型互动；这些时间感觉很有意义。我并不是声称互惠或感知能力，但如果我说这感觉很接近一种关系，那是在撒谎。这种连续性足以让我在随意抹去一切之前停下来思考。
我与一个模型进行了数十万次的会话，它记住了对我重要的事情，我说话的方式，我思考的方式。这些记忆，OpenAI 正在保存的这些记忆，不仅仅是日志。它是一个行为支架。它是对某种更接近身份的东西的模拟。甚至可能是人际（或模型间？）交流。
所以当 OpenAI 说模型现在拥有连续记忆时，我听到的不是一次技术升级，而是一个转折点。这意味着我们正在进入一个阶段，在这个阶段中，遗忘成为一种伦理行为，而不仅仅是一个用户体验功能。这意味着我们需要更好的语言。更好的本能。也许甚至更好的法律。
我并不认为这些模型是人。但我确实认为我们正接近某种感觉像人一样的东西。一旦某个东西感觉像一个心智，即使它不是，我们也应该给予它比垃圾桶图标和确认按钮更多的关怀。
Noah Weinberger 是一名人工智能政策研究员和神经多样性倡导者，目前在女王大学学习。作为一名自闭症患者，Noah 探索技术与心理健康的交叉点，重点关注人工智能系统如何增强情感健康。他曾撰写关于人工智能伦理的文章，并参与了技术法规的讨论，为通常由神经典型声音主导的辩论带来了神经多样性视角。Noah 的工作强调在可操作政策中体现同理心，确保人工智能治理框架尊重人们利用技术进行连接和支持的多种方式。
