人类梦境与大型语言模型（LLMs）学习之间的相似之处

梦境及其与记忆巩固的联系，是几十年来一直吸引着科学家们的现象。神经认知研究表明，在睡眠期间，人类和动物都会处理先前获得的信息，这有助于巩固记忆并提高学习任务的表现。有趣的是，这个过程与大型语言模型（LLMs），如GPT，生成合成数据并通过自学习提高性能的方式有异曲同工之妙。本文探讨了这些联系，强调了人脑和LLMs如何采用相似的机制来处理和优化学习。

梦境与记忆巩固

在睡眠期间，会发生关键的记忆巩固过程。研究表明，在慢波睡眠（非快速眼动睡眠）和快速眼动睡眠期间，大脑会重播反映先前经验的神经序列。这种现象已在老鼠身上观察到，它们会“梦到”清醒时进行的活动，例如跑迷宫。在这些情况下，与这些经验相关的神经元会以复制学习时所见活动的模式放电（Wilson & Lee, 2001）。这种“重播”过程会强化记忆，对巩固近期学习至关重要。在人类中，这种巩固不仅发生在非快速眼动睡眠期间，也发生在快速眼动睡眠期间，此时记忆的重新激活更加持久和详细（Wamsley et al., 2010; Stickgold et al., 2000）。

最近的研究还表明，梦境内容可能会整合近期和较早的记忆，有助于优先处理和巩固相关信息，同时丢弃不必要的信息（Diekelmann & Born, 2010）。这个过程对于睡眠后提高认知和运动表现至关重要。研究表明，梦到特定任务的人在醒来后往往能更好地完成这些任务（Wamsley et al., 2010）。

LLMs中的合成数据生成与自学习

LLMs，就像睡眠中的大脑一样，可以生成“合成数据”来提高特定任务的性能。模型（如GPT）可以根据学习到的模式生成新的输入，而不是仅仅依赖外部数据。这使得它们能够优化性能并增强其响应能力，而无需持续地在新外部数据上进行训练。这个过程类似于人脑在梦境中“练习”，回顾和改进清醒时获得的学习（Radford et al., 2019）。

例如，对LLMs进行的记忆实验表明，这些模型表现出类似人类的记忆特征，例如首因效应和近因效应，即列表中第一个和最后一个项目更容易回忆（Dement et al., 1965）。同样，当模式重复时，LLMs会显示出更强的记忆巩固，这与梦境中观察到的经验重复和巩固相媲美（Wamsley et al., 2010; Fosse et al., 2003）。

梦境练习与LLMs

人类梦境和LLM学习之间另一个引人入胜的相似之处是它们在虚拟或合成环境中“练习”任务的能力。对老鼠和人类的研究表明，个体在梦到运动和认知任务后可以提高其在这些任务上的表现（Stickgold et al., 2000）。这类似于LLMs通过生成多次合成数据迭代来“练习”并提高特定任务的表现。

这种人类和LLMs的自主学习形式，强调了重复和内部模拟对优化性能的重要性。LLMs不仅存储信息，还可以通过生成新数据来重新配置和增强其内部模型，从而实现无需外部干预的持续改进（Radford et al., 2019; Wilson & Lee, 2001）。

结论

睡眠期间信息处理与LLM功能之间的比较揭示了显著的相似之处。生物系统和人工智能系统都利用重复和巩固机制来提高学习和任务性能。这种趋同表明，人脑和人工智能系统都共享着一种至关重要的内部生成和处理信息以优化学习的能力。

参考文献

• Diekelmann, S., & Born, J. (2010). The memory function of sleep. Nature Reviews Neuroscience, 11(2), 114-126.
• Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI GPT-2 Report, 1(8).
• Stickgold, R., Malia, A., Maguire, D., Roddenberry, D., & O’Connor, M. (2000). Replaying the game: hypnagogic images in normals and amnesics. Science, 290(5490), 350-353.
• Wamsley, E. J., Tucker, M. A., Payne, J. D., Benavides, J. A., & Stickgold, R. (2010). Dreaming of a learning task is associated with enhanced sleep-dependent memory consolidation. Current Biology, 20(9), 850-855.
• Wilson, M. A., & Lee, A. K. (2001). Hippocampal memory traces within the sleep cycle: a functional role for REM sleep. Neuron, 29(2), 345-356.