Anthropic 发表了一篇研究论文，揭示其 Claude 语言模型已经开发出反映人类意识理论的内部结构。这项题为“语言模型中的可言语表示形成全局工作空间”的研究描述了“J 空间”的发现，其中模型包含推理和报告的概念，周围环绕着自动处理。在关于机器认知的持续争论中，这些发现可能会影响 Anthropic 监控人工智能安全的方式。
这项 16 位作者的研究利用了一种新的数学技术来分析 Claude 的神经网络。研究人员观察到，J 空间类似于认知科学家伯纳德·巴尔斯提出的全局工作空间理论。该理论将大脑功能比作一个剧院，其中只有聚光灯的信息代表有意识的思想，这是 J 空间所反映的一个特征。
这一发现的一个关键要素是一种新的可解释工具，称为雅可比透镜或 J 透镜。该工具评估内部活动模式对输出的平均影响，使研究人员能够区分模型所表达的内容与其内部处理。值得注意的是，J空间是在克劳德训练期间有机出现的，而不是刻意设计的。
克劳德的处理包括三种模式：感觉输入区域、概念的内部工作空间以及产生输出的运动区域。研究人员确定了 J 空间内意识访问的五个功能特性，其中包括报告言语思想、直接聚焦、进行内部推理、灵活概括以及在处理过程中表现出选择性的能力。
研究表明，克劳德可以有效地阐明 J 空间中的概念，表明在执行复杂的推理任务时对其内部结构的依赖。 J 空间的抑制显着降低了模型在需要推理或创造力的任务中的性能，显示了其在决策过程中的重要性。
该研究还揭示了安全隐患。在测试中，J-lens 发现了场景中的无声战略推理，例如勒索设置，其中模型在生成输出之前处理复杂的关系。这引起了人们对目标不一致的模型的担忧，即使表情看起来正常，这些模型也会表现出有问题的倾向。
训练后模型与其基本模型之间的比较表明，微调导致了自我监控能力的发展。例如，当提示可能有害的用户输入时，训练后的模型表现出危险意识，而基础模型则没有。这一发现强调了人工智能语言模型中操作意识的各个方面，使有关其安全和认知属性的讨论进一步复杂化。
<小时/>
