Anthropic 和研究合作伙伴 AE Studio 周三发布了一种方法，使用离散、可移动模块隔离人工智能模型中的危险知识。该技术名为梯度路由辅助模块（GRAM），旨在增强对双重用途风险的管理，同时保持人工智能模型的总体性能。
GRAM 在标准 Transformer 架构中添加了小型辅助神经室。每个隔间都专用于特定类别的敏感知识，例如病毒学、网络安全或核物理。删除模块会使模型表现得好像从未接受过该特定数据的训练，而激活模块则可以访问所包含的知识。
研究人员使用网络文本、代码、科学论文和四个双重用途领域（病毒学、网络安全、核物理和专业代码）的混合物来训练一个包含 8 亿个参数的模型。两用数据约占每个领域训练数据的 0.25%。结果表明，删除 GRAM 模块几乎与根本不进行数据训练一样有效。该模型的总体性能保持接近包含所有数据的基线。
事实证明，这种方法对于对抗性微调具有鲁棒性，与事后遗忘方法不同，后者通常只会抑制知识而不是消除知识。这项研究是在人工智能治理面临挑战的时期进行的，因为出于与潜在漏洞相关的国家安全担忧，特朗普政府暂时对 Anthropic 的克劳德模型实施了出口管制。
在 Anthropic 与商务部合作解决已发现的风险后，这些限制于 6 月 30 日取消。 GRAM 可以在政策制定中提供中间立场，允许精细的访问控制，而不是禁止整个模型或仅仅依赖行为护栏。
然而，研究人员指出，他们的发现是初步的，尚未在 Anthropic 的生产模型中实施。他们提出了有关 GRAM 向更复杂模型的可扩展性以及将纠缠知识与更通用功能分离的潜在困难的问题。这项研究由 AE Studio 领导，Anthropic 的 Cem Anil 和 Alex Cloud 也做出了贡献。
<小时/>
