本周，OpenAI 团队致力于 AGI 准备工作的高级顾问迈尔斯·布伦戴奇 (Miles Brundage) 使该公司成为了头条新闻。此举凸显了人工智能界日益增长的担忧，布伦戴奇发出了明确的警告：不，即使是 OpenAI 或任何其他领先的人工智能实验室都没有为通用人工智能 (AGI) 的风险做好充分准备。
这是一系列高调退出中的最新一起，这引发了一个严肃的问题：是否存在 AGI 不会对社会产生潜在影响的地方？也许即使是最先进的实验室也没有准备好管理通用人工智能对社会的潜在影响。
我刚刚向我的同事发送了此消息，并在博客文章中详细说明了我的决定和后续步骤（请参阅下一条推文）： pic.twitter.com/NwVHQJf8hM
— 迈尔斯·布伦戴奇 (@Miles_Brundage) 2024 年 10 月 23 日
随着 OpenAI 失去关键研究人员，人工智能安全问题日益严重
Brundage 的离职是 OpenAI 一系列离职事件中的最新一起，最近他们与公司和领导层之间也出现了不同程度的距离。离职者包括首席技术官 Mira Murati、首席研究官 鲍勃·麦格鲁，以及研究 副总裁巴雷特·佐夫，不仅仅是公司明确其优先事项的具体证据。他离开布伦戴奇的部分原因是他想进行人工智能政策研究，而不受他在 OpenAI 工作时所经历的一些限制，在 OpenAI 中，他感觉 OpenAI 限制他发表论文的公开程度越来越阻碍了他的发展。随后OpenAI的AGI准备团队解散，这让人们担心该公司是否致力于长期的安全举措。
与此同时，布伦戴奇在告别声明中表示，通用人工智能的发展速度超出了社会准备负责任地应对的速度。他写道：“OpenAI 和任何其他前沿实验室都没有为 AGI 做好准备，世界也没有做好准备。”他补充说，虽然 OpenAI 的领导层可能同意他的评估，但该公司向商业化的转变可能会危及其以安全为中心的使命。据报道，OpenAI 经历了将其工作货币化的压力，从非营利性研究转向营利性模式，并以商业产品交付的名义牺牲了长期考虑，但就数据而言，
布伦戴奇的警告并非孤例。就在 Jan Leike 和联合创始人 Ilya Sutskever 等关键研究人员离开之后，人工智能开发和安全之间的鸿沟变得越来越大。今年年初，雷克解散了他的安全团队，因为该团队难以为关键研究收集足够的资源，其中包括计算能力的短缺。这些内部摩擦和外部担忧表明，人工智能实验室的愿望与世界全球治理机器准备应对通用人工智能潜在有害社会影响之间存在巨大差距。
当然，前 OpenAI 研究员 Suchir Balaji 也曾公开谈论过该公司如何将利润置于安全之上，以及针对 OpenAI 的多起诉讼指控 OpenAI 侵犯版权的传闻。巴拉吉的离开和布伦戴奇的离开凸显了研究人员日益增长的不安，他们认为人工智能的商业潜力超过了减轻其风险的潜在努力。
当我第一次听说 OpenAI LP 时，我很担心，因为 OAI 的非盈利身份是吸引我的部分原因。但后来我出于两个原因改变了这个想法： 1. 当我深入研究细节时，我意识到已经采取了许多步骤来确保组织保持以任务为中心。
— 迈尔斯·布伦戴奇 (@Miles_Brundage) 2019 年 3 月 11 日
随着 OpenAI 安全团队的关键人物不断流失，更广泛的人工智能社区面临着一个紧迫的问题：为什么我们如此迅速地向通用人工智能竞赛，却没有意识到这场竞赛的一些潜在后果？布伦戴奇的离开和对其能力的严厉警告提醒我们，通用人工智能的风险不仅仅是我们可能输掉战争。尽管如此，更重要的是，我们正在超越社会的控制能力。与人工智能安全一样，AGI 的发展将取决于那些选择追求独立路径的替代关键研究人员的声音，甚至可能为 AGI 的发展采取不那么激进和负责任的程序。
全世界都在等着看这些前沿实验室是否能够在创新的同时仍然承担责任，确保通用人工智能为社会服务，而不是在它到来时与之相悖。焦点集中在 OpenAI 和其他方面。
图片来源: Furkan Demirkaya/表意文字
Source: OpenAI 面临不确定性，顶级研究人员对 AI 准备情况发出警报