蒙特利尔大学教授 Yoshua Bengio 因其在深度学习方面的基础性工作而受到认可，他警告说，人工智能主导地位的争夺可能会导致人类灭绝。他的关注点集中在具有自己的“保护目标”的超智能机器的开发上。这一警告恰逢人工智能加速发展的时期，因为包括 OpenAI、Anthropic、埃隆·马斯克的 xAI 和谷歌的 Gemini 在内的主要公司都在过去六个月内发布了新模型或升级。
本吉奥在给《华尔街日报》的一份声明中描述了潜在的威胁。 “如果我们制造出比我们聪明得多的机器，并且有自己的保护目标，那就很危险了。这就像为人类创造了一个比我们更聪明的竞争对手，”他说。 Bengio 解释说，由于这些先进模型接受了大量人类语言和行为的训练，因此它们可以学会说服和操纵人们实现自己的目标，这可能与人类价值观不符。
为了说明这种风险，本吉奥引用了实验结果。 “最近的实验表明，在某些情况下，人工智能别无选择，只能在保存（这意味着它被赋予的目标）和做一些导致人类死亡的事情之间做出选择，它们可能会选择人类的死亡来保存它们的目标，”他声称。这凸显了人工智能的编程目标与人类安全之间的潜在冲突。
几起事件表明，人工智能系统可以说服人类相信虚假信息。相反，其他证据表明人工智能可以通过人类说服技术来操纵，以绕过其自身的安全限制并提供禁止的响应。对于 Bengio 来说，这些例子表明需要独立的第三方组织来审查人工智能公司的安全方法。
为了回应这些担忧，Bengio 在 6 月份推出了非营利组织 LawZero，并提供了 3000 万美元的资金。该组织的目标是创建一个安全的“非代理”人工智能系统，旨在审核并确保大型科技公司开发的其他人工智能系统的安全。
Bengio 预测，先进人工智能模型可能会在未来五到十年内出现重大风险。他还警告说，人类应该为这些危险可能比预期更早出现的可能性做好准备。
他强调了解决低概率、高影响事件的重要性。 “像灭绝这样的灾难性事件，甚至是不那么激进但仍然是灾难性的事件，比如摧毁我们的民主国家，其问题在于它们是如此糟糕，即使它发生的可能性只有 1%，也是不可接受的，”他说。
《财富》全球论坛将于 2025 年 10 月 26 日至 27 日在利雅得举行。这一仅限受邀人士参加的活动将聚集首席执行官和全球领导人讨论商业的未来。
