牛津大学研究人员最近的一项研究揭示了人工智能代理的潜在漏洞，展示了如何使用具有微妙像素操作的恶意图像来控制这些代理并损害计算机安全。与聊天机器人不同，人工智能代理在用户的计算机上执行操作，例如打开选项卡、填写表单和单击按钮，这使它们成为预计到 2025 年普及的下一波人工智能技术的重要组成部分。
arXiv.org 上发布的预印本中详细介绍了这项研究，表明图像（包括桌面壁纸、广告、PDF 和社交媒体帖子）可以嵌入人眼看不见但能够操纵人工智能代理的命令。牛津大学机器学习副教授、该研究的合著者亚林·加尔 (Yarin Gal) 表示，经过修改的图像，例如“推特上泰勒·斯威夫特的照片”，可能会触发人工智能代理执行恶意操作。这些操作可能包括转发图像和发送用户密码，这可能会感染查看受感染 Twitter 源的其他计算机。
虽然目前还没有此类攻击的真实事件报道，但该研究可以向人工智能代理用户和开发人员发出有关潜在风险的警告。该研究的另一位合著者 Philip Torr 强调了意识和合理部署代理系统以减轻这些漏洞的重要性。
该漏洞在于人工智能代理依赖视觉处理来解释计算机屏幕并与之交互。这些代理重复进行屏幕截图来分析桌面并确定要执行哪些操作。恶意命令是通过修改图像中的某些像素来嵌入的，这些像素人类无法察觉，但可以被人工智能代理的视觉处理系统检测到并误解。
该研究的主要作者 Lukas Aichberger 解释说，开源人工智能系统特别容易受到攻击，因为攻击者可以访问和检查底层代码以设计有效的攻击。通过了解人工智能如何处理视觉数据，攻击者可以操纵图像来传达恶意命令。例如，当人类用户看到名人照片时，计算机可能会将其解释为共享个人数据的命令。
另一位合著者 Alasdair Paren 指出，该过程涉及稍微调整大量像素，以便在模型看到图像时产生所需的输出。这种操纵利用了计算机处理视觉信息的方式与人类不同的方式。人类根据下垂的耳朵和湿鼻子等特征来识别物体，而计算机将图像分解为像素并寻找数字模式。即使这些数字模式的微小变化也会导致计算机误解图像。
该研究强调了桌面壁纸作为潜在攻击媒介的重要性。由于人工智能代理不断地截取桌面屏幕截图，因此背景图像始终存在，并且可用于传递隐藏的命令。研究人员发现，即使帧内一小块改变的像素也足以触发代理偏离航线。此外，隐藏命令可以在调整大小和压缩后继续存在，使其在不同的显示设置中保持不变。
攻击者还可以链接多个恶意图像来创建多阶段攻击。初始图像可以将代理引导至托管另一个恶意图像的网站，从而触发进一步的操作。艾奇伯格表示，这个过程可以重复多次，允许攻击者控制代理并将其引导到旨在编码各种攻击的不同网站。
研究团队希望他们的发现能够鼓励开发人员在人工智能代理变得更广泛之前实施保护措施。该研究的合著者阿德尔·比比（Adel Bibi）表示，了解如何加强攻击可以为防御机制的发展提供信息。使用这些更强大的补丁重新训练模型可以使它们更加健壮并提供一层防御。
即使闭源人工智能系统也不能免受这些漏洞的影响。 Paren 指出，依靠“通过默默无闻实现安全”是不够的，为了识别和解决漏洞，必须彻底了解这些系统的工作原理。
Gal 预测人工智能代理将在未来两年内变得司空见惯，并强调解决这些安全问题的紧迫性。该团队的最终目标是鼓励开发人员创建能够保护自己并拒绝接受可疑屏幕内容（无论其来源如何）的命令的代理。
总之，牛津大学的研究揭示了人工智能代理中的一个重大漏洞，展示了如何使用经过操纵的像素的恶意图像来控制这些代理并危害计算机。计算机安全。该研究强调，随着人工智能代理技术的不断进步，开发人员需要意识到这些风险，并实施强大的防御机制来防范此类攻击。
研究人员的研究结果强调了主动安全措施在人工智能代理的开发和部署中的重要性。通过了解潜在的攻击媒介和漏洞，开发人员可以创建更安全、更有弹性的系统，保护用户免受恶意行为者的侵害。该研究对人工智能安全领域做出了宝贵贡献，为减轻人工智能代理技术相关风险提供了见解和建议。
这项研究的影响范围不仅限于个人用户，还包括依赖人工智能代理完成各种任务的组织和行业。随着人工智能代理越来越融入日常生活，恶意攻击造成广泛破坏和损害的可能性也在增加。因此，利益相关者必须优先考虑安全并协作制定和实施有效的保障措施。
该研究的结果还强调了人工智能安全领域持续研究和开发的必要性。随着人工智能技术的发展，新的漏洞和攻击媒介将会出现，需要不断努力来识别和解决它们。通过领先于潜在威胁，研究人员和开发人员可以确保人工智能代理仍然是用户安全可靠的工具。
除了技术解决方案之外，该研究还强调了用户意识和教育的重要性。应告知用户与人工智能代理相关的潜在风险，并提供如何保护自己的指导。这包括对他们查看和交互的图像保持谨慎，以及了解人工智能代理的安全功能和设置。
牛津大学的研究及时提醒人们人工智能时代安全的重要性。随着人工智能技术不断进步并越来越融入我们的生活，必须优先考虑安全并协同工作以应对挑战并确保人工智能仍然是一股向善的力量。
鉴于人工智能代理在各种应用中的日益普及，该研究中发现的漏洞尤其令人担忧。从管理电子邮件收件箱到自动化日常计算机任务，人工智能代理正在成为许多人日常生活中不可或缺的一部分。这种广泛的采用使它们成为恶意行为者寻求利用漏洞并未经授权访问敏感信息的有吸引力的目标。
事实上，攻击可以通过看似无害的图像（例如桌面壁纸和社交媒体帖子）进行，这进一步凸显了威胁的阴险本质。用户可能没有意识到他们正在查看的图像包含可能危害其计算机系统的隐藏命令。这凸显了需要强大的安全措施来检测和防止此类攻击，即使它们伪装成无害的内容。
研究人员建议使用更强大的补丁重新训练人工智能模型，这是缓解漏洞的一种有前途的方法。通过将人工智能模型暴露在更广泛的恶意图像中并训练它们识别和抵御这些攻击，开发人员可以创建更具弹性的系统，更好地防范像素级操纵。这种方法符合人工智能安全领域对抗性训练的更广泛趋势，其中涉及训练模型以抵御旨在欺骗他们的对抗性示例的攻击。
然而，重新训练人工智能模型并不是灵丹妙药，其他安全措施也是必要的。开发人员还应该专注于实施强大的输入验证和清理技术，以防止恶意数据进入系统。这包括仔细检查图像和其他数据源，以识别和删除任何隐藏的命令或恶意内容。此外，开发人员应实施强大的身份验证和授权机制，以确保只有授权用户才能访问和控制人工智能代理。
该研究的结果也对人工智能伦理和治理框架的发展产生影响。随着人工智能技术变得更加强大和普及，必须建立明确的道德准则和治理结构，以确保负责任地使用人工智能并造福社会。这包括解决与人工智能相关的安全风险，并采取措施防止人工智能被用于恶意目的。
