微软宣布了其 Windows 11 操作系统的 Fall Moments 更新，引入了一组旨在将人工智能功能集成到每台受支持的个人电脑中的功能。此次更新以两个主要新增功能为中心：Copilot Voice 和 Copilot Vision，它们共同作用，为用户创建更具交互性的 AI 环境。
第一个功能是 Copilot Voice，使用户能够通过语音命令和自然对话与计算机进行交互，这种交互方法类似于其他对话式 AI 工具。第二个核心功能是副驾驶视觉，它允许计算机通过摄像头感知和解释周围环境。 Copilot Vision 还可以分析用户屏幕上显示的内容，使其能够理解上下文并根据其“看到”的内容执行操作。
作为此更新的一部分，人工智能助手可以使用短语“嘿，副驾驶”通过语音激活。一旦激活，用户可以提出问题、搜索信息或指示助手执行特定任务。 Copilot Vision 功能允许用户直接与 AI 共享桌面或个人应用程序。作为回报，副驾驶可以提供见解或回答与屏幕内容相关的问题。
该更新还引入了微软称之为“亮点”的指导功能。该工具旨在帮助不熟悉某些计算机操作的用户。通过指向屏幕上的某个区域并寻求帮助，用户可以从人工智能接收有关如何完成任务的分步说明。微软指出，此功能特别适合技术熟悉程度较低的用户。亮点功能在操作系统和特定应用程序中可用。
结合这些功能，Copilot 打字界面经过重新设计，并直接集成到 Windows 11 任务栏中。这一变化旨在使与人工智能助手的基于文本的交互变得更容易。
在 Microsoft 365 应用程序套件（包括 PowerPoint、Excel 和 Word）中，Copilot Vision 得到了增强，可以了解用户工作的完整上下文。在用户明确许可的情况下，人工智能可以查看屏幕并为设计演示或分析电子表格数据等任务提供帮助。
微软还在扩展 Copilot Actions，该功能允许智能代理为用户执行多步骤任务。此功能以前仅限于基于浏览器的操作，例如预订酒店或查找航班，现在已扩展到 Windows 11 Insiders 计划。该扩展允许 Copilot Actions 在本地操作系统中运行，在文件资源管理器中执行任务或搜索计算机上的文件。用户可以描述期望的结果，人工智能将努力执行它。这与更广泛的微软计划相关，即将其人工智能与 OneDrive 等服务和 Google Gmail 等外部平台连接起来，并能够将任务结果导出到其他应用程序。
此外，微软还宣布与任务代理工具 Manus 合作。这种合作关系将使该工具能够在获得许可的情况下对用户的本地文件执行复杂的操作。此次合作的技术基础是由 Microsoft 和 Manus 的母公司（一家位于上海的第三方公司）利用通过 AI 功能增强的 Azure 服务器构建的共享基础设施。
为了解决安全和隐私问题，更新包括被称为“安全围栏”的新控制级别。微软表示，用户将完全控制新功能，并可以随时禁用或暂停 Copilot Actions。该公司还致力于为用户提供有关人工智能行为的完全透明度，并在任务的每个阶段提供更新。参考最近的“召回惨败”的教训，微软声称它正在不断进行全面检查并收集组织反馈，以改进其安全和隐私机制。
