Cloudflare 宣布计划阻止混合用途网络爬虫，这些爬虫为搜索引擎索引网站并充当人工智能代理。这一转变标志着该公司先前政策的背离，该政策允许客户选择不允许其网站被人工智能聊天机器人抓取。 Cloudflare 现在默认采取更具防御性的立场。
首席执行官马修·普林斯表示：“既然互联网上的大部分流量都是非人类的，我们必须走得更远，更快地采取行动，以便形成一个可持续的生态系统。”新政策旨在让网站所有者更好地控制人工智能公司如何使用其内容，同时保持可见性和商业机会。
从 2026 年 9 月 15 日开始，推出新网站的新客户和现有 Cloudflare 订阅者将默认允许搜索，但阻止托管广告页面的 AI 培训和代理使用。不允许网站所有者控制人工智能使用的混合用途爬虫也将在广告支持的页面上被阻止。免费帐户用户将过渡到这些新的默认设置，除非他们在截止日期之前选择退出。
Cloudflare 正在增强其按抓取付费功能，现在称为按使用付费。这一变化允许网站所有者根据其内容在人工智能聊天机器人响应中的使用方式来赚取收入，而不仅仅是通过爬行。目前，该公司正在与 Ceramic.AI 和 You.com 合作，建议努力吸引更多人工智能公司。
该政策似乎还间接针对谷歌。 Cloudflare 的公告表明，“最大的搜索引擎能够访问的信息比领先的人工智能公司多大约 2 倍”，因为它将搜索索引与人工智能训练相集成。 Googlebot 负责索引和培训，但出版商缺乏将传统搜索和人工智能应用程序之间的内容使用分开的选项。
Cloudflare 旨在鼓励混合用途爬虫在搜索和 AI 训练功能之间采用更清晰的区别。新措施被定位为一项战略，旨在促使谷歌和其他有类似做法的公司修改其做法。
<小时/>
