Cloudflare当地时间7月1日更新爬虫管理规则，将为爬虫标注搜索、AI代理、模型训练等用途，并以2026年9月15日为执行节点，默认阻止AI代理和训练类爬虫访问带广告网页。针对兼具搜索与AI采集功能的混合型爬虫，若任一用途被站点禁止，整只爬虫将无法抓取内容。Cloudflare还将上线新版数据看板和页面变动监控，减少重复抓取带宽消耗，并推出按使用计费的爬虫付费模式，支持网站主向AI内容抓取收费。
Cloudflare当地时间7月1日更新爬虫管理规则，将为爬虫标注搜索、AI代理、模型训练等用途，并以2026年9月15日为执行节点，默认阻止AI代理和训练类爬虫访问带广告网页。针对兼具搜索与AI采集功能的混合型爬虫，若任一用途被站点禁止，整只爬虫将无法抓取内容。Cloudflare还将上线新版数据看板和页面变动监控，减少重复抓取带宽消耗，并推出按使用计费的爬虫付费模式，支持网站主向AI内容抓取收费。