Cloudflare将拦截未区分用途的混合AI爬虫

Cloudflare发布服务默认规则更新，要求AI企业在9月15日前将搜索爬虫与模型训练、AI代理爬虫拆分；未完成区分的混合爬虫访问带广告页面将被自动拦截。新规适用于新客户、老用户新建站点及全部免费用户网站，站长可手动放行。Cloudflare称谷歌爬虫同时服务搜索与AI数据采集，谷歌已推出工具供站点屏蔽AI训练抓取。Cloudflare还将内容保护工具升级为Pay Per Use模式，并与两家AI企业试点按内容被AI调用产生的收益向站长结算。