由 Simon AI爬虫时代终结？Cloudflare震撼推出默认屏蔽+付费抓取模式，37%搜索流量或受冲击！内容创作者终于能向科技巨头收费了？
【重磅！Cloudflare默认屏蔽AI爬虫 推出”按次付费”新模式】
互联网基础设施巨头Cloudflare今日宣布，将默认屏蔽所有访问其托管网站的AI爬虫程序！同时推出三项关键措施：
1️⃣ 允许客户手动审批或封禁特定AI爬虫
2️⃣ 首创「按次付费」服务（pay-per-crawl），内容创作者可向AI公司收取内容抓取费用
3️⃣ 支持分阶段控制（训练/微调/推理）AI模型对内容的使用权限
■ 传统协议崩塌：搜索红利消失危机
Cloudflare AI隐私产品负责人Will Allen指出：【传统”搜索索引-流量反哺”的平衡正在瓦解】。AI模型吞噬海量网络数据生成内容，却极少标注来源或补偿创作者。更严峻的是，AI生成的答案可能直接满足用户需求，导致”零点击未来”（zero-click future）——据MIT科技评论披露，已有37%的搜索查询结果被AI摘要取代。
■ 行业联盟成形：美联社/时代周刊/Quora集体站台
包括美联社、Stack Overflow等在内的内容平台公开支持该举措。Stack Overflow CEO强调：”哺育大语言模型的社区平台必须获得补偿，才能持续反哺生态。”目前，Cloudflare已建立爬虫验证系统，可识别合规AI代理（如Google/Epoch等认证爬虫），同时对恶意爬虫启动DDoS防御级拦截。
■ 技术攻防升级：AI诱饵网页成新武器
Cloudflare透露，已部署AI生成的虚假网页迷宫来消耗恶意爬虫资源。但公司更希望通过新机制建立良性合作——内容方既可设置每千次抓取费率，也能针对学术爬虫开放白名单。
◇ 延伸思考：
1. 当AI训练数据从”免费午餐”变为明码标价，会如何重塑行业成本结构？
2. 在商业爬虫与学术研究之间，是否存在技术手段无法解决的伦理边界？
阅读 Technology Review 的原文，点击链接。