使用 AI Crawl Control 分析 来识别哪些爬虫正在访问您的网站,然后部署 Worker 模板来定制您处理该流量的方式。
x402-proxy 模板使用 x402 协议 ↗(一种围绕 HTTP 402 (Payment Required) 构建的开放式支付标准)实现了付费限制的访问控制。使用它可以对爬虫访问进行变现、对特定路由设置付费墙,或者对 Bot 收费的同时让真人免费通过。
关于设置说明和 Bot Management 集成示例,请参阅 GitHub 上的模板 ↗。
- Bot 参考 — 常见爬虫的检测 ID 和 User Agent
- Cloudflare Workers — 构建和部署无服务器应用程序
- Workers 模板 ↗ — GitHub 上的更多模板
- 单次爬网付费 — 针对爬虫访问变现的 Cloudflare 原生集成
- x402 支付 — 限制资源访问、为 MCP 工具收费,或向编码 Agent 添加支付功能