AI Crawl Control 可与其他 Cloudflare 产品一起使用,例如 Cloudflare Bot 解决方案。Bot 解决方案能够识别与已知 Bot 匹配的流量模式,并可以根据您的意愿对 Bot 进行验证或阻止。
- AI Crawl Control 的 AI 爬虫阻止使用 WAF 自定义规则,该规则在 Cloudflare Bot 解决方案之前执行。
- AI Crawl Control 的单次爬网付费 (Pay Per Crawl) 功能在 Cloudflare Bot 解决方案之后执行。
graph LR A[Traffic] --> B[WAF custom rules<br>AI Crawl Control: Crawler blocks] B --> C[Cloudflare<br>Bot Solutions] C --> D[AI Crawl Control:<br>Pay Per Crawl] classDef highlight fill:#F6821F,color:white
有关 Cloudflare 如何对 Bot 流量进行分类的详细信息,请参阅 AI Bot。
请考虑以下示例。
您可能同时启用了以下两个功能:
- 在 AI Crawl Control 的单次爬网付费中选择要收费的 AI 爬虫
- 启用 阻止 AI Bot 的 Bot 配置选项。
由于单次爬网付费发生在 Bot 解决方案之后,因此您需要首先关闭 Block AI bots(阻止 AI Bot),以确保单次爬网付费按预期工作。