AI 爬虫经常消耗大量的 Web 内容。其中一些通过为搜索引擎建立内容索引来为内容所有者提供互利，但另一些则在未经许可的情况下从事内容抓取等活动。
这导致内容所有者管理 AI 爬虫或对其知识产权的自动化访问获得补偿的选择非常有限。
单次爬网付费是 AI Crawl Control 的一项功能，它使网站所有者能够通过按区域 (zone) 设置价格来控制 AI 爬虫对内容的访问并进行变现。
每次 AI 爬虫请求内容时，它们要么通过请求标头提供付款意向以成功进行 HTTP 200 访问，要么接收包含定价信息的 HTTP 402 Payment Required 响应。Cloudflare 作为单次爬网付费的名义商家 (Merchant of Record)，并提供底层的技术基础设施。
最终，单次爬网付费使得：
- 网站所有者能够控制其内容，并在 AI 爬虫每次访问其 Cloudflare 区域中的页面时收取费用。有关详细信息，请参阅以网站所有者身份使用单次爬网付费。
- AI 爬虫所有者付费访问受单次爬网付费保护的网站上的内容。有关详细信息，请参阅以 AI 所有者身份使用单次爬网付费。
请参阅以下资源：