验证您的 AI 爬虫

graph LR
A[设置您的<br>Cloudflare 账户] --> B[验证您的<br>AI 爬虫]:::highlight
B --> C[发现<br>收费内容]
C --> D[连接至<br>Stripe]
D --> E[爬取页面]
classDef highlight fill:#F6821F,color:white

连接您的 Stripe 账户后，将您的 AI 爬虫设置为已验证的 Bot (verified bot)。

内容访问限制

当 AI 爬虫尝试访问受单次爬网付费保护的内容时，它会收到 HTTP 状态码 402。这表示需要付款。响应的 HTTP 标头会包含该内容的费用。

例如，响应标头可能类似于以下内容：

HTTP/2 402
date: Fri, 06 Jun 2025 08:42:38 GMT
content-type: text/plain; charset=utf-8
crawler-price: USD 0.01
server: cloudflare

要访问此内容，您必须验证您的 AI 爬虫。

1. 遵循 Web Bot Auth 协议

确保您的 AI 爬虫在标识自身时携带 Web Bot Auth 所需的标头。

遵循 Web Bot Auth 中的步骤。

2. 遵循已验证 Bot 的政策

确保您的 AI 爬虫遵循 Cloudflare 的已验证 Bot 政策。

3. 提交验证请求

提交表单以将您的 AI 爬虫添加到 Cloudflare 的已验证 Bot 列表中。

在 Cloudflare 仪表板中，前往 Manage Account（管理账户）> Settings（设置）。
Go to Configurations ↗
前往 **Bot Submission Form（Bot 提交表单）**选项卡。
填写表单并提供以下所需信息：
- Select bot type（选择 Bot 类型）：选择 **Verified Bot（已验证 Bot）**或 Signed Agent（签名代理）。
- Verification Method（验证方法）：选择 Request Signature（请求签名）。
- User-Agents header values（User-Agents 标头值）：提供您的 Bot 使用的 User-Agent 字符串。
- User-Agents Match Pattern（User-Agents 匹配模式）：提供匹配您的 User-Agent 的子字符串模式（例如，GoogleBot | GoogleScraper）。
选择 Submit（提交）。