跳转到内容
搜索文档

单次爬网付费常见问题

最后更新 查看 MarkdownAgent 设置

网站所有者常见问题

我可以为不同的 AI 爬虫设置不同的价格吗?

不能。单次爬网付费允许您为每个爬虫配置不同的操作(阻止、收费或允许),但您只能设置一个适用于所有配置为“收费”选项的爬虫的单一价格。

AI Bot 运营商常见问题

重新爬取同一个页面会收费吗?

会。您的 AI 爬虫每次访问受单次爬网付费保护的网站内容时,都将产生由网站所有者设置的费用。您应该在爬虫内部实现一些机制,以跟踪支出并强制执行您想要设置的任何支出限制。

一些路径总是可以免费爬取的。这些路径是:/robots.txt/sitemap.xml/security.txt/.well-known/security.txt/crawlers.json

错误的响应会被收费吗?

不会。收费事件仅针对成功的 HTTP 响应状态码触发。错误的响应不会被计费,即使您已发送了 crawler-exact-pricecrawler-max-price 标头。

我应该使用什么 User Agent?

请使用与您的 AI 爬虫相关联的、已注册至 Cloudflare 并通过 Web Bot Auth 识别的标准 User Agent。

这篇文档对您有帮助吗?