跳转到内容
搜索文档

请求处理

最后更新 查看 MarkdownAgent 设置

AI Gateway 支持不同的策略来处理发往提供商的请求,使你能够有效管理 AI 交互,并确保应用保持响应性和可靠性。

请求超时

请求超时允许你在提供商响应时间过长时返回错误或触发重试。

这些超时有助于:

  • 改善用户体验,防止用户等待响应时间过长
  • 主动处理错误,检测无响应的提供商

超时以毫秒为单位设置。超时基于响应的第一部分返回的时间。只要响应的第一部分在指定时间范围内返回 — 例如流式传输响应时 — gateway 将等待响应。

配置

对于提供商专用端点,通过添加 cf-aig-request-timeout 标头来配置超时值。

Request with timeoutbash
# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --header "cf-aig-request-timeout: 5000" \
  --data '{
    "model": "openai/gpt-4.1-mini",
    "messages": [{"role": "user", "content": "What is Cloudflare?"}]
  }'

请求重试

AI Gateway 支持失败请求的自动重试,最多 5 次重试。

此功能提高应用的弹性,确保你可以从临时问题中恢复,而无需手动干预。

使用请求重试,你可以调整以下三个属性的组合:

  • 尝试次数(最多 5 次)
  • 重试前等待时间(毫秒,最多 5 秒)
  • 退避方法(constant、linear 或 exponential)

在最后一次重试时,gateway 将等待请求完成,无论需要多长时间。

配置

对于提供商专用端点,通过添加不同的标头值来配置重试设置:

  • cf-aig-max-attempts(数字)
  • cf-aig-retry-delay(数字)
  • cf-aig-backoff("constant" | "linear" | "exponential)

这篇文档对您有帮助吗?