AI Gateway 支持不同的策略来处理发往提供商的请求,使你能够有效管理 AI 交互,并确保应用保持响应性和可靠性。
请求超时允许你在提供商响应时间过长时返回错误或触发重试。
这些超时有助于:
- 改善用户体验,防止用户等待响应时间过长
- 主动处理错误,检测无响应的提供商
超时以毫秒为单位设置。超时基于响应的第一部分返回的时间。只要响应的第一部分在指定时间范围内返回 — 例如流式传输响应时 — gateway 将等待响应。
对于提供商专用端点,通过添加 cf-aig-request-timeout 标头来配置超时值。
# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
--header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
--header "Content-Type: application/json" \
--header "cf-aig-request-timeout: 5000" \
--data '{
"model": "openai/gpt-4.1-mini",
"messages": [{"role": "user", "content": "What is Cloudflare?"}]
}'AI Gateway 支持失败请求的自动重试,最多 5 次重试。
此功能提高应用的弹性,确保你可以从临时问题中恢复,而无需手动干预。
使用请求重试,你可以调整以下三个属性的组合:
- 尝试次数(最多 5 次)
- 重试前等待时间(毫秒,最多 5 秒)
- 退避方法(constant、linear 或 exponential)
在最后一次重试时,gateway 将等待请求完成,无论需要多长时间。
对于提供商专用端点,通过添加不同的标头值来配置重试设置:
cf-aig-max-attempts(数字)cf-aig-retry-delay(数字)cf-aig-backoff("constant" | "linear" | "exponential)