使用通用端点指定模型或提供商回退，以处理请求失败并确保可靠性。
Cloudflare 可以在请求错误或预设请求超时时触发回退提供商。响应标头 cf-aig-step 指示哪个步骤成功处理了请求。
默认情况下，如果模型请求返回错误，Cloudflare 会触发回退。
在以下示例中，请求首先发送到 Workers AI 推理 API。如果请求失败，则回退到 OpenAI。响应标头 cf-aig-step 指示哪个提供商成功处理了请求。
- 向 Workers AI 推理 API 发送请求。
- 如果该请求失败，则继续到 OpenAI。
graph TD
A[AI Gateway] --> B[Request to Workers AI Inference API]
B -->|Success| C[Return Response]
B -->|Failure| D[Request to OpenAI API]
D --> E[Return Response]
你可以根据需要添加任意数量的回退，只需在数组中添加另一个对象即可。
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id} \
--header 'Content-Type: application/json' \
--data '[
{
"provider": "workers-ai",
"endpoint": "@cf/meta/llama-3.1-8b-instruct",
"headers": {
"Authorization": "Bearer {cloudflare_token}",
"Content-Type": "application/json"
},
"query": {
"messages": [
{
"role": "system",
"content": "You are a friendly assistant"
},
{
"role": "user",
"content": "What is Cloudflare?"
}
]
}
},
{
"provider": "openai",
"endpoint": "chat/completions",
"headers": {
"Authorization": "Bearer {open_ai_token}",
"Content-Type": "application/json"
},
"query": {
"model": "gpt-4o-mini",
"stream": true,
"messages": [
{
"role": "user",
"content": "What is Cloudflare?"
}
]
}
}
]'使用带回退的通用端点时，响应标头 cf-aig-step 通过返回步骤编号指示哪个模型成功处理了请求。此标头提供可见性，了解是否触发了回退以及最终哪个模型处理了响应。
cf-aig-step:0– 第一个（主要）模型成功使用。cf-aig-step:1– 请求回退到第二个模型。cf-aig-step:2– 请求回退到第三个模型。- 后续步骤 – 每次回退将步骤编号递增 1。