Guardrails 目前使用 Workers AI 上的 Llama Guard 3 8B ↗ 执行内容评估。底层模型将来可能会更新，我们将在 Guardrails 中反映这些变化。
由于 Guardrails 在 Workers AI 上运行，启用它会产生 Workers AI 使用量。你可以通过 Workers AI 仪表板监控使用情况。
- 模型可用性：如果至少有一个危害类别设置为
block，但 AI Gateway 无法从 Workers AI 收到响应，请求将被阻止。相反，如果危害类别设置为flag且 AI Gateway 无法从 Workers AI 获得响应，请求将在不进行评估的情况下继续。这种方法优先考虑可用性，即使在无法进行内容评估时也允许请求继续。 - 延迟影响：启用 Guardrails 会增加一些延迟。启用 Guardrails 会为请求引入额外延迟。通常，在 Workers AI 上使用 Llama Guard 3 8B 进行评估，每个请求大约增加 500 毫秒。但是，较大的请求可能会经历更高的延迟，尽管这种增加不是线性的。在平衡安全性和性能时请考虑这一点。
- 处理长内容：在评估长提示或响应时，Guardrails 会自动将内容分割成较小的块，通过单独的 Guardrail 请求处理每个块。这种方法确保全面审核，但可能导致较长输入的延迟增加。
- 支持的语言：Llama Guard 3.3 8B 支持以下语言的内容安全分类：英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语。
- 流式支持：使用 Guardrails 时不支持流式传输。