使用支出限制控制 AI 成本
AI Gateway 现在支持支出限制(spend limits)——基于成本的预算,可追踪累计美元支出,并在超出预算时拦截请求。与限制请求次数的速率限制不同,支出限制是基于 Token 使用量和模型定价来追踪实际成本。
您可以按模型、提供商或自定义元数据维度来限定限制范围。例如,为每个用户分配每日 200 美元的预算,将网关总支出限制在每日 10,000 美元以内,或者限制每个用户对特定模型的每日支出上限为 50 美元。每条规则都使用可配置的时间窗口,可采用固定或滑动执行策略。
支出限制适用于具有已知定价模型的 统一计费(Unified Billing) 和 BYOK(自带密钥) 请求。
欲了解更多细节,请参阅支出限制文档。