功能

直接从 Cloudflare 全球缓存提供相同请求，将延迟降低高达 90%，并通过避免重复调用 AI 提供商 API 显著降低成本。

主要优势：

• 减少重复查询的响应时间
• 通过缓存命中降低 API 成本
• 可配置的 TTL 和按请求缓存控制
• 适用于所有支持的 AI 提供商

设置基于成本的预算，跟踪跨请求的累计美元支出。按模型、提供商或用户、团队、应用等自定义元数据维度限定范围。

主要优势：

• 按提供商或按模型预算
• 使用自定义元数据按用户或团队预算
• 可配置的时间窗口（每日、每周、每月）
• 超出预算时自动阻止请求

通过灵活的速率限制选项控制应用扩展并防止滥用。基于每个时间窗口的请求数设置限制，支持滑动或固定窗口技术。

主要优势：

• 防止 API 配额耗尽
• 控制成本和使用模式
• 可按 gateway 或按请求配置
• 多种速率限制技术可用

无需更改代码即可创建复杂的请求路由流程。通过可视化界面根据用户细分、地理位置、内容分析或 A/B 测试需求路由请求。

主要优势：

• 可视化基于流程的配置
• 基于用户和地理的路由
• A/B 测试和分数流量分割
• 基于请求内容的上下文感知路由
• 带自动回退的动态速率限制

通过实时内容审核安全部署 AI 应用。自动检测并阻止所有提供商用户提示和模型响应中的有害内容。

主要优势：

• 跨所有 AI 提供商的一致审核
• 实时提示和响应评估
• 可配置的内容类别和操作
• 合规和审计能力
• 增强用户安全性和信任

保护组织免受 AI 交互中无意暴露敏感数据的影响。扫描提示和响应中的 PII、财务数据和其他敏感信息。

主要优势：

• 实时扫描 AI 提示和响应
• 检测 PII、财务、医疗和自定义数据模式
• 可配置操作：标记或阻止敏感内容
• 与 Cloudflare 企业 DLP 解决方案集成
• 支持 GDPR、HIPAA 和 PCI DSS 合规

使用基于令牌的身份验证保护 AI Gateway。控制对 gateway 的访问并防止未经授权的使用。

主要优势：

• 基于令牌的访问控制
• 可按 gateway 配置
• 与 Cloudflare 安全基础设施集成
• 访问尝试审计跟踪

在 Cloudflare 加密基础设施中安全存储和管理 AI 提供商 API 密钥。从应用中移除硬编码密钥，同时保持完全控制。

主要优势：

• 静态和传输中加密的密钥存储
• 跨提供商的集中密钥管理
• 无需更改代码即可轻松轮换密钥
• 支持 20 多个 AI 提供商
• 增强安全性和合规性

通过全面的分析深入了解 AI 应用使用情况。跟踪所有提供商的请求、token、成本、错误和性能。

主要优势：

• 实时使用指标和趋势
• 跨提供商的成本跟踪和估算
• 错误监控和故障排除
• 缓存命中率和性能洞察
• 用于自定义仪表板的 GraphQL API

捕获所有 AI 请求和响应的详细日志，用于调试、合规和分析。配置日志保留和导出选项。

主要优势：

• 完整的请求/响应日志记录
• 可配置的日志保留策略
• 通过 Logpush 导出
• 自定义元数据支持
• 合规和审计支持

使用自定义元数据丰富日志和分析。为请求添加用户 ID、团队信息或任何自定义数据，以增强过滤和分析。

主要优势：

• 增强的请求跟踪和过滤
• 基于用户和团队的分析
• 自定义业务逻辑集成
• 改进调试和故障排除

使用协商费率或自定义成本模型覆盖默认定价。在请求级别应用自定义成本以实现准确的成本跟踪。

主要优势：

• 使用协商费率进行准确的成本跟踪
• 按请求成本自定义
• 更好的预算规划和预测
• 支持企业定价协议