利用边缘推理、向量数据库和模型网关，在 Cloudflare 全球网络上构建和部署 AI 应用程序。Workers AI 按次计费运行大型语言模型 (LLM)、文本嵌入、图像生成和其他模型。AI Gateway 通过缓存和统一分析将请求代理到 OpenAI、Anthropic 和其他提供商。Vectorize 为检索增强生成 (RAG) 工作流存储嵌入。
AI 应用程序可能会带来独特的基础架构挑战，例如不可预测的推理成本、对延迟敏感的用户体验，以及需要与多家模型提供商合作。Cloudflare 提供了一个完整的平台，用于构建快速、具有成本效益且全球分布的 AI 应用程序。
将向量搜索与大型语言模型 (LLM) 推理相结合，将响应建立在您自己的数据基础之上：
- Vectorize 存储您的知识库的嵌入
- Workers 接收用户查询并搜索相关上下文
- Workers AI 或 AI Gateway 使用检索到的上下文生成响应
使用 AI Gateway 跨提供商路由请求，同时保持统一的接口：
- AI Gateway 将请求代理到 OpenAI、Anthropic 或 Workers AI
- 内置缓存降低了重复查询的成本
- 跨所有提供商的统一日志记录和分析
直接在边缘部署低延迟的 AI 功能：
- Workers 在离用户最近的 Cloudflare 节点处理请求，并通过 Workers AI 绑定运行推理 — 无需往返源服务器
- KV 缓存频繁的响应，以减少推理调用和延迟
- D1 将会话状态和对话历史记录与推理逻辑一起存储
- 一个 Cloudflare 账户 ↗。
- 机器上安装了 Node.js ↗（16.17.0 或更高版本）。
- 已安装 Wrangler。Wrangler 是用于部署 Workers 和管理绑定的命令行界面 (CLI)。
- 一个 Cloudflare 账户 ↗。
- AI Gateway 不需要将域添加到 Cloudflare。您可以通过更新 API 端点以通过 AI Gateway 路由，将其置于任何现有 AI 提供商（OpenAI、Anthropic 等）的前面。
- 如果您计划将 Workers AI 推理或 Vectorize 添加到现有应用程序，您还需要安装 Node.js ↗（16.17.0 或更高版本）和 Wrangler。
Workers AI 模型
浏览可用的文本生成、嵌入、图像生成等模型。
AI Gateway 提供商
通过 AI Gateway 连接到 OpenAI、Anthropic、Google AI 和其他提供商。