2025 年 9 月 25 日之前通过旧版 API 创建的 pipeline 处于弃用路径。
要检查您的 pipeline 是否为旧版 pipeline,请在 Cloudflare 仪表板的 Pipelines > Pipelines 下查看,或在 Wrangler 中运行 pipelines list 命令。旧版 pipeline 在这两处均标记为 "legacy"。
新 pipeline 提供 SQL 转换、多种输出格式和改进的架构。
- 新 pipeline 支持用于数据处理的 SQL 转换。
- 新 pipeline 写入 JSON、Parquet 和 Apache Iceberg 格式,而不仅限于 JSON。
- 新 pipeline 将 stream、pipeline 和 sink 分离为独立资源。
- 新 pipeline 支持可选的结构化 schema 及验证。
- 新 pipeline 提供可配置的滚动策略和自定义分区。
旧版 pipeline 在 Pipelines 正式发布(GA)之前将继续工作,但新功能和改进仅在新 pipeline 架构中提供。迁移步骤:
-
使用交互式设置创建新 pipeline:
npx wrangler pipelines setup -
使用所需的 stream、SQL 转换和 sink 配置新 pipeline。
-
更新应用程序,将数据发送到新的 stream 端点。
-
验证完成后,删除旧版 pipeline。
有关详细指导,请参阅快速入门指南。