跳转到内容
搜索文档

Cloudflare Pipelines 概览

最后更新 查看 MarkdownAgent 设置

摄取、转换流式数据,并以 Apache Iceberg 或 Parquet 格式加载到 R2。

Available on Paid plans

Cloudflare Pipelines 摄取事件,通过 SQL 进行转换,并以 Iceberg 表 或 Parquet 和 JSON 文件的形式交付到 R2。

无论您处理的是服务器日志、移动应用事件、IoT 遥测数据还是点击流数据,Pipelines 都提供通过 HTTP 端点或 Worker 绑定(binding)实现的持久化摄取、基于 SQL 的转换以及精确一次(exactly-once)交付到 R2。这使您能够轻松构建可用于分析的数据仓库和数据湖仓,而无需管理流式基础设施。

按照快速入门指南创建您的第一个 pipeline,或运行以下 Wrangler 命令:

npx wrangler pipelines setup

功能

创建您的第一个 pipeline

构建您的第一个 pipeline,通过 HTTP 或 Workers 摄取数据,应用 SQL 转换,并以 Iceberg 表或 Parquet 文件的形式交付到 R2。

Streams

持久化、带缓冲的队列,通过 HTTP 端点或 Worker 绑定接收事件。

Pipelines

通过 SQL 转换将 stream 连接到 sink,在摄取时验证、过滤、转换和丰富数据。

Sinks

配置数据目的地。将 Apache Iceberg 表写入 R2 Data Catalog,或导出为 Parquet 和 JSON 文件。

示例

查看端到端示例,包括如何将一个 stream 扇出到多个 Iceberg 表。


相关产品

R2

Cloudflare R2 对象存储允许开发者存储大量非结构化数据,而无需支付典型云存储服务中常见的高额出口带宽费用。

Workers

Cloudflare Workers 允许开发者构建无服务器应用,并即时部署到全球各地,实现卓越的性能、可靠性和规模。


更多资源

限制

了解 Pipelines 的限制。

@CloudflareDev

在 Twitter 上关注 @CloudflareDev,了解产品公告以及 Cloudflare Workers 的最新动态。

Developer Discord

在 Discord 上加入 Workers 社区,提问、展示您正在构建的内容,并与其他开发者讨论平台。

这篇文档对您有帮助吗?