摄取、转换流式数据,并以 Apache Iceberg 或 Parquet 格式加载到 R2。
Cloudflare Pipelines 摄取事件,通过 SQL 进行转换,并以 Iceberg 表 或 Parquet 和 JSON 文件的形式交付到 R2。
无论您处理的是服务器日志、移动应用事件、IoT 遥测数据还是点击流数据,Pipelines 都提供通过 HTTP 端点或 Worker 绑定(binding)实现的持久化摄取、基于 SQL 的转换以及精确一次(exactly-once)交付到 R2。这使您能够轻松构建可用于分析的数据仓库和数据湖仓,而无需管理流式基础设施。
按照快速入门指南创建您的第一个 pipeline,或运行以下 Wrangler 命令:
npx wrangler pipelines setup构建您的第一个 pipeline,通过 HTTP 或 Workers 摄取数据,应用 SQL 转换,并以 Iceberg 表或 Parquet 文件的形式交付到 R2。
持久化、带缓冲的队列,通过 HTTP 端点或 Worker 绑定接收事件。
通过 SQL 转换将 stream 连接到 sink,在摄取时验证、过滤、转换和丰富数据。
配置数据目的地。将 Apache Iceberg 表写入 R2 Data Catalog,或导出为 Parquet 和 JSON 文件。
查看端到端示例,包括如何将一个 stream 扇出到多个 Iceberg 表。
Cloudflare R2 对象存储允许开发者存储大量非结构化数据,而无需支付典型云存储服务中常见的高额出口带宽费用。
Cloudflare Workers 允许开发者构建无服务器应用,并即时部署到全球各地,实现卓越的性能、可靠性和规模。
限制
了解 Pipelines 的限制。
@CloudflareDev
在 Twitter 上关注 @CloudflareDev,了解产品公告以及 Cloudflare Workers 的最新动态。
Developer Discord
在 Discord 上加入 Workers 社区,提问、展示您正在构建的内容,并与其他开发者讨论平台。