开源数据平台的设计思路是通过 Flink SQL Batch 以及 Doris SQL 的能力实现一个离线任务的开发;使用 DolphinScheduler 进行离线工作流编排和调度;通过 Flink CDC 和 Flink SQL 实现流处理能力,进行实时任务的开发;选择 Doris 作为实时数据仓库来写入数据并进行 OLAP 查询;通过 Dinky 来提供一个完整的任务开发运维的平台...
Doris、Flink、DolphinScheduler和Dinky可以共同构建一个高效、可扩展的大数据处理和分析平台。 Doris Apache Doris(之前称为百度Palo)是一个基于MPP(大规模并行处理)技术的分析型数据库,它支持亚秒级响应时间的查询,适用于实时数据分析、交互式数据分析和探索式数据分析等多种场景。Doris具有卓越的性能、高并发查询能力、...
Dinky 基于 Flink 的数据平台的定位,也促使其可以很好的融入各开源生态,如 Flink 各类衍生项目、海豚调度、Doris 和 Hudi 等数据库,进而来提供一站式的开源解决方案。 Dinky 核心优势 那Dinky 相对于其他平台,具备哪些优势呢? 首先,它兼容 Flink 1.11 及以上版本,扩展新版本支持的成本非常低,也可以扩展用户自身二...
Dinky 基于 Flink 的数据平台的定位,也促使其可以很好的融入各开源生态,如 Flink 各类衍生项目、海豚调度、Doris 和 Hudi 等数据库,进而来提供一站式的开源解决方案。 **Dinky 核心优势*** 那Dinky 相对于其他平台,具备哪些优势呢? 首先,它兼容 Flink 1.11 及以上版本,扩展新版本支持的成本非常低,也可以扩展用...
1 / 52
开发者社区 大数据与机器学习 实时计算 Flink 正文 有没有基于cloudEon + Doris + Flink + DolphinScheduler ?有没有基于cloudEon + Doris + Flink + DolphinScheduler + Dinky?做开源实时湖仓一体的数据中台的同学真的很搞笑 2024-08-06 11:25:24 68 发布于黑龙江 分享 版权 举报 0 条回答 写回答 问答...
此外,整库同步所依赖的 FlinkCDC,也需升级至 3.1.x 版本... 问答 2024-08-06 来自:开发者社区 有没有基于cloudEon + Doris + Flink + DolphinScheduler ? 有没有基于cloudEon + Doris + Flink + DolphinScheduler + Dinky?做开源实时湖仓一体的数据中台的同学 ...
基于Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台 和来自小米、SelectDB、白鲸开源等企业的技术大咖线上“零距离”交流机会 活动议程 https://weixin.qq.com/f/EACB6zrvFBaoBwrwWz96Z50?notice=13905008379654113656 (二维码自动识别) 福利大放送 ...
【2025最新版】 大数据 数据分析 电商系统 实时数仓 离线数仓 数据湖 建设方案及实战代码,涉及组件 #flink #paimon #doris #seatunnel #dolphinscheduler #datart #dinky #hudi #iceberg。 flinkicebergdorishudidinkydolphinschedulerdatartpaimonseatunnel UpdatedMay 18, 2025 ...
数据采集模块:利用Dinky开发的FlinkSQL代码,消费Kafka中的用户日志数据,并将其写入Doris、Paimon、Hudi和Iceberg的在线数据存储(ODS)层。此外,使用DolphinScheduler配置SeaTunnel任务,以同步MySQL中的业务数据到Doris的ODS层。FlinkSQL/CDC技术则用于从Kafka和MySQL采集数据,并将它们分别写入Paimon、Hudi和Iceberg的ODS层。