Flink CDC 社区发展迅速,在开源的三年时间里,社区已经吸引了 111 位贡献者,培养了 8 位 Maintainer,社区钉钉用户群超过 9800 人。 在社区用户与开发者的共同努力下,Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的3.0 版本,3.0 版本的发布对 Flink CDC 而言具有里程碑式的意义,自此 Flink CDC 从捕获...
Flink CDC 社区发展迅速,在开源的三年时间里,社区已经吸引了 111 位贡献者,培养了 8 位 Maintainer,社区钉钉用户群超过 9800 人。 在社区用户与开发者的共同努力下,Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的 3.0 版本 ,3.0 版本的发布对 Flink CDC 而言具有里程碑式的意义,自此 Flink CDC 从捕...
为了方便大家交流讨论,我们为国内用户建立了钉钉群,这个群从2021年7月 Flink Meet UP 上倍创建以来,人数从4个人增长到4700,可见 Flink CDC 社区发展潜力,同时我们也欢迎更多感兴趣的同学加入社区做更多贡献。 -- 05/Q&A环节 Q1:全量数据同步阶段对数据库是否有压力? A1:全量阶段压力主要是查询压力,Flink CDC 的...
Flink CDC 社区发展迅速，在开源的三年时间里，社区已经吸引了 111 位贡献者，培养了 8 位 Maintainer，社区钉钉用户群超过 9800 人。在社区用户与开发者的共同努力下，Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的 3.0 版本 ，3.0 版本的发布对 Flink CDC 而言具有里程碑式的意义，自此 Flink CD...
Flink CDC 社区将会继续做好开源社区建设，在未来规划中，主要有三个方向：做深 CDC 技术如抽象复用 mysql-cdc 实现，让 Oracle, MongoDB 等也能快速支持无锁读取、并发读取等特性。做广数据库生态我们会支持更丰富的数据库 CDC 数据源，如 TiDB, DB2, MS SqlServer等。做好数据集成场景更好地集成实时数仓、...
一、Flink CDC 概述 Flink CDC 是基于数据库日志 CDC(Change Data Capture)技术的实时数据集成框架,支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。Flink CDC 社区发展迅速,在开源的三年...
整体来说,Flink CDC有两个最为核心的设计; 第一个是增量快照框架。这是我在Flink CDC 2.0的时候提出的一个增量快照算法,后面演变成增量快照框架。左边的这些数据源是现在Flink CDC社区已经支持或者已经接入的增量快照框架。增量快照框架体现的是什么能力呢?在读取数据一张表到全量数据的时候可以做并行读取,这张表即...
2020 年 7 月,Flink CDC 社区正式发起; 2021 年 5 月,发布了 1.5 版本,可以支持 MySQL 和 Postgres; 2021 年 8 月,发布了 2.0 版本,可以支持 MySQL CDC 实现增量快照算法; 2022 年 11 月,发布了 2.3 版本,提供了增量快照框架; 2023 年 6 月,发布 2.4 版本,实现主流数据源持续扩展,增量快照覆盖主流连...
1、Flink CDC 新仓库,新流程 2、Flink CDC 新定位,新玩法 3、Flink CDC 捐赠契机 4、Flink CDC 未来规划 在2023年12月举行的 Flink Forward Asia 大会上,阿里巴巴正式宣布将 Flink CDC项目捐赠给Apache基金会,作为 Apache Flink 的官方子项目。在接下来的三个月中,阿里巴巴与 Flink CDC 社区的开发者们共同完成...
社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目,与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及SLA存在差异: 在使用时,如果您遇到配置失败、作业失败或数据丢失等问题,需要到开源社区寻找对应问题的解决方案,阿里云实时计算Flink团队对使用社区版CDC连接器问题不提供技术支持服务。