在GitHub 上,Flink CDC 项目放在 Flink 商业公司 ververica 的 Flink CDC connector 项目下,目前有2.3k star、700多Fork,活跃Issue 300+,已经解决掉400多Issue。 GitHub star 数量在 2021 年达到了 300% 增长。 为了方便大家交流讨论,我们为国内用户建立了钉钉群,这个群从2021年7月 Flink Meet UP 上倍创建以来...
孙家宝老师是 XTransfer 基础架构部的资深 Java 开发工程师,负责 XTransfer 基础设施和大数据平台建设,他长期活跃在 Flink CDC 社区,作为核心贡献者在社区贡献了包括 MongoDB CDC Connector 在内的多个 PR,同时在社区 issue 列表和 Flink CDC 社区群非常积极,帮助社区开发者和用户解答了非常多的问题,为社区发展做出...
Flink CDC 社区发展迅速，在开源的三年时间里，社区已经吸引了 111 位贡献者，培养了 8 位 Maintainer，社区钉钉用户群超过 9800 人。在社区用户与开发者的共同努力下，Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的 3.0 版本 ，3.0 版本的发布对 Flink CDC 而言具有里程碑式的意义，自此 Flink CD...
Flink CDC 社区发展迅速,在开源的三年时间里,社区已经吸引了 111 位贡献者,培养了 8 位 Maintainer,社区钉钉用户群超过 9800 人。 在社区用户与开发者的共同努力下,Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的3.0 版本,3.0 版本的发布对 Flink CDC 而言具有里程碑式的意义,自此 Flink CDC 从捕获...
钉钉群 您可以扫描下方二维码进入实时计算Flink版交流群。在实时计算Flink版交流群中，您可以和其他用户...
孙家宝老师是 XTransfer 基础架构部的资深 Java 开发工程师,负责 XTransfer 基础设施和大数据平台建设,他长期活跃在 Flink CDC 社区,作为核心贡献者在社区贡献了包括 MongoDB CDC Connector 在内的多个 PR,同时在社区 issue 列表和 Flink CDC 社区群非常积极,帮助社区开发者和用户解答了非常多的问题,为社区发展做出...
CDC 的实现原理 通常来讲,CDC 分为主动查询和事件接收两种技术实现模式。 对于主动查询而言,用户通常会在数据源表的某个字段中,保存上次更新的时间戳或版本号等信息,然后下游通过不断的查询和与上次的记录做对比,来确定数据是否有变动,是否需要同步。这种方式优点是不涉及数据库底层特性,实现比较通用;缺点是要对业务...
三、基于 Flink CDC 的海量数据的实时同步和转换 Flink CDC 的方案能够给海量数据的实时同步和转换带来什么改善? Flink CDC 2.0 在 MySQL CDC 上实现了增量快照读取算法,在最新的 2.2 版本里 Flink CDC 社区 将增量快照算法抽象成框架,使得其他数据源也能复用增量快照算法。
1. Flink CDC 痛点 MySQL CDC 是 Flink CDC 中使用最多也是最重要的 Connector,本文下述章节描述 Flink CDC Connector 均为 MySQL CDC Connector。 随着Flink CDC 项目的发展,得到了很多用户在社区的反馈,主要归纳为三个: 全量+ 增量读取的过程需要保证所有数据的一致性,因此需要通过加锁保证,但是加锁在数据库层...
整体来说,Flink CDC有两个最为核心的设计; 第一个是增量快照框架。这是我在Flink CDC 2.0的时候提出的一个增量快照算法,后面演变成增量快照框架。左边的这些数据源是现在Flink CDC社区已经支持或者已经接入的增量快照框架。增量快照框架体现的是什么能力呢?在读取数据一张表到全量数据的时候可以做并行读取,这张表即...