该产品由etl-engine引擎和etl-designer云端设计器及etl-crontab调度组成。 etl-engine引擎负责解析ETL配置文件并执行ETL任务; etl-designer云端设计器通过拖拉拽的方式生成etl-engine引擎可识别的ETL任务配置文件; etl-crontab调度设计器负责按时间周期执行指定的ETL任务,及查询ETL任务执行日志功能。 架构图 etl-designer设...
etl-engine 实现流式计算 etl-engine 支持通过自身提供的 ”kafka消费节点“进行消息消费,并在消费数据流(消息流)的同时调用自身提供的“融合查询API”,实现将多种数据源的维表数据读取到内存中,然后将消息流与多个维表数据进行各种关联查询,最后输出融合查询结果集到目标源,常用在将多个维表数据与实时消息流关联后...
etl-engine引擎中的融合查询提供将多源数据在内存中重组关联查询并输出查询结果的能力。 融合查询语法遵循ANSI SQL标准,与常规MySQL查询语法很相似。 支持对多种类别数据库之间读取的数据进行融合查询。 支持消息流数据传输过程中动态产生的数据与多种类型数据库之间的流计算查询。 融合查询语法遵循ANSI SQL标准。 样本 ...
etl-crontab调度集成了etl-designer云端设计器,只需运行一个执行文件即获得两个产品功能,支持HTTP/HTTPS协议访问,为方便用户产品集成,该功能可根据需要独立分发也可集成分发。 解析Go脚本 etl-engine中任意一个输出节点都可以嵌入go语言脚本并进行解析性运行,实现对输出数据流的格式转换功能。 动态配置 为满足业务场景需...
etl-engine 实现流式计算 etl-engine 支持通过自身提供的 ”kafka消费节点“进行消息消费,并在消费数据流(消息流)的同时调用自身提供的“融合查询API”,实现将多种数据源的维表数据读取到内存中,然后将消息流与多个维表数据进行各种关联查询,最后输出融合查询结果集到目标源,常用在将多个维表数据与实时消息流关联后...
etl-engine是基于日志方式进行捕获数据的变化. 技术实现 etl-engine分别对MySQL和PostgreSQL实现了CDC监控能力。 对MySQL基于binlog日志进行监控; 对PostgreSQL基于Wal日志进行监控 应用场景 主从复制 一主一从或一主多从,实时同步及备份,读写分离 数据分发
非入侵式的备份方法是基于日志的备份,etl-engine是基于日志方式进行捕获数据的变化. 技术实现 etl-engine分别对MySQL和PostgreSQL实现了CDC监控能力。对MySQL基于binlog日志进行监控;对PostgreSQL基于Wal日志进行监控 应用场景 主从复制 一主一从或一主多从,实时同步及备份,读写分离 数据分发同一份数据分发到不同目标源,...
etl-engine引擎中的融合查询提供将多源数据在内存中重组关联查询并输出查询结果的能力。融合查询语法遵循ANSI SQL标准,与常规MySQL查询语法很相似。 支持对多种类别数据库之间读取的数据进行融合查询。 支持消息流数据传输过程中动态产生的数据与多种类型数据库之间的流计算查询。 融合查询语法遵循ANSI SQL标准。 样本 SEL...
etl-engine CDC模式 实现 postgre 实时增量同步功能 可将postgre数据库变量实时同步到postgre,oracle,mysql 等数据库。
etl-engine是基于日志方式进行捕获数据的变化. 技术实现 etl-engine分别对MySQL和PostgreSQL实现了CDC监控能力。 对MySQL基于binlog日志进行监控; 对PostgreSQL基于Wal日志进行监控 应用场景 主从复制 一主一从或一主多从,实时同步及备份,读写分离 数据分发 同一份数据分发到不同目标源,供多个应用系统使用 数据接收过程...