开源数据平台的设计思路是通过 Flink SQL Batch 以及 Doris SQL 的能力实现一个离线任务的开发;使用 DolphinScheduler 进行离线工作流编排和调度;通过 Flink CDC 和 Flink SQL 实现流处理能力,进行实时任务的开发;选择 Doris 作为实时数据仓库来写入数据并进行 OLAP 查询;通过 Dinky 来提供一个完整的任务开发运维的平台...
首先是 Doris 数据控制台,Dinky 提供了数据源注册和执行 SQL 的能力,可以很便捷地获取 Doris 的元数据信息,如图在描述选项卡中可以查看 Doris 表和字段的元数据信息,在数据查询选项卡可以快速自助查询 Doris 表中的数据,SQL 生成选项卡则可以一键生成 Flink CREATE TABLE 语句及其它 SQL 语句等。最后的控制台则可...
首先是 Doris 数据控制台,Dinky 提供了数据源注册和执行 SQL 的能力,可以很便捷地获取 Doris 的元数据信息,如图在描述选项卡中可以查看 Doris 表和字段的元数据信息,在数据查询选项卡可以快速自助查询 Doris 表中的数据,SQL 生成选项卡则可以一键生成 Flink CREATE TABLE 语句及其它 SQL 语句等。最后的控制台则可...
Doris 暂时不支持自动创建数据库,需要先创建写入表对应的数据库。 进入Doris Web UI。 http://localhost:8030/默认的用户名为 root,默认密码为空。 通过Web UI 创建 app_db 数据库 sql 复制代码 AI检测代码解析 create database app_db; 1. image.png 下载CDC相关依赖 flink-cdc-3.1.0-bin.tar.gzMySQL pi...
使用Dinky 可视化构建 Apache Doris 数据开发同步任务 原文链接: https://mp.weixin.qq.com/s/Ld0Tf7jCFm5k-X_Lm3XeeA
这次,咱把demo改成,用Flink 读取Kafka数据,然后再把数据写入到Doris表中,看要实现这个流程,用Dinky 是否顺利(我从之前 IEDA 的 Flink 项目中 copy 过来的)。 于是,我写了个 test02: 一跑,就报错了,只不过,这个错误是意料之中的: 从错误来看,其实就是缺包。
数据源管理是 Dinky 管理系统中重要的功能之一,主要用于管理数据源,包括数据源的创建、编辑、删除、查看元数据、可支持自动构建FlinkDDL等。 目前支持的数据源类型包括:MySQL、Oracle、PostgreSQL、SQLServer、Phoenix、ClickHouse、Doris、StartRocks、Presto、Hive。
对于SQL作业开发,Dinky支持ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、Presto、SqlServer、StarRocks等。实时在线调试预览Table、ChangeLog、统计图和UDF也是Dinky的特色功能之一。Dinky还提供Flink Catalog、数据源元数据在线查询及管理功能。在实时任务运维方面,Dinky支持上线下线、作业信息、集群信息、作业...
支持易扩展的 SQL 作业提交方式:ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等 支持实时调试预览 Table 和 ChangeLog 数据及图形展示 支持语法逻辑检查、作业执行计划、字段级血缘分析等 支持Flink 元数据、数据源元数据查询及管理
Dinky 定义了 CDCSOURCE 整库同步的语法,该语法和 CDAS 作用相似,可以直接自动构建一个整库入仓入湖的实时任务,并且对 source 进行了合并,不会产生额外的 Mysql 及网络压力,支持对任意 sink 的同步,如 kafka、doris、hudi、jdbc 等等 最近,我接到一个需求。原本其他同事采用 FlinkCDC 编写的脚本,运行一段时间之...