开源数据平台的设计思路是通过 Flink SQL Batch 以及 Doris SQL 的能力实现一个离线任务的开发;使用 DolphinScheduler 进行离线工作流编排和调度;通过 Flink CDC 和 Flink SQL 实现流处理能力,进行实时任务的开发;选择 Doris 作为实时数据仓库来写入数据并进行 OLAP 查询;通过 Dinky 来提供一个完整的任务开发运维的平台...
Dinky 配置教程:使用EXECUTE PIPELINE WITHYAML同步MySQL到Doris 提交 FlinkCDC 3.0 的 Pipeline 任务 该功能是为了在 Dinky 中直接提交 FlinkCDC 3.0 的 Pipeline 任务,并支持所有运行模式及 Dinky 的相关特性。 可以理解为把 FlinkCDC Pipeline 任务转换为 Operations,并可延用 Dinky 的能力。 EXECUTE PIPELINE WITHY...
上述依赖下载完成后,把flink-cdc-pipeline-connector-doris-3.1.0.jar与flink-cdc-pipeline-connector-mysql-3.1.0.jar放到dinky的依赖目录下(dinky/extends 或者 docker部署的customJar下面) 解决CDC依赖冲突问题 如果直接在dinky使用flink-cdc-dist-3.1.0.jar会有java.lang.NoSuchMethodError: org.apache.calcite.tools...
首先是 Doris 数据控制台,Dinky 提供了数据源注册和执行 SQL 的能力,可以很便捷地获取 Doris 的元数据信息,如图在描述选项卡中可以查看 Doris 表和字段的元数据信息,在数据查询选项卡可以快速自助查询 Doris 表中的数据,SQL 生成选项卡则可以一键生成 Flink CREATE TABLE 语句及其它 SQL 语句等。最后的控制台则可...
这次虽然解决了Dinky的 yarn 集群配置问题,也验证了通过 Dinky 提交 Flink SQL 任务以 yarn session方式运行的可行性。 但是,在面对一个依赖稍微多一点的流式任务(Kafka + flink + Doris)时,在解决其 jar 包依赖问题时,就出现了一些暂时让人不解,或者摸不着头脑的问题。
Doris + Flink + DophinScheduler + Dinky 人间最真意 编辑于 2023年02月10日 22:08 doris+ flink + dophinscheduler + dinky 分享至 投诉或建议 2 0 1
此文章前提:Doris、海豚调度、dinky已经按照官网单机部署手册部署成功启动。计划采用Yarn Application方式 提交flink任务,所以先保证yarn环境安装可用。 一、Hadoop、Yarn环境 1.上传hadoop3.2.4安装包,解压后删除,如下图 2.增加hadoop环境变量 vi /etc/profile ...
hdfs dfs -put ./dlink-app-1.17-0.7.3-jar-with-dependencies.jar /flink1.17/ 如下图上传成功 6.配置Dinky flink集群 访问Dinky的集群管理界面,新增集群配置 参考上图,结合自己配置的路径进行调整,点击测试按钮,成功完成即可。 7.测试样例 本次测试样例中 source端为MySQL、sink端为Doris ...
数据源管理是 Dinky 管理系统中重要的功能之一,主要用于管理数据源,包括数据源的创建、编辑、删除、查看元数据、可支持自动构建FlinkDDL等。 目前支持的数据源类型包括:MySQL、Oracle、PostgreSQL、SQLServer、Phoenix、ClickHouse、Doris、StartRocks、Presto、Hive。
1 / 52