Dinky 是一款图形化 FlinkSQL 开发工具,简化开发调试。本文介绍如何通过 SavePoint 恢复 FlinkSQL 作业,包括环境配置、作业编写、SavePoint 策略设置及作业重启,实现数据从 Kafka 到 MySQL 的高效流转与恢复。
Dinky是一个开箱即用、易扩展的实时计算平台,以Apache Flink为基础,连接OLAP和数据湖等众多框架。它致力于流批一体和湖仓一体的探索与实践,使得使用标准SQL开发流式应用变得简单,免去代码开发。Dinky提供沉浸式Flink SQL数据开发环境,支持自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘...
web.tmpdir: /home/soft/flink_/flink-1.14.6/tmp akka.ask.timeout: 600s ### 将flink-sql-connector-kafka_2.12-1.14.6.jar、flink-sql-connector-elasticsearch7_2.12-1.14.6.jar、 ### flink-sql-connector-mysql-cdc-2.3.0.jar、放到flink-1.14.6/lib/ 下 ### 启动 ./ 启动成功后,即可访问Fli...
开源数据平台的设计思路是通过 Flink SQL Batch 以及 Doris SQL 的能力实现一个离线任务的开发;使用 DolphinScheduler 进行离线工作流编排和调度;通过 Flink CDC 和 Flink SQL 实现流处理能力,进行实时任务的开发;选择 Doris 作为实时数据仓库来写入数据并进行 OLAP 查询;通过 Dinky 来提供一个完整的任务开发运维的平台...
Dinky 提供 FlinkSQL 在通过 智能停止 作业时,自动触发savepoint。也可以在运维中心手动触发,触发成功后会保存结果并记录在这里 版本历史 在创建作业后,点击发布会自动创建一个历史版本,用于记录历史并回退 单击历史版本即可查看当前版本与所选版本的代码差异 可点击此处回滚版本 运行作业 单击左上角执行按钮即可...
支持全面的多版本的 FlinkSQL 作业提交方式:Local、Standalone、Yarn Session、Yarn Per-Job、Kubernetes Session、Kubernetes Application 支持Apache Flink 所有的 Connector、UDF、CDC等 支持FlinkSQL 语法增强:兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多...
Dinky 是一个基于 Apache Flink 的实时数据开发平台,实现了敏捷的数据开发、部署和运维。 展开 收起 flinkcdc flinksql flink OLAP flink-platform 暂无标签 http://www.dinky.org.cn/ README Apache-2.0 使用Apache-2.0 开源许可协议 1.2K Stars 141 Watching 551 Forks 保存更改 取消 发行...
docker-compose可快速帮你搭建起来dinky与flink集群环境, 下载dinky源码后,在deploy/docker下面即可找到docker-compose.yml和.env文件, cd deploy/docker/ ls -al -rwxrwxrwx 1 root root 765 May 29 11:29 docker-compose.dev.yml -rwxrwxrwx 1 root root 699 May 29 11:29 docker-compose.yml ...
Dinky是一个基于Apache Flink的数据集成工具,它可以帮助你将数据从源系统移动到目标系统。然而,Dinky本身并不直接支持Flink SQL Sink,因为它主要关注的是数据的抽取和转换,而不是数据的写入。 如果你想要使用Dinky将数据写入到Flink SQL中,你可能需要使用Dinky的"toFlink"功能,它将数据转换为Flink DataStream,然后你可...
docker/dinky-mysql-server:0.7.2 # 启动 dinky 镜像服务 docker run --restart=always -p 8888:8888 -p 8081:8081 -e MYSQL_ADDR=dinky-mysql:3306 --name dinky --link dinky-mysql:dinky-mysql dinkydocker/dinky-standalone-server:0.7.2-flink14 #注意:如果你有 mysql 服务,请执行对应版本的 SQL ...