flink-table-common:这个包中主要是包含Flink Planner和Blink Planner一些共用的代码。 flink-table-api-java:这部分是用户编程使用的API,包含了大部分的API。 flink-table-api-scala:这里只是非常薄的一层,仅和Table API的 Expression 和DSL相关。 两个Planner:flink-table-planner和flink-table-planner-blink。 两...
groupId>org.apache.flink</groupId><artifactId>flink-table-planner-blink_2.12</artifactId><version>1.10.1</version></dependency></dependencies> 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. ...
两个Planner:flink-table-planner 和 flink-table-planner-blink。 两个Bridge:flink-table-api-scala-bridge 和 flink-table-api-java-bridge,从图中可以看出,Flink Planner 和 Blink Planner 都会依赖于具体的 JAVA API,也会依赖于具体的 Bridge,通过 Bridge 可以将 API 操作相应的转化为 Scala 的 DataStream、D...
StreamTableEnvironment tableEnv = FlinkEnv.getTableEnv(); //TODO 2 数据来源 tableEnv.executeSql("CREATE TABLE tb1 (database STRING, ts BIGINT, data STRING, type STRING)" + KafkaTool.getInputTable("topic01")); //TODO 3 数据终点 tableEnv.executeSql("CREATE TABLE tb2 (database STRING, ...
三、示例:通过Table API和SQL创建表 本文介绍了通过Table API和SQl创建表的基本用法,并以具体的示例展示其使用。同时在使用Table API和SQL 创建表之前给出了通过Table API操作的基本程序结构示例。 本文除了maven依赖外,没有其他依赖。 本文需要有kafka的运行环境。
2. 3. 4. Blink Stream 既可以使用 UnifyTableEnvironment,也可以使用 StreamTableEnvironment,与 Batch 模式基本类似,只是需要将 inBatchMode 换成 inStreamingMode。 示例3:Flink Batch ExecutionEnvironment execEnv = ... BatchTableEnvironment tEnv = BatchTableEnvironment.create(execEnv); ...
.useBlinkPlanner() .inStreamingMode() .build(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, Settings); tableEnv.getConfig().setSqlDialect(SqlDialect.DEFAULT); // 数据源表 String sourceDDL = "CREATE TABLE mysql_binlog (\n" + ...
五.Flink 1.10 版本 [重要版本 : Blink 整合完成] 5.1. 内存管理及配置优化 5.2. 统一的作业提交逻辑 5.3. 原生 Kubernetes 集成(Beta) 5.4. Table API/SQL: 生产可用的 Hive 集成 5.5. 其他 Table API/SQL 优化 5.6. PyFlink: 支持原生用户自定义函数(UDF) ...
Flink 计算框架的核心是Flink Runtime 执行引擎,也是一个分布式系统,可运行在所有常见的集群环境中,它将大型计算任务分成许多小的部分每个机器执行一部分,以内存执行速度和任意规模来执行计算。 而Blink 最初是阿里巴巴内部的 Flink 版本代号,是实时计算部门基于内部应用场景对 Flink 做了大量的优化和稳定性改造后的...
Flink分为架构分为三层,由上往下依次是API&Libraries层、Runtime核心层以及物理部署层 API&Libraries层 作为分布式数据处理框架,Flink同时提供了支撑计算和批计算的接口,同时在此基础上抽象出不同的应用类型的组件库,如基于流处理的CEP(复杂事件处理库)、SQL&Table库和基于批处理的FlinkML(机器学习库)等、Gelly(...