kafkaProducer.flush()//设置100ms一条数据Thread.sleep(100) } kafkaProducer.close() } } 2、创建消费者来消费kafka中的数据,并将需求的结果保存到MySQL packagecom.shujia.flink.dximportjava.sql.{Connection,DriverManager,PreparedStatement}importjava.util.Propertiesimportorg.apache.flink.api.common.functions....
为了更好管理数据,出现数据湖DataLake:用来存储大量的原始数据。 当下最流行数据湖框架Apache Hudi,使用HDFS存储数据,集成Spark、Flink、Hive等分析数据,逐步在大中型公司中使用,构建湖仓一体化架构。 为了让大家更好学习使用Hudi,基于0.9.0版本,推出本套课程,从数据湖概念,到集成Spark和Flink,最后整合实际需求案例,...