需要说明的是,数据不需要做特殊加工(比如不需要去重、不需要关联、数据量没那么大)的时候可以跳过flink阶段,直接落入druid中,因为druid本身就带有多种预聚合功能。 数据校验 本需求可能比较简单,但是在实际需求可能复杂的多,为了确保数据的正确性,需要把明细数据备份下来,方便数据校验,一般备份的数据不需要实时性的时候...
})//1、过时方法val savePath = "G:\\Java\\Flink\\guigu\\flink\\src\\main\\resources\\sensorToFile"dataStream.writeAsCsv(savePath)//2、分布式方法val saveDistributePath = "G:\\Java\\Flink\\guigu\\flink\\src\\main\\resources\\saveDistributePath"dataStream.addSink(StreamingFileSink.forRow...
这是一个汇总帖,是对个人工作和学习中用到的Kafka ElasticSearch HBase Flink四个组件的总结。 重要的事情先说: 1. 腊八粥Kafka+腊八粥ElasticSearch+腊八粥HBase+腊八粥Flink四个专栏的内容大部分是源码类分析的文章,如果不感兴趣就可以忽略本文; 2. Kafka+ElasticSearch+HBase+Flink三个组件源码总行数超过400万行...
Spark和hive结合的比较好,spark和Flink都是分布式流数据流引擎,能对集群资源进行分配使用,确保大计算快速准确完成 六.Hbase HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBASE 技术可在廉价 PC Server 上搭建起大规模结构化存储集群. 为什么有HDFS后还有hbase和ES? 其实HDFS是文件系统,能...
Flink的API做了4层的封装,上两层TableAPI、SQL语法相对简单便于编写,面对小需求可以快速上手解决,本文参考官网及部分线上教程编写source端、sink端代码,分别读取socket、kafka及文本作为source,并将流数据输出写入Kafka、ES及MySQL,方便后续查看使用。 二、代码部分 ...
一、背景说明 Flink的API做了4层的封装,上两层TableAPI、SQL语法相对简单便于编写,面对小需求可以快速上手解决,本文参考官网及部分线上教程编写source端、sink端代码,分别读取socket、kafka及文本作为source,并将流数据输出写入Kafka、ES及MySQL,方便后
本文基于Flink 1.8 和ES 6.2.4 总结Flink写入Elasticsearch的问题点。 在使用ElasticsearchSink时,需要注意以下几点: ElasticsearchSink内部使用RestHighLevelClient(ES>=6.x)或TransportClient(ES<6.x)与Elasticsearch集群进行通信。 ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批...
1、首先要设置Flink的执行环境 // 创建Flink执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 1. 2. 2、设置Kafka相关参数,连接对应的服务器和端口号,读取名为Shakespeare的Topic中的数据源,将数据源命名为stream: ...
kafka --> flink --> es -->kibana数据采集存储到kafka，通过flink消费kafka数据，实时计算，结果存储到es，最后通过kibana展现。版本信息flink 1.12.1、kafka_2.13-2.7.0、elasticsearch 7.10.1、kibana 7.10.1 3 数据结构 电商用户行为分析共涉及3个表，商品类目信息表、商品类目信息表、用户行为信息表，...
可以看到flink和es依赖关系如下: QQ截图20190525170902.png 代码: import java.util.{Date, Properties} import com.alibaba.fastjson.JSON import org.apache.flink.streaming.connectors.kafka._ import org.apache.flink.streaming.util.serialization.SimpleStringSchema ...