起因:使用flink的时候难免和redis打交道,相信大家都使用过flink-connector-redis来处理,但是当我想要使用RedisSink写入集群时,发现居然不支持使用密码,于是有了这篇笔记。 事情的经过是这样的,我准备用Flink往Redis写入数据,我照常引入flink-connector-redis包 <dependency><groupId>org.a
flink 链接redis flink-connector-redis 起因:使用flink的时候难免和redis打交道,相信大家都使用过flink-connector-redis来处理,但是当我想要使用RedisSink写入集群时,发现居然不支持使用密码,于是有了这篇笔记。 事情的经过是这样的,我准备用Flink往Redis写入数据,我照常引入flink-connector-redis包 <dependency> <groupI...
RedisSink类继承了RichSinkFunction类,扩展了其中的open、invoke、close方法。open方法在sink打开时执行一次,在RedisSink中,其创建了一个RedisCommandsContainer对象,该对象其实是封装了对redis的操作,包含连接redis以及不同数据类型的写入操作;close方法中执行了RedisCommandsContainer对象的close方法,其实时关闭redis连接;每当...
open():用于初始化Redis连接,包括集群模式、哨兵模式和单节点模式。该方法创建了一个redisCommandsContainer接口,里面包含可用的Redis命令。 @Override public void open(Configuration parameters) throws Exception { try { this.redisCommandsContainer = RedisCommandsContainerBuilder.build(this.flinkJedisConfigBase); this...
Flink Stream ApiApache Bahir已经实现了redis对应的连接器 Flink streaming connector for Redismaven仓库如下 <dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-co…
Flink Redis Connector A redis connector for apache flink. Building from Source git clone https://github.com/Tan-JiaLiang/flink-connector-redis.git cd flink-connector-redis-v2 mvn clean package -DskipTests Example CREATETABLEsource_table( idINT, name STRING ) WITH ('connector'='datagen','fields...
因bahir使用的flink接口版本较老,所以改动较大,开发过程中参考了腾讯云与阿里云两家产商的流计算产品,取两家之长,并增加了更丰富的功能。 支持功能对应redis的操作命令有: | 插入 | 维表查询 | |:--- |:--- | | set| get | | hset| hget | ...
近期,我们基于Flink SQL的实时数仓逐渐过渡到DWS层,接到一些对于最终计算指标需要入HBase和Redis等存储引擎以便于下游的各类数据服务可以获取。所以需要一个Redis Connector。 于是,基于Apache Bahir的Redis Connector我做了一些定制化开发,最终使得其支持Flink SQL将带有撤回语义的Upsert流入Redis。但是,我始终对于这个Redis...
项目依赖Lettuce(6.2.1)及netty-transport-native-epoll(4.1.82.Final),如flink环境有这两个包,则使用flink-connector-redis-1.4.3.jar, 否则使用flink-connector-redis-1.4.3-jar-with-dependencies.jar。 <dependency> <groupId>io.github.jeff-zou</groupId> <artifactId>flink-connector-redis</artifactId>...
Flink SQL之所以简洁易用而功能强大,其中一个重要因素就是其拥有丰富的Connector(连接器)组件。Connector是Flink与外部系统交互的载体,并分为负责读取的Source和负责写入的Sink两大类。不过,Flink SQL内置的Connector有可能无法cover实际业务中的种种需求,需要我们自行定制。好在社区已经提供了一套标准化、易于扩展的体系...