1.无法使用hdfs文件系统作为输入和输出(flink无法使用hdfs) 原因:我使用的是flink1.13.3版本比较新,从1.8.X版本之后就没有直接支持和hadoop的连接了。 如之前的flink安装包都是这样的:(带有hadoop) 需要我们下载相应的uber和cli: 如题主flink1.13.3,scala2.11下载的是: flink-shaded-hadoop-3-uber-3.1.1.7.2.1....
从Flink 1.10开始,flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。 如果想建立flink-shaded对供应商特定的Hadoop版本,您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。 完成此步骤后,将flink-shaded-hadoop-2-uber.jar放入Flink下的/lib目录中。 编译环境 Flink1.10 Hadoop2.7.7 1. 下...
例如:flink-1.7.2-bin-hadoop24-scala_2.11.tgz,在Flink1.8版本后不再支持基于不同Hadoop版本的编译安装包,Flink与Hadoop进行整合时,需要在官网中下载对应的Hadoop版本的"flink-shaded-hadoop-2-uber-x.x.x-x.x.jar"jar包,然后后上传到提交Flink任务的客户端对应的$FLINK_HOME/lib中完成Flink与Hadoop的整合。
这是为了集成hadoop,而shaded依赖已经解决了相关的jar包冲突等问题,该jar包属于第三方jar包,官网有链接,但是并没有hadoop 3.X的,这个直接在maven中央仓库搜索倒是可以搜得到。 上传jar 包到lib目录下 分发lib 目录到hadoop002和hadoop003 6)重新启动flink集群 7)重新提交单词计数的任务,使用自定义参数 查看flink we...
从Flink 1.11开始,flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。 如果想建立flink-shaded对供应商特定的Hadoop版本,您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。 运行以下命令以flink-shaded针对所需的Hadoop版本(例如对于version 2.6.5-custom)进行构建和安装: ...
编译中遇到 flink-shaded-hadoop-2 找不到的问题,其实查看 Maven 仓库会发现,根本原因是 CDH 的 flink-shaded-hadoop-2 的 jar 包在 Maven 中央仓库是没有对应的编译版本,所以需要先对 Flink 依赖的 flink-shaded-hadoop-2 进行打包,再进行编译。
Flink的安装和部署主要分为本地(单机)模式和集群模式,其中本地模式只需直接解压就可以使用,不用修改任何参数,一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等,Flink可以借助以上资源管理器
方式2:直接将Hadoop classes依赖打包放置到flink/lib文件夹下 官方有打好的几个hadoop版本对应的包 Pre-bundled Hadoop 2.4.1:https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.4.1-10.0/flink-shaded-hadoop-2-uber-2.4.1-10.0.jar ...
|- flink-dist_2.11-1.13.3.jar |- flink-json-1.13.3.jar |- flink-shaded-hadoop-3-uber-3.1.1.7.2.1.0-327-9.0.jar |- flink-shaded-zookeeper-3.4.14.jar |- flink-table-blink_2.11-1.13.3.jar |- flink-table_2.11-1.13.3.jar
而我们官网给出的示例是针对在线上集群环境下的依赖,本身就包含了flink-shaded-hadoop-2-uber-2.7.5-10.0.jar这种连接hadoop的依赖jar,所以就不需要给出啦!但我们本地环境当然需要我们自己配置了。 <?xml version="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="...