从Flink 1.11开始,flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。 如果想建立flink-shaded对供应商特定的Hadoop版本,您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。 运行以下命令以flink-shaded针对所需的Hadoop版本(例如对于version 2.6.5-custom)进行构建和安装: mvn clean install -...
从Flink 1.10开始,flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。 如果想建立flink-shaded对供应商特定的Hadoop版本,您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。 完成此步骤后,将flink-shaded-hadoop-2-uber.jar放入Flink下的/lib目录中。 编译环境 Flink1.10 Hadoop2.7.7 1. 下...
从Flink 1.11开始,flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。 如果想建立flink-shaded对供应商特定的Hadoop版本,您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。 这是已经编译好的flink-shaded-hadoop-2-uber-2.7.2-10.0版本,大家有需要的可以拿去直接使用 flink-shaded-hadoop-2-...
编译中遇到 flink-shaded-hadoop-2 找不到的问题,其实查看 Maven 仓库会发现,根本原因是 CDH 的 flink-shaded-hadoop-2 的 jar 包在 Maven 中央仓库是没有对应的编译版本,所以需要先对 Flink 依赖的 flink-shaded-hadoop-2 进行打包,再进行编译。 解决flink-shaded-hadoop-2 问题 (1). 获取 flink-shaded 源...
编译中遇到 flink-shaded-hadoop-2 找不到的问题,其实查看 Maven 仓库会发现,根本原因是 CDH 的 flink-shaded-hadoop-2 的 jar 包在 Maven 中央仓库是没有对应的编译版本,所以需要先对 Flink 依赖的 flink-shaded-hadoop-2 进行打包,再进行编译。
-Pinclude-hadoop:编译时将 Hadoop二进制包放入Flink的lib中,去掉这个参数对Standalone模式没有影响,如果 Flink on YARN 模式,需要手动将编译完成的 /flink-shaded-hadoop/flink-shaded-hadoop2-uber/target/flink-shaded-hadoop2-uber-3.0.0-1.9.1.jar 拷贝到 $FLINK_HOME/lib/下。
4.1 创建Maven项目 创建maven项目,项目名称:flinkbase 4.2 导入pom依赖 <properties> <flink.version>1.13.1</flink.version> <java.version>1.8</java.version> <scala.binary.version>2.11</scala.binary.version> <hadoop.version>2.7.5</hadoop.version> ...
跳过模块的测试代码的编译。运行flink报异常 flink-shaded-hadoop-2-uber/pom.xml 中的 dependencyManagement 标签中添加如下依赖，重新编译后，将flink-shaded-hadoop-2中flink-shaded-hadoop-2-uber的link-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-9.0.jar 拷贝到flink的lib下面 ...
b: /flink-1.11.1/lib hadoop集成 下载flink-shaded-hadoop-2-uber-${xxx}.jar 到lib 地址https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar 完毕后执行 export HADOOP_CLASSPATH = hadoop classpath ...
方法2:下载对应版本 flink-shaded-hadoop-2-uber,放到flink的lib目录下 问题3: Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (default) on project book-stream: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) ...