检查YARN集群的权限设置。确保Flink任务有足够的权限访问HDFS上的文件。 检查网络连接。确保Flink任务所在的节点可以正常访问HDFS集群。 如果问题仍然存在,可以尝试将所需的库文件打包成一个压缩包(如zip或tar),然后将压缩包上传到HDFS上的一个公共目录,然后在Flink任务中通过yarn.provided.lib.dirs参数指定该公共目录。...
2).ApplicationSubmissionContext appContext = yarnApplication.getApplicationSubmissionContext();//Yarn应用新建应用提交上下文信息 3).获取yarn.provided.lib.dirs、yarn.provided.usrlib.dir参数指定的文件。 4).设置应用提交上下文信息,为applicationId设置高可用信息 5).收集用户jar文件,用户类路径信息。 6).在收集完...
和yarn.provided.lib.dirs有相似的地方 相同点:将flink安装包下的 /…/lib 目录下的所有包上传到指定的hdfs地址 不同点:yarn.provided.usrlib.dir 目录必须以usrlib命名:-Dyarn.provided.usrlib.dir=“hdfs://ip:9000/usrlib/” yarn.provided.lib.dirs中的jar会被每个集群节点缓存,下次启动的时候优先从本地...
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://hadoop102:8020/flink-dist" -c com.zhm.wordcount.Demo03_UnBoundedStreamProcess hdfs://hadoop102:8020/flink-jars/FlinkDemo-1.0-SNAPSHOT.jar 这种方式上,Flink本身的依赖和用户jar可以预先上传到HDFS,而不需要单独发送到集...
yarn.properties-file.location (无) 字符串 当将Flink作业提交到YARN时,JobManager的主机和可用处理插槽数会写入一个属性文件中,以便Flink客户端能够获取这些详细信息。此配置参数允许更改该文件的默认位置(例如,对于在用户之间共享Flink安装的环境)。 yarn.provided.lib.dirs (无) List 提供的库目录的分号分隔列表。
ApplicationSubmissionContext appContext = yarnApplication.getApplicationSubmissionContext(); final List<Path> providedLibDirs = getRemoteSharedPaths(configuration); // 上传文件的工具类 final YarnApplicationFileUploader fileUploader = YarnApplicationFileUploader.from( ...
-Dyarn.provided.lib.dirs="hdfs://myhdfs/my-remote-flink-dist/lib;hdfs://myhdfs/my-remote-flink-dist/plugins" \examples/streaming/my-application.jar my-application.jar 也可以提前上传 hdfs: ./bin/flink run-application -t yarn-application \ ...
其中yarn.provided.lib.dirs为Flink作业所需依赖包的地址。 注意:从Flink1.12开始使用-t参数替代-m参数。使用-t之后原先的ynm,yqu等参数不在生效。需要使用-D指定。 -Dyarn.application.name=指定app name -Dyarn.application.queue=指定提交的队列 -Dyarn.application.node-label=指定使用的标签资源...
/usr/flink/flink-1.18.0/bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://192.168.58.130:8020/flink-dist" -c cn.coreqi.WordCountStreamUnboundedDemo hdfs://192.168.58.130:8020/flink-jars/FlinkTutorial-1.0-SNAPSHOT.jar ...
use follow command deploy flink job to yarn failed {code:java} ./bin/flink run -m yarn-cluster -d -ynm flink-1.12-test -ytm 3g -yjm 3g -yD yarn.provided.lib.dirs=hdfs:///flink/flink-1.12-SNAPSHOT/lib ./examples/streaming/StateMachineExample.jar ...