对于“run”操作,当前可用的目标是:“remote”、“local”、“kubernetes-session”、“yarn-per-job”、“yarn-session”。 对于“run-application”操作,当前可用的目标是:“kubernetes-application”。 2)yarn-cluster模式的选项: -m,--jobmanager <arg>设置为yarn-cluster以使用 YARN执行模式。 -yid,--yarnap...
protected void runApplication(String[] args) throws Exception { LOG.info("Running 'run-application' command."); //添加常用的命令行操作 final Options commandOptions = CliFrontendParser.getRunCommandOptions(); //根据命令行出入的参数解析命令命令行操作 final CommandLine commandLine = getCommandLine(comm...
在runApplication 方法中,程序进行了命令行对象的组装,程序运行配置的组装,然后进行任务提交,继续跟踪deployer.run(effectiveConfiguration, applicationConfiguration); 发现在run 方法中,获取了一个集群描述器,然后进行了应用部署 由于是采用的yarn application 模式,因此使用 YarnClisterDescriptor,进入到 deployApplicationClus...
application 模式使用bin/flink run-application提交作业;通过-t指定部署环境,目前 application 模式支持部署在 yarn 上(-t yarn-application) 和 k8s 上(-t kubernetes-application);并支持通过-D参数指定通用的 运行配置,比如 jobmanager/taskmanager 内存、checkpoint 时间间隔等。 通过bin/flink run-application -h可...
haml Copy flink run-application \ --target yarn-application \ --detached \ --name my-flink-job...
如果有其他的文件需要共享,则在yarn.ship-files中指定, 以分号隔开, 如-D yarn.ship-files=ext_runtime.jar;app.properties;keystore.jks, 加上后会在/user/hdfs/.flink/application_xx中看到对应的值, 在代码引用的时候使用相对路径 完整参数 详情查看Flink源码 ...
Flink On Yarn客户端提交三种方式 1、方式一、Per-Job 模式 作业提交命令行方式: ./bin/flink run -t yarn-per-job -d -ynm FlinkAppName -Dyarn.application.name=FlinkRetention -c com.dake.FlinkAppName ${JarFileDir}/FlinkStudy.jar xxx
首先,提交作业启动集群(yarn和K8s才支持如下命令,Standalone集群需要直接提交作业到JM上) $ ./bin/flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar protectedvoidrunApplication(String[]args)throwsException{LOG.info("Running 'run-application' command.");finalOptionscommandOpt...
在使用Flink SQL Client以YARN Application模式提交任务时,可以按照以下步骤进行操作:
bin/flink run -t yarn-per-job -c com.bigdata.flink.java.chapter_2.Flink03_WC_UnBoundedStream ./flink-prepare-1.0-SNAPSHOT.jar 3.在yarn的ResourceManager界面查看执行情况 三、Flink on Yarn的3种部署模式 Flink提供了yarn上运行的3种模式,分别为Session-Cluster,Application Mode和Per-Job-Cluster模式...