application 模式使用bin/flink run-application提交作业;通过-t指定部署环境,目前 application 模式支持部署在 yarn 上(-t yarn-application) 和 k8s 上(-t kubernetes-application);并支持通过-D参数指定通用的 运行配置,比如 jobmanager/taskmanager 内存、checkpoint 时间间隔等。 通过bin/flink run-application -h可...
protected void runApplication(String[] args) throws Exception { LOG.info("Running 'run-application' command."); //添加常用的命令行操作 final Options commandOptions = CliFrontendParser.getRunCommandOptions(); //根据命令行出入的参数解析命令命令行操作 final CommandLine commandLine = getCommandLine(comm...
$ ./bin/flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar protectedvoidrunApplication(String[]args)throwsException{LOG.info("Running 'run-application' command.");finalOptionscommandOptions=CliFrontendParser.getRunCommandOptions();finalCommandLinecommandLine=getCommandLine(c...
$FLINK_HOME/bin/flink run-application -d \ -t yarn-application \ -m yarn-cluster \ -D yarn.application.name=$applicationName \ -D jobmanager.memory.process.size=1024m \ -D taskmanager.memory.process.size=2048m \ -c $MAIN $WORDCOUNT_JAR 如果想共享依赖的jar包或者配置文件, 可以加上下面...
// 启动主节点 ClusterEntrypoint.runClusterEntrypoint(entrypoint); } 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 在这个入口类主要做了四件事: 解析提交作业命令的参数 解析flink-conf.yaml 配置文件 ...
对于这种模式,flink run-application -D 'yarn.ship-files=/path/to/jar;/path/to/folder' 注:Flink 1.13.0 以前的版本,通过 HiveCatalog 无法加载 UDF [FLINK-20606] sql cli with hive catalog cannot create function using user classes from jar which specified by -j option 原因见下方分析。 注:Fli...
/bin/flink run-application -p 1 -t yarn-application \ -yD yarn.provided.lib.dirs="hdfs://localhost/flink/libs" \ hdfs://localhost/user-jars/HelloWold.jar 通过程序提交任务 当我们要做一个实时计算平台的时候,会需要通过程序来提交任务到集群,这时候需要我们自己封装一套API来实现提交flink任务到集群...
可以使用如下命令,启动application: ./bin/flink run-application -p 8 -t kubernetes-application -Dkubernetes.cluster-id=<ClusterId> -Dtaskmanager.memory.process.size=4096m -Dkubernetes.taskmanager.cpu=2 -Dtaskmanager.numberOfTaskSlots=4 -Dkubernetes.container.image=<CustomImageName> ...
另外,如果一个main()方法中有多个env.execute()/executeAsync()调用,在Application模式下,这些作业会被视为属于同一个应用,在同一个集群中执行(如果在Per-Job模式下,就会启动多个集群)。可见,Application模式本质上是Session和Per-Job模式的折衷。 实验$ cd $FLINK_HOME$ ./bin/flink run-application -t yarn-...