对于“run”操作,当前可用的目标是:“remote”、“local”、“kubernetes-session”、“yarn-per-job”、“yarn-session”。 对于“run-application”操作,当前可用的目标是:“kubernetes-application”。 2.3 当action为info时的options 语法:info [OPTIONS] <jar-file> <arguments> 可以跟在info这个动作后边的OPTIONS...
flink savepoint <job_id> <target_directory> -yid <application_id> 使用savepoint取消作业 flink cancel -s <tar_directory> <job_id> 从保存点恢复 flink run -s <target_directoey> [:runArgs] 如果复原的程序,对逻辑做了修改,比如删除了算子可以指定allowNonRestoredState参数复原。 flink run -s <targ...
以Yarn部署为例,想要启动application模式,可以使用下面的命令: 代码语言:javascript 复制 # 基于application模式启动本地jar./bin/flink run-application-t yarn-application \./examples/batch/WordCount.jar # 附加集群参数配置./bin/flink run-application-t yarn-application \-Djobmanager.memory.process.size=2...
application 模式使用bin/flink run-application提交作业;通过-t指定部署环境,目前 application 模式支持部署在 yarn 上(-t yarn-application) 和 k8s 上(-t kubernetes-application);并支持通过-D参数指定通用的 运行配置,比如 jobmanager/taskmanager 内存、checkpoint 时间间隔等。 通过bin/flink run-application -h可...
3. 第三种方式:Application Mode application 模式使用 bin/flink run-application 提交作业; 通过-t 指定部署环境,目前 application 模式支持部署在 yarn 上(-t yarn-application) 和 k8s 上(-t kubernetes-application); 并支持通过 -D 参数指定通用的 运行配置,比如 jobmanager/taskmanager 内存、checkpoint 时间间...
1. yarn-session.sh(开辟资源)+flink run(提交任务) 这种模式下会启动yarn session,并且会启动Flink的两个必要服务:JobManager和Task-managers,然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是,这种模式下Hadoop的版本至少是2.2,而且必须安装了HDFS(因为启动YARN session的时候会向HDFS上...
/bin/flink run-application -p 1 -t yarn-application \ -yD yarn.provided.lib.dirs="hdfs://localhost/flink/libs" \ hdfs://localhost/user-jars/HelloWold.jar 通过程序提交任务 当我们要做一个实时计算平台的时候,会需要通过程序来提交任务到集群,这时候需要我们自己封装一套API来实现提交flink任务到集群...
flink cancel -t yarn-session -Dyarn.application.id=<application_XXXX_YY> <jobId> 指定作业配置 Flink提供三种指定作业配置的方式: 方式一:在作业代码中,指定配置项的值,详情请查看Flink配置。 方式二:使用flink run命令提交作业时,通过-D指定配置项的值,例如flink run-application -t yarn-application -D ...
/bin/flink run-application-p1-t yarn-application \-yD yarn.provided.lib.dirs="hdfs://localhost/flink/libs"\hdfs://localhost/user-jars/HelloWold.jar 通过程序提交任务 当我们要做一个实时计算平台的时候,会需要通过程序来提交任务到集群,这时候需要我们自己封装一套API来实现提交flink任务到集群,目前主要...
如果使用flink run-application模式,则把jar上传至-Dyarn.provided.lib.dirs指定的HDFS目录即可。 3.3Flink配置修改 打开CM,进入Flink服务,搜索flink-conf.yaml配置项 增加flink与pushgateway相关配置 ### 与Prometheus集成配置 ###metrics.rep...