LocalExecutor:本地模式 RemoteExecutor:Standalone模式 YarnJobClusterExecutor:YARN per job模式 YarnSessionClusterExecutor:YARN session job模式 KubernetesSessionClusterExecutor:K8S session job模式 EmbeddedExecutor:Application模式用 这里采用的是YarnJobClusterExecutor,如何找? StreamExecutionEnvironment通过PipelineExecutorSe...
Flink run (Per-Job-Cluster) 启动一个单独的job提交到yarn集群上,即单job单session,实现资源的完全隔离。 启动job的命令跟yarn-session 中有差异 ,通过指定 -m yarn-cluster,参数较session都带有-y ./flink run \ -m yarn-cluster \ -yn 2 \ -yjm 1024 \ -ytm 3076 \ -p 2 \ -ys 3 \ -yD nam...
Flink run (Per-Job-Cluster) 任务提交流程 Flink 资源管理 operator chains slot Flink run 参数 Flink Session (Session-Cluster) 内存集中管理模式:在Yarn中初始化一个Flink集群,开辟指定的资源,之后我们提交的Flink Jon都在这个Flink yarn-session中,也就是说不管提交多少个job,这些job都会共用开始时在yarn中申请...
意思是我们可以预先上传 flink 客户端依赖包 (flink-dist/lib/plugin) 到远端存储(一般是 hdfs,或者共享存储),然后通过 yarn.provided.lib.dirs 参数指定这个路径,flink 检测到这个配置时,就会从该地址拉取 flink 运行需要的依赖包,省去了依赖包上传的过程,yarn-cluster/per-job 模式也支持该配置。在之前的版本中...
1、yarn cluster 模式部署介绍 mr和spark都可以基于yarn模式部署,flink也不例外,生产中很多也基于yarn模式部署。 flink的yarn模式部署也分为两种方式,一种是yarn-session,一种是yarn-per-job。大致如下图: 2、flink session HA模式 需要先启动集群,然后在提交作业,接着会向yarn申请一块资源空间后,资源永远保持不变...
1.2 Yarn Per-Job 提交流程 启动集群: 使用./flink run -m yarn-cluster 提交 Per-Job 模式的作业。 Yarn 启动 Flink 集群。该模式下 Flink 集群的启动入口是 YarnJobClusterEntryPoint,其他与 YarnSession 模式下集群的启动类似。 作业提交: 该步骤与 Seesion 模式下的不同,Client 并不会通过 Rest 向 Dispatch...
与Per-Job-Cluster的区别：就是Application Mode下, 用户的main函数式在集群中执行的，并且当一个application中有多个job的话，per-job模式则是一个job对应一个yarn中的application，而Application Mode则这个application中对应多个job。测试代码：import org.apache.flink.api.common.functions.MapFunction;import org....
./flink run -m yarn-cluster ./flinkExample.jar 1、Client端提交任务阶段分析 flink脚本的入口类是org.apache.flink.client.cli.CliFrontend。 1)在CliFronted类的main()方法中,会加载flnk以及一些全局的配置项之后,根据命令行参数run,调用run()->runProgram()->deployJobCluster(),具体的代码如下: ...
./flink run -m yarn-cluster ./flinkExample.jar 1、Client端提交任务阶段分析 flink脚本的入口类是org.apache.flink.client.cli.CliFrontend。 1)在CliFronted类的main()方法中,会加载flnk以及一些全局的配置项之后,根据命令行参数run,调用run()->runProgram()->deployJobCluster(),具体的代码如下: ...
YARN per-job集群的启动入口位于o.a.f.yarn.YarnClusterDescriptor类中。 public ClusterClient<ApplicationId> deployJobCluster( ClusterSpecification clusterSpecification, JobGraph jobGraph, boolean detached) throws ClusterDeploymentException { // this is required because the slots are allocated lazily jobGraph....