主要是用java -cp的方式启动主类** *org.apache.flink.yarn.cli.FlinkYarnSessionCli * , $@ 就是我们传入的哪些参数 " -n 3 -jm 1024 -nm 1024 -st" **。 1. FlinkYarnSessionCli 的启动流程分析 首先看下Main函数 public static void main(String[] args) { FlinkYarnSessionCli cli = new Flink...
configurationDirectory,null,cmd);}catch(Exceptione){System.err.println("Error while starting the YARN Client: "+e.getMessage());e.printStackTrace(System.err);return1;}finalClusterSpecificationclusterSpecification=createClusterSpecification(yarnDescriptor.getFlinkConfiguration(),cmd);try{yarnCluster=yarnDesc...
FlinkYarnSessionCli是Yarn session的命令行交互工具。它的main方法创建一个FlinkYarnSessionCli对象,并调用run方法。 publicstaticvoidmain(finalString[]args){// 获取Flink conf目录所在位置finalStringconfigurationDirectory=CliFrontend.getConfigurationDirectoryFromEnv();// 从FLINK_CONF_DIR查找flink-conf.yaml。如果不...
运行bin/yarn-session.sh即可默认启动包含一个TaskManager(内存大小为1024MB,包含一个Slot)、一个JobMaster(内存大小为1024MB),当然可以通过指定参数控制集群的资源,如-n指定TaskManager个数,-s指定每个TaskManager中Slot的个数;其他配置项,可参考 下面以bin/yarn-session.sh为例,分析Session-Cluster启动流程。 2.2. 流...
主要启动流程 1. 启动进程 首先我们通过下面的命令行启动flink on yarn的集群 bin/yarn-session.sh -n 3 -jm 1024 -nm 1024 -st 这里将产生总共五个进程 ** 1个FlinkYarnSessionCli ---> Yarn Client ** ** 1个YarnApplicationMasterRunner ---> AM + JobManager** ...
一、Flink On Yarn运行原理 二、代码及Yarn环境准备 1、准备代码 2、yarn 环境准备 三、Yarn Session模式 1、任务提交命令 2、任务提交流程 四、Yarn Per-Job模式 1、任务提交命令 2、任务提交流程 五、Yarn Application模式 1、任务提交命令 2/任务提交流程 ...
1.执行命令:bin/flink run -d -m yarn-cluster ...或bin/yarn-session.sh ...来提交per-job运行模式或session运行模式的应用; 2.解析命令参数项并初始化,启动指定运行模式,如果是per-job运行模式将根据命令行参数指定的Job主类创建job graph; 如果可以从命令行参数(-yid )或YARN properties临时文件(${java...
title 启动开启 kerberos 的 yarn flink session section 创建keytab文件 创建principle并生成keytab文件 section 提交Flink作业 登录yarn集群 提交Flink作业 section 检查Flink作业状态 检查作业状态 创建keytab文件 首先,我们需要创建一个principal并生成相应的keytab文件。这个文件将用于通过kinit命令进行身份验证。
部署启动yarn-session 这个就是yarn-session脚本启动的整个过程吧。 默认可以直接执行bin/yarn-session.sh 默认启动的配置是 代码语言:javascript 复制 {masterMemoryMB=1024,taskManagerMemoryMB=1024,numberTaskManagers=1,slotsPerTaskManager=1} 需要自己自定义配置的话,可以使用来查看参数: ...