要获取 Flink 在 YARN 集群上的 Application ID，可以通过 Flink 的 API 来获取，如ClusterID和Session...
.setSlotsPerTaskManager(1).createClusterSpecification();//直接部署jar到Yarn上跑(提交任务并在Yarn上运行)//每调用一次deployApplicationCluster就会多启动一个任务在Yarn的列表中ClusterClientProvider<ApplicationId> provider = descriptor.deployApplicationCluster(clusterSpecification, applicationConfiguration);//获得客户...
private ClusterClientProvider<ApplicationId> deployInternal( ClusterSpecification clusterSpecification, String applicationName, String yarnClusterEntrypoint, @Nullable JobGraph jobGraph, boolean detached) throws Exception { //获取当前用户信息 final UserGroupInformation currentUser = UserGroupInformation.getCurrentUser(...
如图所示:五个Flink Job都是跑在一个Flink的yarn session当中的,这个Flink yarn session可以理解为就是一份资源,这个资源从哪里生成来的呢?是从我们的yarn的ResourceManager中生成来的,生成过来之后他启动一个进程,这个进程我们把它称之为叫yarn session的进程,这个yarn session中包含了一些资源,这些资源允许我们的多个...
-yqu root.yarn \ -c com.sohu.tv.stream.overview.app.APPStatistics \ $dir/flink-stream-1.0-SNAPSHOT.jar 查看flink脚本$FLINK_HOME/bin/flink,最终的命令如下: exec $JAVA_RUN $JVM_ARGS "${log_setting[@]}" -classpath "`manglePathList "$CC_CLASSPATH:$INTERNAL_HADOOP_CLASSPATHS"`" org.ap...
通过FlinkYarnSessionCli的interact模式,可以对*/tmp/.yarn-properties-{user}* & HDFS缓存统一进行清理 Job提交 这种模式下,Client将从本地查找/tmp/.yarn-properties-{user}配置,以获取applicationId来定位Cluster,所以Job提交最好是在FlinkYarnSessionCli的启动节点,否则需要指定applicationId ...
YarnClusterDescriptor yarnClusterDescriptor = new YarnClusterDescriptor(flinkConfiguration, yarnConfiguration, yarnClient, clusterInformationRetriever, true); ClusterClientProvider<ApplicationId> clusterClientProvider; try { clusterClientProvider = yarnClusterDescriptor.deployApplicationCluster(clusterSpecification, appCon...
flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,生产环境测试。 2、环境配置 Flink 是一个分布式的流处理框架,所以实际应用一般都需要搭建集群环境。我们在进行 Flink 安装部署的学习时,需要准备 3 台 Linux 机器。具体要求如下: ...
这个applicationID不就是我们提交到yarn上flink集群对应的id嘛。 到flink web ui查看任务记录 此外,在启动on yarn flink集群时候可以使用-d or --detached实现类似后台运行的形式执行,此方式下,如果想停止集群,使用yarn application -kill <appId> 第二种方式:Run a single Flink job on YARN ...
Yarn Session启动之后会给出一个WebUI地址以及一个Yarn ApplicationId,如下所示,用户可以通过Web UI或者命令行两种方式提交作业。 2、提交作业 (1)通过Web UI提交作业 这种方式比较简单,与上文述Standalone部署模式基本一样。 (2)通过命令行提交作业 ①将FlinkTutorial-1.0-SNAPSHOT.jar任务上传至集群。