Flink支持多种安装模式 - Local—本地单机模式,学习测试时使用 - Standalone—独立集群模式,Flink自带集群,开发测试环境使用 - StandaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境使用 - On Yarn—计算资源统一由Hadoop YARN管理,生产环境使用 1.1 Local本地模式 1.1.1 原理 1. Flink程序由JobClient进行提...
1.1、初始化StreamExecutionEnvironment,在local模式下,调用的是1939行,即无参数的createLocalEnvironment() 1.2、查看createLocalEnvironment方法的定义,内部调用的是createLocalEnvironment(defaultLocalParallelism),传入了一个int类型的默认并行度参数 注意默认并行度参数的值是这么生成的: 1.3、查看createLocalEnvironment(defau...
运行任务 如果只是使用flinkxlocal模式,现在就可以尝试运行 java -cp lib\* com.dtstack.flinkx.launcher.Launcher -mode local -job cc.json -pluginRoot E:\project\flinkx\plugins -flinkconf F:\JavaTool\flink-1.8.3\conf -confProp "{\"flink.checkpoint.interval\":1000}" 现在就可以等待任务运行完成,...
解压安装包 直接启动flink ./start-cluster.sh 1. 这两个进程在的话证明启动成功 打开浏览器访问:http://192.168.215.161:8081/ 大家根据自己的实际ip地址来 可以看到我们通过8081端口访问Local模式的flink集群 通过idea的maven把之前的项目打包 D:\MyCode\FlinkStudy\flink>mvn clean package D:\My...
一.Local模式 解压: tar -zxvf flink-1.6.2-bin-hadoop26-scala_2.11.tgz cd flink-1.6.2 1. 2. 启动:./bin/start-cluster.sh 停止:./bin/stop-cluster.sh 可以通过master:8081监控集群状态 二.Standalone模式 集群安装 1:修改conf/flink-conf.yaml ...
1、LocalExecutor.startMiniCluster方法 MiniCluster是local模式运行的环境,包含flink运行时组件:作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager)和分发器(Dispatcher)以及一些其他组件,在该方法中仅new了一个MiniCluster对象,其组件的初始化在start中完成。
二、local模式下运行 以上面代码相对应的,在终端输入 nc -l 8888命令,监听8888端口 点击idea的运行按键 在上面的终端,输入“flink hello world ,flink test”,idea的日志输出如下 三、webui 打开404解决方案 原因是缺少webui相关的依赖,同时要注意,代码使用StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(...
Flink中的Local-cluster(本地集群)模式,主要用于测试,学习。 不用改任何配置,直接启动 [admin@hadoop102 flink]$ bin/start-cluster.sh [admin@hadoop102 flink]$ bin/start-cluster.shStartingcluster.Startingstandalonesession daemon on host hadoop102.Startingtaskexecutor daemon on host hadoop102. ...
local(本地)——本地模式 standalone——独立模式,Flink自带集群,开发测试环境使用 standaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境使用 yarn——计算资源统一由Hadoop YARN管理,生产环境测试 今天这篇文章,先来讲解Local 本地部署 应用场景:开发环境 ...
local recovery。在Flink将快照同步到共享存储的同时,在本地磁盘也保存一份快照。作业失败恢复时,可以调度到上次部署的位置,并从local disk进行快照恢复。 2)基于container宕掉的快速恢复 实际环境中, container宕掉再申请有时会长达几十秒,比如因为hdfs慢、yarn慢等原因,严重影响恢复速度。为此,我们做了如下优化: ...