首先聊下Flink webUI。如下图所示: 如果是本地调试模式,默认是不开启webui的。 代码语言:javascript 复制 StreamExecutionEnvironment env=StreamExecutionEnvironment.getExecutionEnvironment(); 上面的初始化方式,本地调试默认不开启webui。 代码语言:javascript 复制 StreamExecutionEnvironment env=StreamExecutionEnvironment...
//1.使用本地模式Configuration conf=newConfiguration();//设置WebUI绑定的本地端口conf.setString(RestOptions.BIND_PORT,"8081");//使用配置StreamExecutionEnvironment env=StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);//2.读取Socket数据DataStreamSource<String>ds=env.socketTextStream("node3",...
scala.version = 2.11 / 2.12 ;flink.version = 1.12.2 / 1.13.1 :支持 Local WEB UI(亲测) 本文基于本版本配置↑进行演示。 访问页面(http://127.0.0.1:18081)时,将报错:{"errors":["Unable to load requested file /index.html."]} 参见: WEB UI failure in Flink 1.12 - Apache Issue/FLINK-182...
<version>1.9.0</version> </dependency> 2、使用带WebUI的Flink运行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(configuration); 3、启动Flink程序 4、打开 http://localhost:8081查看WebUI
3.访问Flink的Web UI:http://node1.itcast.cn:8081/#/overview slot在Flink里面可以认为是资源组,Flink是通过将任务(Task)分成子任务(SubTask)并且将这些子任务分配到slot来并行执行程序。 4.停止Flink /export/server/flink/bin/stop-cluster.sh 2)、流计算:WordCount ...
正常启动集群后,只能通过http://localhost:8081访问Flink Web UI,如果通过IP地址访问,则出现连接被拒绝的情况。此时需要修改Flink配置文件flink-conf.yaml,将localhost改成0.0.0.0,修改之后重启服务就可以使用IP地址访问。修改部分见下图: 2.4、停止集群 ./bin/stop-cluster.sh ...
今日闲来无事,整理一下Flink WebUI简介吧,对于初学者来说可能也许会有用吧,毕竟闲着太无聊了,后面再整理关于Metric指标,TaskManager内存模型吧,截图太费劲了。 1.提交flink 任务 flink cli 提交flink job任务shell如下: 简易提交脚本如下,其中jm内存设定为1024M,tm内存设定为4096M,slot插槽为2。
打jar包maven插件配置 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.2.4</version> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> ...
我这边是直接package了,一般步骤是clean、complie、test、package image.png 如下截图是打包生成的文件路径 image.png 三.通过Web UI执行jar文件 3.1 上传文件 选择"Submit New Job"后,选择"Add New" image.png 选中第二步打包生产的jar文件 image.png
(10)kill掉一个节点,查看另外的一个节点的Web UI 注意事项 切记搭建HA,需要将第二个节点的jobmanager.rpc.address修改为node2 Standalone集群 使用场景:主要是开发测试阶段 4、yarn的部署 在一个企业中,为了最大化的利用集群资源,一般都会在一个集群中同时运行多种类型的 Workload。因此 Flink 也支持在Yarn上面...