通过上面图8的反应的情况,证明-yn并不能决定TaskManager的数量。其实在flink-1.7版本提交任务的时候就可以通过日志信息发现这个参数是弃用的。flink-1.6日志虽然没有提醒,但该参数也是处于废弃状态。 v-1.7 flink-1.7 v-1.6 flink-1.6 继续往下看>>> 说到底还是确定不了TaskManager最终的数量谁来决定的,通过亲自测试...
bin/flink run -m yarn-cluster -yn 3 -ys 3 -ynm bjsxt02 -c com.test.flink.wc.StreamWordCount ./appjars/test-1.0-SNAPSHOT.jar 1. 1.1.2、参数解释 -yn,--container <arg> 表示分配容器的数量,也就是 TaskManager 的数量。 -d,--detached:设置在后台运行。 -yjm,--jobManagerMemory<arg>:设置...
在使用yarn-cluster命令时,添加“-yn NUM”参数设置TaskManager个数。 配置TaskManager Slot数每个TaskManager多个核同时能跑多个task,相当于增大了任务的并发度。但是由于所有核共用TaskManager的内存,所以要在内存和核数之间做好平衡。 在使用yarn-session命令时,添加“-s NUM”参数设置SLOT数。 在使用yarn-cluster命令...
使用上述参数-yn,我可以设置纱线节点/任务管理器的数量。但是,我想知道是否可以设置每个任务管理器的任务插槽数。当我使用parallelsim (-p)参数时,它只设置整体并行性。任务槽的数量是通过将该值除以提供的任务管理器的数量来计算的</ 浏览0提问于2018-05-04得票数 0 回答已采纳 1回答 在每次作业提交超过rest后...
-yn,--yarncontainer Number of Task Managers -yqu,--yarnqueue Specify YARN queue. -ys,--yarnslots Number of slots per TaskManager -yqu,--yarnqueue Specify YARN queue. 可以通过 Help 命令查看 Run 的可用参数: ./bin/flinkrun-h 我们可以看到,“./bin/flink run -h”看到的“Options for yarn-...
ys(总共) = yn(实际) * ys(指定) ys(使用) = p(指定) flink run -c,--class Flink应用程序的入口 -C,--classpath 指定所有节点都可以访问到的url,可用于多个应用程序都需要的工具类加载 -d,--detached 是否使用分离模式,就是提交任务,cli是否退出,加了-d参数,cli会退出 ...
删除-yn的参数之后,再次提交,又出现了以下错误 ---The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not deploy Yarn job cluster. at org.apache.flink.client.program.PackagedProgram.callMainMethod(Packaged...
flinkrun-myarn-cluster\ -yn4\ -ys2\ ... 其中,据说-yn是用来指定TaskManager的数量,而-ys是用来指定slot数量的。 但是,任务一提交就报错了,说-yn这个参数不存在: 那就只能去掉-yn参数了,再试。 可以看到,这种在命令行的参数指定方式就只能让slot生效,而TaskManager数量却又控制不了。 那我...
其中,-yn 参数指定 job name,可以通过指定不同的 job name 来区分不同的任务;-yjm 参数用于设置 JobManager 的内存大小;-ytm 参数用于设置 TaskManager 的内存大小;-c 参数用于指定应用程序入口类;<flink_sql_jar> 和<sql_file> 分别是 Flink SQL 的 JAR 包和 SQL 文件路径。 通过以上操作,即可在提交 Flin...