flink savepoint <job_id> <target_directory> -yid <application_id> 使用savepoint取消作业 flink cancel -s <tar_directory> <job_id> 从保存点恢复 flink run -s <target_directoey> [:runArgs] 如果复原的程序,对逻辑做了修改,比如删除了算子可以指定allowNonRestoredState参数复原。 flink run -s <targ...
protected void runApplication(String[] args) throws Exception { LOG.info("Running 'run-application' command."); //添加常用的命令行操作 final Options commandOptions = CliFrontendParser.getRunCommandOptions(); //根据命令行出入的参数解析命令命令行操作 final CommandLine commandLine = getCommandLine(comm...
flink run -t yarn-session \ -Dyarn.application.id=application_XXXX_YY \ /path/to/job.jar 停止Flink Yarn session可以通过Yarn UI的kill按钮。当然也可以通过如下方式: echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX 注意:一个Flink Yarn Session可以同时跑多个Flink作业。
protectedvoidrunApplication(String[]args)throwsException{LOG.info("Running 'run-application' command.");finalOptionscommandOptions=CliFrontendParser.getRunCommandOptions();finalCommandLinecommandLine=getCommandLine(commandOptions,args,true);if(commandLine.hasOption(HELP_OPTION.getOpt())){CliFrontendParser.prin...
application 模式使用bin/flink run-application提交作业;通过-t指定部署环境,目前 application 模式支持部署在 yarn 上(-t yarn-application) 和 k8s 上(-t kubernetes-application);并支持通过-D参数指定通用的 运行配置,比如 jobmanager/taskmanager 内存、checkpoint 时间间隔等。
//设置为application模式 flinkConfiguration.set( DeploymentOptions.TARGET, YarnDeploymentTarget.APPLICATION.getName()); //yarn application name flinkConfiguration.set(YarnConfigOptions.APPLICATION_NAME, "jobName"); ... 设置用户jar的参数和主类 // 设置用户...
1、自定义数据源设置 Timestamp/Watermark自定义的数据源类需要继承并实现 SourceFunction[T] 接口,其中 run 方法是定义数据生产的地方://自定义的数据源为自定义类型MyTypeclass MySource extends SourceFunction[MyType]{ //重写run方法,定义数据生产的逻辑 override def run(ctx: SourceContext[MyType]): Unit ...
#该参数同yarn-site.xml中yarn.resourcemanager.am.max-attempts参数,指向yarn提交一个application重试的次数,也可以不设置,非高可用默认为1,高可用默认为2,建议不大于yarn.resourcemanager.am.max-attempts参数,否则会被yarn.resourcemanager.am.max-attempts替换掉。
我们还可以尝试通过“--input”参数指定我们自己的本地文件作为输入,然后执行: ./bin/flink run examples/streaming/WordCount.jar --input${your_source_file} 停止集群: ./bin/stop-cluster.sh (2)常用配置介绍 conf / slaves conf / slaves 用于配置 TaskManager 的部署,默认配置下只会启动一个 TaskManager ...
/bin/flink run examples/streaming/WordCount. jar--input {your_source_file} 2.常用配置介绍 xm 参数表示初始大小,在运行方面做了更机械化的控制,和文本有一定的区别。 我们在本机上执行 jps 命令,可以看到 Flin 相关的进程主要有两个,一个是JobManager 进程,另一个是 TaskManager 进程。我们可以进一步用 ps...