flink savepoint <job_id> <target_directory> -yid <application_id> 使用savepoint取消作业 flink cancel -s <tar_directory> <job_id> 从保存点恢复 flink run -s <target_directoey> [:runArgs] 如果复原的程序,对逻辑做了修改,比如删除了算子可以指定allowNonRestoredState参数复原。 flink run -s <targ...
protected void runApplication(String[] args) throws Exception { LOG.info("Running 'run-application' command."); //添加常用的命令行操作 final Options commandOptions = CliFrontendParser.getRunCommandOptions(); //根据命令行出入的参数解析命令命令行操作 final CommandLine commandLine = getCommandLine(comm...
设置方法: env.setBufferTimeout(xxx) 提交应用时参数配置 注意:per-job模式或者application模式可以为某个作业单独指定JM和TM的资源消耗。资源的消耗情况应该以能扛住高峰时段的数据处理压力为准。可提前对集群进行压测,记录极限情况的资源使用量。 JobManager内存 ...
$ ./bin/flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar protectedvoidrunApplication(String[]args)throwsException{LOG.info("Running 'run-application' command.");finalOptionscommandOptions=CliFrontendParser.getRunCommandOptions();finalCommandLinecommandLine=getCommandLine(c...
application 模式使用bin/flink run-application提交作业;通过-t指定部署环境,目前 application 模式支持部署在 yarn 上(-t yarn-application) 和 k8s 上(-t kubernetes-application);并支持通过-D参数指定通用的 运行配置,比如 jobmanager/taskmanager 内存、checkpoint 时间间隔等。
//设置为application模式 flinkConfiguration.set( DeploymentOptions.TARGET, YarnDeploymentTarget.APPLICATION.getName()); //yarn application name flinkConfiguration.set(YarnConfigOptions.APPLICATION_NAME, "jobName"); ... 设置用户jar的参数和主类 // 设置用户...
1、自定义数据源设置 Timestamp/Watermark自定义的数据源类需要继承并实现 SourceFunction[T] 接口,其中 run 方法是定义数据生产的地方://自定义的数据源为自定义类型MyTypeclass MySource extends SourceFunction[MyType]{ //重写run方法,定义数据生产的逻辑 override def run(ctx: SourceContext[MyType]): Unit ...
要开启 Flink 高可用性功能,请在运行 run-application CLI 命令时提供以下 Flink 参数。参数在示例的下方定义。 -Dhigh-availability.type=kubernetes \-Dhigh-availability.storageDir=S3://DOC-EXAMPLE-STORAGE-BUCKET\-Dfs.s3a.aws.credentials.provider="com.amazonaws.auth.WebIdentityTokenCredentialsProvider"\-Dk...
#该参数同yarn-site.xml中yarn.resourcemanager.am.max-attempts参数,指向yarn提交一个application重试的次数,也可以不设置,非高可用默认为1,高可用默认为2,建议不大于yarn.resourcemanager.am.max-attempts参数,否则会被yarn.resourcemanager.am.max-attempts替换掉。
我们还可以尝试通过“--input”参数指定我们自己的本地文件作为输入,然后执行: ./bin/flink run examples/streaming/WordCount.jar --input${your_source_file} 停止集群: ./bin/stop-cluster.sh (2)常用配置介绍 conf / slaves conf / slaves 用于配置 TaskManager 的部署,默认配置下只会启动一个 TaskManager ...