flink savepoint <job_id> <target_directory> -yid <application_id> 使用savepoint取消作业 flink cancel -s <tar_directory> <job_id> 从保存点恢复 flink run -s <target_directoey> [:runArgs] 如果复原的程序,对逻辑做了修改,比如删除了算子可以指定allowNonRestoredState参数复原。 flink run -s <targ...
protected void runApplication(String[] args) throws Exception { LOG.info("Running 'run-application' command."); //添加常用的命令行操作 final Options commandOptions = CliFrontendParser.getRunCommandOptions(); //根据命令行出入的参数解析命令命令行操作 final CommandLine commandLine = getCommandLine(comm...
设置方法: env.setBufferTimeout(xxx) 提交应用时参数配置 注意:per-job模式或者application模式可以为某个作业单独指定JM和TM的资源消耗。资源的消耗情况应该以能扛住高峰时段的数据处理压力为准。可提前对集群进行压测,记录极限情况的资源使用量。 JobManager内存 ...
$ ./bin/flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar protectedvoidrunApplication(String[]args)throwsException{LOG.info("Running 'run-application' command.");finalOptionscommandOptions=CliFrontendParser.getRunCommandOptions();finalCommandLinecommandLine=getCommandLine(c...
application 模式使用bin/flink run-application提交作业;通过-t指定部署环境,目前 application 模式支持部署在 yarn 上(-t yarn-application) 和 k8s 上(-t kubernetes-application);并支持通过-D参数指定通用的 运行配置,比如 jobmanager/taskmanager 内存、checkpoint 时间间隔等。
//设置为application模式 flinkConfiguration.set( DeploymentOptions.TARGET, YarnDeploymentTarget.APPLICATION.getName()); //yarn application name flinkConfiguration.set(YarnConfigOptions.APPLICATION_NAME, "jobName"); ... 设置用户jar的参数和主类 // 设置用户...
1、自定义数据源设置 Timestamp/Watermark自定义的数据源类需要继承并实现 SourceFunction[T] 接口,其中 run 方法是定义数据生产的地方://自定义的数据源为自定义类型MyTypeclass MySource extends SourceFunction[MyType]{ //重写run方法,定义数据生产的逻辑 override def run(ctx: SourceContext[MyType]): Unit ...
run 和 run-application 命令都支持通过 -D 选项传递一些额外参数。例如:可以通过 -Dpipeline.max-parallelism=120 设置最大并行度。在应用模式集群里控制每个作业时这个参数肥肠有用,因为可以传递任何配置参数到集群,而不用修改配置文件。 When submitting a job to an existing session cluster, only execution confi...
要开启 Flink 高可用性功能,请在运行 run-application CLI 命令时提供以下 Flink 参数。参数在示例的下方定义。 -Dhigh-availability.type=kubernetes \-Dhigh-availability.storageDir=S3://DOC-EXAMPLE-STORAGE-BUCKET\-Dfs.s3a.aws.credentials.provider="com.amazonaws.auth.WebIdentityTokenCredentialsProvider"\-Dk...
#该参数同yarn-site.xml中yarn.resourcemanager.am.max-attempts参数,指向yarn提交一个application重试的次数,也可以不设置,非高可用默认为1,高可用默认为2,建议不大于yarn.resourcemanager.am.max-attempts参数,否则会被yarn.resourcemanager.am.max-attempts替换掉。