如果配置了 checkpoint 目录,则会使用FileSystemCheckpointStorage,否则系统将会使用JobManagerCheckpointStorage。 2.3.1. JobManagerCheckpointStorage JobManagerCheckpointStorage会将 checkpoint 快照存储到 JobManager 的内存中。 可以配置在 checkpoint 使用的内存超过了指定大小时,使 checkpoint 失败,以避免 JobManager 抛出...
env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); //todo 7.默认情况下,如果Checkpoint过程失败,会导致整个应用重启,我们可以关闭这个功能,这样Checkpoint失败不影响作业的运行。 // checkpoint 线程是异步的,ck失败了,job接着运行 env.getCheck...
Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时,遇到异常或者机器问题时能够进行自我恢复。 从checkpoint恢复的原则 通常当作业执行失败、资源异常重启等非人为触发的异常场景时,支持从checkpoint恢复。 但是如果修改了作业的运算逻辑,作业的计算逻辑已发生更改,不支持从checkpoint恢复。 应用场景 本文列...
如果Flink程序异常失败,或者最近一段时间内数据处理错误,我们可以将程序从某一个Checkpoint点进行恢复 -s 后面接的就是待恢复checkpoint的路径。 bin/flink run -s hdfs://namenode:9000/flink/checkpoints/467e17d2cc343e6c56255d222bae3421/chk-56/_metadata flink-job.jar 程序正常运行后,还会按照Checkpoint配...
恢复的时候在execution.savepoint.path中指定我们在本地状态存储路径即可。参考示例: ConfigurationenvConf=newConfiguration();// 替换为自己的checkpoint地址envConf.setString("execution.savepoint.path","file:///E:\\checkpoints\\d041cf06aafc7869e93bd70c1f11edc3\\chk-1");finalStreamExecutionEnvironmentenv=...
Flink 会在输入的数据集上间隔性地生成 checkpoint barrier,通过栅栏(barrier)将间隔时间段内的数据划分到相应的 checkpoint 中。每个算子都会进行checkpoint 操作。如下图: 从检查点(CheckPoint)恢复如下图: 假如我们设置了三分钟进行一次CheckPoint,保存了上述所说的 chk-100 的CheckPoint状态后,过了十秒钟,offset已经...
flink 从savepoint、checkpoint中恢复数据 - 前言提示:flink checkpoint重启: flink作业因为故障导致restart strategy失败或升级flink版本重新发布任务,这时就需要从最近的checkpoint恢复。一般而言有两种方案,第一种方案是开启checkpoint且任务取...
在创建Flink作业时开启了Checkpoint,指定了Checkpoint保存的OBS桶。手工停止Flink作业后,再次启动该Flink作业怎样从指定Checkpoint恢复。由于Flink Checkpoint和Savepoint生成机制及格式一致,因此可以通过Flink作业列表“操作”列中的“更多 > 导入保存点”,导入OBS中最
第二步:把pendingCheckpoints这个map中所有正在做的checkpoint fail掉 executionGraph.getCheckpointCoordinator().abortPendingCheckpoints(newCheckpointException(CheckpointFailureReason.JOB_FAILOVER_REGION)); 第三步:从最近完成的checkpoint恢复state executionGraph.getCheckpointCoordinator().restoreLatestCheckpointedState( ...