先看checkpoint Data Size大小,如果状态很大,再看End to End Duration时间,如果时间比较大,比如做一次checkpoint要花十几甚至几十分钟的话,我们接着再看具体的sub Task checkpoint的时间耗时情况。 1、Checkpoint时sub Task的Latest Acknowledgement的状态一直为n/a 这种情况下要去分析是任务是否存在背压的情况。我们可以...
容错恢复需要额外的重放 Changelog 带来的潜在的恢复时间的增加。 我们在后面的 Benchmark 对比中,也会对这三方面的影响进行分析。特别对于第 3 点,额外的重放 Changelog 所带来的容错恢复时间增加会在一定程度上因为可以做更频繁的 Checkpoint 所弥补,因为更频繁的 Checkpoint 意味着容错恢复后需要回放的处理数据更少。
这是因为 Flink 的 checkpoint 机制,反压还会影响到两项指标: checkpoint 时长和 state 大小。 * 前者是因为 checkpoint barrier 是不会越过普通数据的,数据处理被阻塞也会导致 checkpoint barrier 流经整个数据管道的时长变长,因而 checkpoint 总体时间(End to End Duration)变长。 * 后者是因为为保证 EOS(Exactl...
End to End Duration 表示整个 operator 的所有 subtask 中完成 snapshot 的最长时间; State Size 表示当前 Checkpoint 的 state 大小 -- 主要这里如果是增量 checkpoint 的话,则表示增量大小; Buffered During Alignment 表示在 barrier 对齐阶段积攒了多少数据,如果这个数据过大也间接表示对齐比较慢); Checkpoint 失...
End to End Duration表示整个 operator 的所有 subtask 中完成 snapshot 的最长时间; State Size表示当前 Checkpoint 的 state 大小 -- 主要这里如果是增量 checkpoint 的话,则表示增量大小; Buffered During Alignment表示在 barrier 对齐阶段积攒了多少数据,如果这个数据过大也间接表示对齐比较慢); ...
End to End Duration表示整个 operator 的所有 subtask 中完成 snapshot 的最长时间; State Size表示当前 Checkpoint 的 state 大小 -- 主要这里如果是增量 checkpoint 的话,则表示增量大小; Buffered During Alignment表示在 barrier 对齐阶段积攒了多少数据,如果这个数据过大也间接表示对齐比较慢); ...
End to End Duration表示整个 operator 的所有 subtask 中完成 snapshot 的最长时间; State Size表示当前 Checkpoint 的 state 大小 -- 主要这里如果是增量 checkpoint 的话,则表示增量大小; Buffered During Alignment表示在 barrier 对齐阶段积攒了多少数据,如果这个数据过大也间接表示对齐比较慢); ...
影响checkpoint时长:barries不会越过普通数据,数据处理会被阻塞也可能会导致checkpoint barries流经整个数据管道 的时长变长,导致checkpoint的总时长(End to Duration)变长。 影响state大小:barries对齐时,接受到较快的输入管道的barries后,他后面数据会被缓存起来单不处理,直到较慢的输 入管道的barries也到达,这些...
③End to End Duration表示所有 subtask 中完成 snapshot 的最长时间; ④State Size表示当前 Checkpoint 的 state 大小(如果是增量 checkpoint,则表示增量大小); ⑤Buffered During Alignment表示在 barrier 对齐阶段累计多少数据(如果这个数据过大,则间接表示对齐比较慢); ...
这是因为 Flink 的 checkpoint 机制,反压还会影响到两项指标:checkpoint 时长和 state 大小。 前者是因为 checkpoint barrier 是不会越过普通数据的,数据处理被阻塞也会导致 checkpoint barrier 流经整个数据管道的时长变长,因而 checkpoint 总体时间(End to End Duration)变长。