这个错误通常发生在数据导入操作中。新版错误码为 -235,老版本错误码可能是 -215。这个错误的含义是,对应 Tablet 的数据版本超过了最大限制(默认500),后续写入将被拒绝。比如问题中这个错误,即表示 27306172 这个 Tablet 的数据版本超过了限制。 这个错误通常是因为导入的频率过高,大于后台数据的 Compaction速度,导致...
集群频繁报错E-235,报错信息如下:用户导入数据速度过快,频繁小批量数据导入会产生过多数据版本,超过max_tablet_version_num设置的值,则报错E-235。此处命令使用步骤1运行结果DetailCmd字段对应的值。
这个错误通常发生在数据导入操作中。新版错误码为 -235,老版本错误码可能是 -215。这个错误的含义是,对应 Tablet 的数据版本超过了最大限制(默认500),后续写入将被拒绝。比如问题中这个错误,即表示 27306172 这个 Tablet 的数据版本超过了限制。 这个错误通常是因为导入的频率过高,大于后台数据的 Compaction速度,导致...
1.5 compaction score持续升高,导致导入报-235 这种现象之前出现的比较多,单独列出来,这是一个现象,原因可能还是上述的一种,针对此现象有一个临时的处理手段,如果对报-235的表没有频繁的导入和查询,可以适当调大max_tablet_version_num。 这只是一个临时手段,还是要找到compaction score升高的原因: 代码语言:javascri...
1.tablet writerwrite failed, tablet_id=27306172, txn_id=28573520, err=-235 or -215 这个错误通常发生在数据导入操作中。新版错误码为 -235,老版本错误码可能是 -215。这个错误的含义是,对应tablet的数据版本超过了最大限制(默认500),后续写入将被拒绝。比如问题中这个错误,即表示 27306172 这个tablet的数据...
这个错误通常发生在数据导入操作中。新版错误码为 -235,老版本错误码可能是 -215。这个错误的含义是,对应tablet的数据版本超过了最大限制(默认500,由 BE 参数max_tablet_version_num控制),后续写入将被拒绝。比如问题中这个错误,即表示 27306172 这个tablet的数据版本超过了限制。
慢恢复:当 Stream Load 写入数据返回 -235 异常时,如果在休眠之后的某次重试成功了,此时为了避免 Doris 有过大的写入压力,不直接进行下一次的 Stream Load 写入请求,而是将写入休眠时间进行指数级减少,直至 Doris 恢复正常写入速度。 这两个写入保护机制的引用,有效缓解了 Doris 写入大量数据时的压力,使得数据导入...
这个错误通常发生在数据导入操作中。新版错误码为 -235,老版本错误码可能是 -215。这个错误的含义是,对应tablet的数据版本超过了最大限制(默认500,由 BE 参数 max_tablet_version_num 控制),后续写入将被拒绝。比如问题中这个错误,即表示 27306172 这个tablet的数据版本超过了限制。
顺便说一下,如果出现 -235(旧版本是 -215)异常,一般是由于 Compaction 过慢导致 Tablet 版本堆积超过限制,这个时候通过 Grafana 看到 BE Compaction Score 在导入前后有明显的波动,而且绝对值很高。如果遇到此问题可以参阅 ApacheDoris 公众号文章:Doris 最佳实践-Compaction调优(3) 2)因 Hive 表字段变更导致 Broke...
另外,在大批量 Stream Load 导入的过程中容易遇到 -235 的问题,因为我们加入了 Stream Load 写入保护机制,具体为: 拥塞避免:当 Stream Load 写入数据返回 -235 异常时,写入线程进行休眠,初次休眠时间为 1 秒(后续每次休眠时间是上次休眠时间的 2 倍),等待休眠时间结束后再次重试写入,如果仍然失败则继续休眠,直至...