这个错误的含义是,对应tablet的数据版本超过了最大限制(默认500,由 BE 参数max_tablet_version_num控制),后续写入将被拒绝。比如问题中这个错误,即表示 27306172 这个tablet的数据版本超过了限制。 这个错误通常是因为导入的频率过高,大于后台数据的compaction速度,导致版本堆积并最终超过了限制。此时,我们可以先通过show ...
http://be-ip:be-port/varz # 默认配置为max_tablet_version_num=500 curl -X POST http://be-ip:be-port/api/update_config?max_tablet_version_num=2000 doris 1.1 之后新增了quick compaciton 这个问题得到有效解决,这个原理是导入的时候会主动触发compaction,而1.1之前只有后台线程周期性扫描,被动做compacti...
compaction_task_num_per_disk = 4 增加Compaction 线程总数,从默认 10 增加到 16: max_compaction_threads compaction = 16 减少Compaction 合并任务量: max_cumulative_compaction_num_singleton_deltas = 500 max_tablet_version_num = 1500 min_compaction_failure_interval_sec = 5 更换海量日志存储场景修改表...
Doris 优化:调整 Doris BE 参数,增加 CPU 资源参与 Compaction 操作;根据业务设置合理的表分区、分桶和副本数量,避免过多分分片,以降低 Compaction 的开销。同时增大 max_tablet_version_num ,避免版本堆积。 通过以上优化措施,每日新增的百亿数据可以平稳导入 Doris 中,整个导入过程中 BE 表现稳定,Compaction Score ...
Doris 优化:调整 Doris BE 参数,增加 CPU 资源参与 Compaction 操作;根据业务设置合理的表分区、分桶和副本数量,避免过多分分片,以降低 Compaction 的开销。同时增大max_tablet_version_num,避免版本堆积。 通过以上优化措施,每日新增的百亿数据可以平稳导入 Doris 中,整个导入过程中 BE 表现稳定,Compaction Score 始...
Q4. tablet writer write failed, tablet_id=27306172, txn_id=28573520, err=-235 or -215 or -238 这个错误通常发生在数据导入操作中。新版错误码为 -235,老版本错误码可能是 -215。这个错误的含义是,对应tablet的数据版本超过了最大限制(默认500,由 BE 参数 max_tablet_version_num 控制)...
将max_tablet_version_num 由默认的 500 设置为 1000。 参数描述:限制单个 tablet 最大 version 的数量。用于防止导入过于频繁,或 compaction 不及时导致的大量 version 堆积问题。当超过限制后,导入任务将被拒绝。 这也解释了为什么有 be 宕机后业务的 load 作业也会停止的原因。
tablet_rebalancer_type = partition # 频繁导入相关的内存优化 max_running_txn_num_per_db = 10000 streaming_label_keep_max_second = 300 label_clean_interval_second = 300 BE 配置 write_buffer_size=1073741824 max_tablet_version_num = 20000 ...
将max_tablet_version_num 由默认的 500 设置为 1000。 参数描述:限制单个 tablet 最大 version 的数量。用于防止导入过于频繁,或 compaction 不及时导致的大量 version 堆积问题。当超过限制后,导入任务将被拒绝。 这也解释了为什么有 be 宕机后业务的 load 作业也会停止的原因。
# 更加均衡的tablet分配和balance测量enable_round_robin_create_tablet=truetablet_rebalancer_type= partition # 频繁导入相关的内存优化max_running_txn_num_per_db=10000streaming_label_keep_max_second=300label_clean_interval_second=300 BE 配置 write_buffer_size=1073741824max_tablet_version_num=20000max_cum...