#开启单副本导入提升导入性能enable_single_replica_load=true#更加均衡的tablet分配和balance测量enable_round_robin_create_tablet=truetablet_rebalancer_type=partition#频繁导入相关的内存优化max_running_txn_num_per_db=10000streaming_label_keep_max_second=300label_clean_interval_second=300 BE 配置 write_buffer...
# 频繁导入相关的内存优化max_running_txn_num_per_db=10000streaming_label_keep_max_second=300label_clean_interval_second=300 BE 配置 write_buffer_size=1073741824max_tablet_version_num=20000max_cumu_compaction_threads=10(cpu的一半)enable_write_index_searcher_cache=falsedisable_storage_page_cache=truee...
max_running_txn_num_per_db = 10000 streaming_label_keep_max_second = 300 label_clean_interval_second = 300 BE 配置 write_buffer_size=1073741824 max_tablet_version_num = 20000 max_cumu_compaction_threads = 10(cpu的一半) enable_write_index_searcher_cache = false disable_storage_page_cache =...
# 频繁导入相关的内存优化max_running_txn_num_per_db=10000streaming_label_keep_max_second=300label_clean_interval_second=300 BE 配置 write_buffer_size=1073741824max_tablet_version_num=20000max_cumu_compaction_threads=10(cpu的一半)enable_write_index_searcher_cache=falsedisable_storage_page_cache=truee...
max_running_txn_num_per_db 默认值:100 是否可以动态配置:true 是否为 Master FE 节点独有的配置项:true 这个配置主要是用来控制同一个 db 的并发导入个数的。 当集群中有过多的导入任务正在运行时,新提交的导入任务可能会报错: current running txns on db xxx is xx, larger than limit xx 该遇到该错误...
在云信数据平台中,网易同样使用 Apache Doris 替代了早期架构中的时序数据库 InfluxDB,将其作为数据平台核心存储和计算引擎,由 Apache Doris 统一提供离线和实时查询服务。 支持高吞吐写入:线上平均 500M/s、峰值 1GB/s 的写入流量,InfluxDB 使用 22 台服务器,CPU 资源使用率约 50%,而 Doris 仅使用 11 台机器...
参数调整: max_running_txn_num_per_db : 100->1000->2048 03 FE 假死 通过Grafana 监控发现, FE 经常出现宕机现象,主要原因是因为早期该平台采用 FE 和 BE 混合部署的方式,当 BE 进行网络 IO 传输的时候,可能会挤占同机器 FE 的 IO 与内存。其次,因运维团队的 Prometheus 对接的服务比较多,其稳定性与健...
# 开启单副本导入提升导入性能enable_single_replica_load=true# 更加均衡的tablet分配和balance测量enable_round_robin_create_tablet=truetablet_rebalancer_type=partition# 频繁导入相关的内存优化max_running_txn_num_per_db=10000streaming_label_keep_max_second=300label_clean_interval_second=300 ...
简介:网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,...
但同时我们通过对max_running_txn_num_per_db参数的设置已经对数据导入在fe端做了限流,所以为何fe的master节点的线程数会飙升让我们感到比较奇怪。经过查看日志发现,be端有大量请求数据导入执行计划失败的日志。我们的确限制住了单个db能够允许同时存在的最大事务数目,但是由于fe在计算执行计划的时候需要获取db的读锁,...