BE节点监控指标如表2所示。 表2 BE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期(原始指标) doris_be_active_scan_context_count 由外部直接打开的scanner的个数 - ≥0 60s doris_be_add_batch_task_queue_size 接收batch的线程池的队列大小 - ≥0 60s doris_be_brpc_endpoint_stub_count ...
4.doris_be_add_batch_task_queue_size Doris开启导入任务后,接收导入batch的线程池队列大小。当队列长度大于1时,说明有导入积压。如果可以容忍有少部分积压任务,可以适当增大预警值。 doris_be_add_batch_task_queue_size{group="be"} > 0 1. 5.doris_be_disks_compaction_num Doris每个be节点每个挂载数据目录...
容量监控:CPU、内存、磁盘、doris_be_add_batch_task_queue_size、doris_fe_query_latency_ms、doris_be_plan_fragment_count 高可用能力 服务高可用:主要依赖Doris自身的能力,引入负载均衡绑定后端,实现连接数的均衡,以及读写高可用 链路高可用:支持异常重试和电话告警,数据支持幂等操作 其他保障能力 业务拦截能力:设置...
BE节点监控指标如表2所示。 表2 BE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期(原始指标) 命名空间 doris_be_active_scan_context_count 由外部直接打开的scanner的个数 - ≥0 60s SYS.CloudTable doris_be_add_batch_task_queue_size 接收batch的线程池的队列大小 - ≥0 60s SYS.CloudTabl...
// not for resending task AgentTaskQueue.addTask(task); } } AgentTaskExecutor.submit(batchTask); } 整体流程: 创建Partition 对象 创建MaterializedIndex对象 对于每个MaterializedIndex对象 创建创建Tablet 创建replica并下发任务到BE // estimate timeout long timeout = Config.tablet_create_timeout_second...
// not for resending task AgentTaskQueue.addTask(task); } } AgentTaskExecutor.submit(batchTask); } 整体流程: 创建Partition 对象 创建MaterializedIndex对象 对于每个MaterializedIndex对象 创建创建Tablet 创建replica并下发任务到BE 代码语言:javascript 代码运行次数:0 运行 AI代码解释 // estimate timeout lo...
doris_be_active_scan_context_count Num the number of scanners currently opened directly from the outside doris_be_add_batch_task_queue_size Num When recording import, the queue size of the thread pool that receives the batch If it is greater than 0 , it means there is a backlog at th...
FE会将一个导入作业拆分成若干task,每个task负责导入一部分的数据,不同的task被分配到不同的BE上去执行。 在BE上,每个task会被当成普通的stream load任务去执行,导入完成后,向FE汇报。 FE根据汇报结果,继续生成新的task,或重试失败的task。 支持无认证的kafka集群,SSL认证的kafka集群,以及kerberos认证的kafka集群。
"max_batch_size" = "104857600" 这三个参数需要合理设置 doris broker loda 1.提交流程 用户在提交导入任务后,FE 会生成对应的 Plan 并根据目前 BE 的个数和文件的大小,将 Plan 分给 多个 BE 执行,每个 BE 执行一部分导入数据。 BE 在执行的过程中会从 Broker 拉取数据,在对数据 transform 之后将数据导...
sink.batch.size 10000 单次写BE的最大行数 sink.max-retries 1 写BE失败之后的重试次数 sink.properties.* – Stream Load 的导入参数。 例如: ‘sink.properties.column_separator’ = ', ’ doris.sink.task.partition.size – Doris写入任务对应的 Partition 个数。Spark RDD 经过过滤等操作,最后写入的 Pa...