在实际集群运行环境中,Coordinator 等待 FE 完成创建分区事务往往面临巨大的时间开销成本。原因是 Thrift RPC 过程产生的固有开销,以及高负载情况下 FE 的锁开销。为了提高数据导入的效率,我们在 Auto Partition 场景中进行了攒批操作,从而大幅减少 RPC 调用次数,这一改进显著提升了数据写入性能 需要注意的是,目前 FE ...
doris_fe_thrift_rpc_latency_ms_{method_name} FE thrift接口各个方法接收的RPC请求耗时 ≥0 60s Service.CloudTable doris_fe_thread_pool_thrift_server_pool_active_thread_num doris_fe_thread_pool_thrift_server_pool_active_thread_num 线程池thrift-server-pool正在执行的任务数 ≥0 60s Service.CloudTable...
DU 方法时会获取文件目录信息,由于路径下的文件过多导致耗时会超过 45 秒,而 Thrift 设置的 Socket 请求超时默认小于 40 秒,所以出现了上述的 RPC 异常,问题反馈社区后,对 FE 增加了配置参数broker_timeout_ms,设置为 90 秒后解决问题。
DU 方法时会获取文件目录信息,由于路径下的文件过多导致耗时会超过 45 秒,而 Thrift 设置的 Socket 请求超时默认小于 40 秒,所以出现了上述的 RPC 异常,问题反馈社区后,对 FE 增加了配置参数 broker_timeout_ms ,设置为 90 秒后解决问题。
在阅读了 Broker Load 的访问 HDFS 相关代码后确认了问题原因,Broker Load 调用 HDFS 的 LS、DU 方法时会获取文件目录信息,由于路径下的文件过多导致耗时会超过 45 秒,而 Thrift 设置的 Socket 请求超时默认小于 40 秒,所以出现了上述的 RPC 异常,问题反馈社区后,对 FE 增加了配置参数broker_timeout_ms,设置...
在阅读了 Broker Load 的访问 HDFS 相关代码后确认了问题原因,Broker Load 调用 HDFS 的 LS、DU 方法时会获取文件目录信息,由于路径下的文件过多导致耗时会超过 45 秒,而 Thrift 设置的 Socket 请求超时默认小于 40 秒,所以出现了上述的 RPC 异常,问题反馈社区后,对 FE 增加了配置参数broker_timeout_ms,设置...
CREATE CATALOG hive PROPERTIES ('type'='hms','hive.metastore.uris'='thrift://172.0.0.1:9083','hadoop.username'='hive');SWITCH hive;DESC st;+---+---+---+---+---+---+|Field| Type |Null|Key|Default| Extra |+---+---+---+---+---+---+| id |VARCHAR(255)| Y...
在阅读了 Broker Load 的访问 HDFS 相关代码后确认了问题原因,Broker Load 调用 HDFS 的 LS、DU 方法时会获取文件目录信息,由于路径下的文件过多导致耗时会超过 45 秒,而 Thrift 设置的 Socket 请求超时默认小于 40 秒,所以出现了上述的 RPC 异常,问题反馈社区后,对 FE 增加了配置参数broker_timeout_ms,设置...
rpc_port = 9020 query_port = 9030 edit_log_port = 9010 mysql_service_nio_enabled = true ## 在这里加该配置就行 enable_http_server_v2 = true # Choose one if there are more than one ip except loopback address. # Note that there should at most one ip match this list. ...
FeServer其实是一个基于Thrift的RPC服务, 通过其构造函数我们可以很轻易的知道, 构造函数代码如下: 代码语言:javascript 复制 publicvoidstart()throws IOException{TProcessor tprocessor=newFrontendService.Processor<FrontendService.Iface>(newFrontendServiceImpl(ExecuteEnv.getInstance()));server=newThriftServer(port,t...