在实际集群运行环境中,Coordinator 等待 FE 完成创建分区事务往往面临巨大的时间开销成本。原因是 Thrift RPC 过程产生的固有开销,以及高负载情况下 FE 的锁开销。为了提高数据导入的效率,我们在 Auto Partition 场景中进行了攒批操作,从而大幅减少 RPC 调用次数,这一改进显著提升了数据写入性能 需要注意的是,目前 FE ...
CREATE CATALOG hive PROPERTIES ('type'='hms','hive.metastore.uris'='thrift://172.0.0.1:9083','hadoop.username'='hive');SWITCH hive;DESC st;+---+---+---+---+---+---+|Field| Type |Null|Key|Default| Extra |+---+---+---+---+---+---+| id |VARCHAR(255)| Y...
Unanswered wangguan13asked this question inA - General / Q&A Oct 12, 20232 comments Discussion options wangguan13 Oct 12, 2023 - BE日志 I1012 13:53:06.394686 131817 client_cache.h:167] Failed to get client from cache: [THRIFT_RPC_ERROR]Couldn't open transport for 127.0.0.1:9020 (socket...
Guance-Select:对于查询执行,如果 Doris 支持查询 SQL 语义或函数,Guance-Select 会将查询下推到 Doris Frontend 进行计算;如果没有,它将选择后备选项:通过 Thrift RPC 接口获取 Arrow 格式的柱状数据,然后在 Guance-Select 中完成计算。问题是它无法将计算逻辑下推到 Doris Backend,因此它可能比在 Doris Frontend...
在阅读了 Broker Load 的访问 HDFS 相关代码后确认了问题原因,Broker Load 调用 HDFS 的 LS、DU 方法时会获取文件目录信息,由于路径下的文件过多导致耗时会超过 45 秒,而 Thrift 设置的 Socket 请求超时默认小于 40 秒,所以出现了上述的 RPC 异常,问题反馈社区后,对 FE 增加了配置参数broker_timeout_ms,设置...
在阅读了 Broker Load 的访问 HDFS 相关代码后确认了问题原因,Broker Load 调用 HDFS 的 LS、DU 方法时会获取文件目录信息,由于路径下的文件过多导致耗时会超过 45 秒,而 Thrift 设置的 Socket 请求超时默认小于 40 秒,所以出现了上述的 RPC 异常,问题反馈社区后,对 FE 增加了配置参数broker_timeout_ms,设置...
CREATECATALOG hive PROPERTIES ('type'='hms','hive.metastore.uris'='thrift://172.0.0.1:9083','hadoop.username'='hive');SWITCH hive;DESCst;+---+---+---+---+---+---+|Field|Type|Null|Key|Default|Extra|+---+---+---+---+---+---+|id|VARCHAR(255)|Yes|true|NULL|||status...
在阅读了 Broker Load 的访问 HDFS 相关代码后确认了问题原因,Broker Load 调用 HDFS 的 LS、DU 方法时会获取文件目录信息,由于路径下的文件过多导致耗时会超过 45 秒,而 Thrift 设置的 Socket 请求超时默认小于 40 秒,所以出现了上述的 RPC 异常,问题反馈社区后,对 FE 增加了配置参数broker_timeout_ms,设置...
CREATECATALOGhivePROPERTIES('type'='hms','hive.metastore.uris'='thrift://172.0.0.1:9083','hadoop.username'='hive');SWITCHhive;DESCst;+---+---+---+---+---+---+|Field|Type|Null|Key|Default|Extra|+---+---+---+---+---+---+|id|VARCHAR(255)|Yes|true|NULL|||status|TINYI...
# 1.查看进程[root@hadoop01 ~]# jps14994Jps9657DorisFE# 2.curl状态检查[root@hadoop01 fe]# curl http://127.0.0.1:8030/api/bootstrap{"msg":"success","code":0,"data":{"replayedJournalId":0,"queryPort":0,"rpcPort":0,"version":""},"count":0}# 这里 IP 和 端口分别是 FE 的 IP...