1 首先通过hive创建一个表table_test 在hdfs的存储路径会生成相应的表 TBLS 也会更新内容进行记录 2 通过hive插入insert一条数据 会走一遍MR,数据产生变化后 TAB_COL_STATS有记录改变(CS_ID)、(TBL_ID) 3 通过hdfs 直接向hive的warehouse上传数据到表中 hadoop fs -put test_table01.txt /user/hive/warehouse...
IDXS 索引表,存储Hive索引相关的元数据 INDEX_PARAMS 索引相关的属性信息。 TAB_COL_STATS 表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。 TBL_COL_PRIVS 表字段的授权信息 PART_PRIVS 分区的授权信息 PART_COL_STATS 分区字段的统计信息。 PART_COL_PRIVS 分区字段的权限信息。 FUNCS 用户注册的函...
INDEX_PARAMS--索引相关的属性信息。 TAB_COL_STATS--表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。 TBL_COL_PRIVS--表字段的授权信息 PART_PRIVS--分区的授权信息 PART_COL_STATS--分区字段的统计信息。 PART_COL_PRIVS--分区字段的权限信息。 FUNCS--用户注册的函数信息 FUNC_RU--用户注册函数...
TAB_COL_STATS:基于表的列统计信息收集 两者张表的表结构大致相同,一个基于表一个基于表的分区级别。 这里讲解一下PART_COL_STATS统计哪些元数据信息(这里基于Mysql存放Hive元数据信息),表结构如下: 代码语言:javascript 复制 CREATETABLE`PART_COL_STATS`(`CS_ID`bigint(20)NOTNULLcomment'ID',`DB_NAME`varchar...
TBL_PRIVS、TBL_COL_PRIVS表记录该hive表的表及列权限认证信息。PARTITIONS表记录该表的DDL分区的信息,对于PARTITION_KEYS以及PARTITION_VALUES都是用于PartName的拼接获取。(可查看本博客 hive metadata源码解析) (IDXS 与 TAB_COL_STATS还没有深入研究,后续添加) ...
TAB_COL_STATS 表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。 TBL_COL_PRIVS 表字段的授权信息 PART_PRIVS 分区的授权信息 PART_COL_STATS 分区字段的统计信息。 PART_COL_PRIVS 分区字段的权限信息。 FUNCS 用户注册的函数信息 FUNC_RU 用户注册函数的资源信息 概述 Hive 的元数据信息通常存储在关...
1.7.4 TAB_COL_STATS 表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。 1.7.5 TBL_COL_PRIVS 表字段的授权信息 1.7.6 PART_PRIVS 分区的授权信息 1.7.7 PART_COL_STATS 分区字段的统计信息。 1.7.8 PART_COL_PRIVS 分区字段的权限信息。
在HiveMeta元数据信息表TAB_COL_STATS或PART_COL_STATS收集了每列的为null的记录数,通过表的所有为null列的比较找到null列的最大记录数MaxNulls。再通过总记录TotalRowCount - MaxNulls估算出非空记录数。 从RexCall调用表达式中获取,HiveCalciteUtil.getInputRefs方法返回列引用的序号集合,在通过TableScan获取每列的...
TOK_TABNAME dim dim_region TOK_INSERT TOK_DESTINATION TOK_DIR TOK_TMP_FILE TOK_SELECT TOK_SELEXPR TOK_ALLCOLREF TOK_WHERE = TOK_TABLE_OR_COL dt '2021-05-23' 阶段二:语义解析 遍历AST Tree,抽象出查询的基本组成单元QueryBlock: AST Tree生成后由于其复杂度依旧较高,不便于翻译为mapreduce程序,需...
TOK_TABNAME dim dim_region TOK_INSERT TOK_DESTINATION TOK_DIR TOK_TMP_FILE TOK_SELECT TOK_SELEXPR TOK_ALLCOLREF TOK_WHERE = TOK_TABLE_OR_COL dt '2021-05-23' 阶段二:语义解析 遍历AST Tree,抽象出查询的基本组成单元QueryBlock: AST Tree生成后由于其复杂度依旧较高,不便于翻译为mapreduce程序,需...