可以使用 query options 控制查询路由和查询的并行度。 对于WAAS,Impala 在内部使用 REQUEST_POOL 查询选项来控制用于查询的执行器组集。 WAAS 很复杂,但如果查询被发送到错误的池,您可以使用 REQUEST_POOL 查询选项来覆盖要使用的执行器组集。 set request_pool="group-set-large" WAAS 包括 Impala planner 中在...
(set by configuration and planner): REQUEST_POOL=root.area002,MT_DOP=0,DEFAULT_JOIN_DISTRIBUTION_MODE=SHUFFLE,EXEC_TIME_LIMIT_S=1800,TIMEZONE=Asia/Shanghai,CLIENT_IDENTIFIER=impala shell build version not available,DEFAULT_FILE_FORMAT=PARQUET,USE_LOCAL_TZ_FOR_UNIX_TIMESTAMP_CONVERSIONS=1,MINMAX_...
如果设置了 mem_limit, impala 将跳过Query内存评估环节, 直接检查Pool中剩余内存是否够用, 如果够用的话, 将直接执行. 如果不够用的话, 将按照pool设定的策略, 将Query放到queue队列中, 如果在timeout设定时间内仍得不到足量的内存资源, 该Query将被取消. 如果用户不设置mem_limit, 默认使用Pool的 default_pool...
<unnamed>: Total=0 Peak=0Process: memory limit exceeded. Limit=256.00 MB Total=259.52 MB Peak=299.01 MB Buffer Pool: Free Buffers: Total=0 Buffer Pool: Clean Pages: Total=0 Buffer Pool: Unused Reservation: Total=0 TCMalloc Overhead: Total=21.67 MB RequestPool=fe-eval-exprs: Total=0 Peak...
REQUEST_POOL : 设置所在的队列 EXPLAIN_LEVEL 参数可以控制 explain语句的输出, 也可以控制 profile 命令输出. 需要说明的是, explain 可以在SQL客户端中执行, 而profile 命令只能在impala shell中执行, 另外只能展现已经最近执行完毕的那个SQL的profile.
Request Pool: root.hive Admissionresult: Admitted immediately ExecSummary: OperatorHostsAvgTimeMaxTime#Rows Est. #Rows Peak Mem Est. Peak Mem Detail --- 03:AGGREGATE10.000ns0.000ns1120.00KB10.00MB FINALIZE 02:EXCHANGE1868.991ms868.991ms1100UNPARTITIONED 01:AGGREGATE10.000ns0.000ns1116.00KB10.00MB 00:...
Request Pool: root.hive Admissionresult: Admitted immediately ExecSummary: Operator#Hosts Avg Time Max Time #Rows Est. #Rows Peak Mem Est. Peak Mem Detail --- 08:MERGING-EXCHANGE14s122ms4s122ms141400UNPARTITIONED 04:SORT4249.999us999.996us141412.02MB12.00MB 07:AGGREGATE42.750ms4.000ms14141.99MB10...
1. 如果服务端没有配置fair-scheduler.xml和llama-site.xml,说明没有启动资源控制服务,则所有的请求都提交到一个名为default-pool的默认队列中; 2. 如果该查询没有指定REQUEST_POOL,则将REQUEST_POOL设置为yarn默认队列default。 判断队列名是否存在,然后再根据当前提交任务的用户和队列名判断该用户是否具有提交任务到...
[IP:21000] > set request_pool=default; REQUEST_POOL set to default 对其中一张表做compute stats,得到该表的分区和列数——【COMPUTE STATS可用来收集涉及到的所有表的统计信息,并让Impala基于每一个表的大小、每一个列不同值的个数、等等信息自动的优化查询,impala查询时计算内存消耗会更加准确】 ...
impala-shell -i {impalad实例ip:port} -Q request_pool=root.default(fair-scheduler.xml与llama-site.xml文件中配置的资源池) 执行SQL查询。 登录到impalad webui上查看资源池使用情况,确认配置已生效。 https://{集群控制台地址}:9022/component/Impala/Impalad/95/...