大数据之hive数据倾斜类型及优化方案「建议收藏」

大家好，欢迎来到IT知识分享网。

mapjoin原理(示意图来源于网络)

Hive 查询的数据倾斜分为Map端和Reduce 端数据倾斜：

Map端数据倾斜主要是输入文件大小不均匀导致

Reduce端数据倾斜主要是partition不均匀导致

1.1.1.1. Map端缓慢，输入文件过多且大小不统一

解决方法：

 set hive.merge.mapfiles=true 合并小文件(默认开启)

set hive.map.aggr=true; 开启map端聚合(默认开启)

set hive.groupby.skewindata=true 开启groupby 处理数据倾斜功能(默认关闭) 

IT知识分享网

//设置为true 时会生成两个查询计划, 第一个job 是将map端的输出结果随机分配到reduce中执行部分聚合(相当于预处理过程)，实现负载均衡。第二个job 会对预处理的数据执行groupby计算出最终结果

对于map端计算量很大的情形，需要将增加map和reduce 的task 个数

IT知识分享网Set hive.mapred.map.tasks=10

Set hive.mapred.reduce.tasks=10

1.1.1.2. Join 关联的字为null或者group by 的字段为null

对于group by中字段为null 的key 就会分配到同一个节点上进行计算导致计算量过大

解决办法：过滤掉关联字段/或聚合字段为null 的数据

1.1.1.3. 不同数据类型关联导致的数据倾斜

例如，关联的字段user_id 在t1表中时int类型，在t2表中是string类型，则将user_id 统一以int 类型处理。

 Select * from t1 left join t1 on t2.user_id = cast(t1.user_id as string)

1.1.1.4. 针对count (distinct)出现的数据倾斜

对于count (distinct field) 这种情形distinct 会对全局数据进行排序，导致执行效率低下。尤其是对于数据量级较大的情形，容易出现数据倾斜的问题。

解析办法：通过sum(1) group by 方法代替

IT知识分享网 例如:	select count(distinct a) from t1;
优化为: select count(*) from (select 1 from t1 group by a)t

1.1.1.5. Join关联查询导致数据倾斜

mapjoin 原理（示意图来源于网络）

遵循左小表右大表的原则进行关联，执行Join 时，左边表的数据首先会读入内存，降低OOM的概率。

或者使用mapjoin 将小表加入到内存中，然后在对大表进行map，这样的优势在于map端的join 不会有shuffle,如图执行原理

（通过/*+ MAPJOIN(tb_name) */ 的方式将sql 翻译成mapjoin,tb_name 即指定小表名称 ）

Select /*+MapJoin(t1)*/ user_id from t1 left join t1 on t2.user_id = cast(t1.user_id as string)