大家好，欢迎来到IT知识分享网。

当数据量比较大且分布不均匀时，对数据进行JOIN操作很容易造成数据倾斜，因为在JOIN的执行阶段会将JOIN KEY相同的数据分发到同一个task任务上处理，如果某个key上的数据量比较多，会导致该task执行的时间比其他的task执行时间长。

具体表现为：大部分的task任务都已经执行完成，但只有少数的几个task一直处于运行当中。

维表JOIN

当JOIN的维表数据量较小时(可以通过参数配置不超过多大)，可以使用map端join，避免分发引起数据倾斜。

空值

当JOIN的两个表数据量都很大，且数据倾斜是有空key造成的，可以将空key处理成随机值，避免分发到同一个task。

热点KEY

当JOIN的两个表的数据量都很大，且是有热点key导致的数据倾斜(某个key对应的数据量非常大)，可以将热点key与非热点key分别处理，再合并数据即可。

比如电商网站在大促时期，某些店铺的PV远远大于普通店铺的PV，某些热门商品的PV也远远大于一些长尾商品的PV，这个时候如果进行维表的JOIN，很容易导致数据倾斜。

map端JOIN

Join倾斜时，如果某路输入比较小，可以采用Mapjoin避免倾斜。Mapjoin的原理是将Join操作提前到Map端执行，这样可以避免因为分发Key不均匀导致数据倾斜。但是Mapjoin的使用有限制，必须是Join中的从表比较小才可用。所谓从表，即Left Outer Join中的右表，或者Right Outer Join中的左表。

map端join适用于当一张表很小(可以存在内存中)的情况，即可以将小表加载至内存。Hive从0.7开始支持自动转为map端join，具体配置如下：

SET hive.auto.convert.join=true; — hivev0.11.0之后默认true
SET hive.mapjoin.smalltable.filesize=600000000; — 默认 25m
SET hive.auto.convert.join.noconditionaltask=true; — 默认true
SET hive.auto.convert.join.noconditionaltask.size=10000000; — 加载到内存的表大小

一旦开启map端join配置，Hive会自动检查小表是否大于hive.mapjoin.smalltable.filesize配置的大小，如果大于则转为普通的join，如果小于则转为map端join。

关于map端join的原理，如下图所示：

首先，Task A(客户端本地执行的task)负责读取小表a，并将其转成一个HashTable的数据结构，写入到本地文件，之后将其加载至分布式缓存。然后，Task B任务会启动map任务读取大表b，在Map阶段，根据每条记录与分布式缓存中的a表对应的hashtable关联，并输出结果。

注意：map端join没有reduce任务，所以map直接输出结果，即有多少个map任务就会产生多少个结果文件。

空值数据倾斜

如果是因为空值导致数据倾斜，且JOIN的两张表数据量都很大，此时无法使用Mapjoin，可以将空值处理成随机值。因为空值是无法关联上，只是分发到了一处，因此给予随机值即不会影响关联也能避免聚集。当然我们也可以提前对空值进行过滤。

SELECT .. .

FROM (SELECT * FROM tbl1 WHERE ds = ‘${cur_date}’) a

LEFT OUTER JOIN (SELECT * FROM tbl1 WHERE ds = ‘${cur_date}’) b

ON coalesce(a.id, rand() * 9999) = b.id — 通过coalesce对空值进行随机分发，避免聚集

count distinct倾斜

场景

特殊值过多，常见于固定的特殊值比较多的场景，和join中易产生倾斜的key类似。

• 解决方案

先过滤特殊值，在count结果的基础上加上特殊值的个数。或根据具体场景进行具体分析。

热点Key数据倾斜

假设有下面两张表，一张事实表，一张维表：

• 事实表：fact_tbl
• 数据量：100MB
• 其中一个字段名是：code_id
• 99MB的数据对应的code_id为100
• 只有1MB的数据对应的code_id是均匀分布的
• 维表：dim_tbl
• 数据比较大，不能进行Map端join
• code_id可以唯一约束一条记录

如果将上面两个表进行join：

SELECT *
FROM fact_tbl f
LEFT JOIN dim_tbl d
ON f.code_id = d.code_id

我们会注意到99%的reduce任务会快速运行结束，但是会有一个reduce任务运行的时间特别长(因为code_id=100对应的了99MB的数据)，这也就是上面提到的数据倾斜。

解决方案

SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据的Join结果并合并，加快Join的执行速度。

我们可以通过配置Skew Join 优化，如下：

set hive.optimize.skewjoin=true;
set hive.skewjoin.key=500000;
set hive.skewjoin.mapjoin.map.tasks=10000;
set hive.skewjoin.mapjoin.min.split=33554432;

• hive.optimize.skewjoin

是否开启skew join优化，当开启参数时，在进行查询的时候会识别数据倾斜的key，首先将这些key存储在HDFS的临时文件上，在接下来的map-reduce过程中，再去处理这些数据倾斜的key（启动map端join专门计算这个特殊值）

• hive.skewjoin.key

告诉hive这个join的skew key是什么，即如何判断哪个key是数据倾斜的key。根据该参数的配置值，比如默认100000，那么就认为超过100000条记录的值就是数据倾斜的key。

Skew Join的具体过程如下图所示：

大致的步骤为：现将引起数据倾斜的key分别写入到HDFS的临时文件中，如上图的HDFS File a-K1与HDFS File b-K1，对倾斜key的数据执行map端join；对其他分布均匀的key正常执行join任务，最后将两份join的数据进行合并。