impala 的笔记

大家好，欢迎来到IT知识分享网。

#############################################################################

impala 的简介

Cloudera 公司推出 ， 提供对HDFS , Hbase 数据的高性能 ， 低延迟的交互SQL 查询功能

Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

 

基于 hive , 使用内存计算 ， 兼顾数据仓库 ， 具有实时 ， 批处理 ， 多并发的优点（多个客户端访问，没hive 开多个客户端消耗的性能大）

1. impala 完全基于hive , 并与hive 共享元数据

2.基于内存计算的（官方推荐的内存128G ， 实际工作中一般64G）

3.是CDH 平台首选的 PB 级大数据实时查询分析引擎

 

############################################################################

impala 的优点

1.基于内存进行计算 ， 能够对PB 级别数据进行交互式实时查询 ， 分析 。Impala不需要把中间结果写入磁盘，省掉了大量的I/O开销。

2.无需转换为MR ，省掉了MapReduce作业启动的开销。MapReduce启动task的速度很慢（默认每个心跳间隔是3秒钟），Impala直接通过相应的服务进程来进行作业调度，速度快了很多。 直接读取HDFS 的数据

3. c++ 编写 ，做了很多有针对性的硬件优化， 通过使用LLVM来统一编译运行时代码，避免了为支持通用编译而带来的不必要开销。

4.兼容HiveSQL

5.具有数据仓库的特性 ， 可对hive 数据直接做数据分析

6.支持Data Local

7.支持列式存储 ，多种存储格式可以选择（Parquet, Text, Avro, RCFile, SequeenceFile）。

8.支持JDBC / ODBC 远程访问

9.Impala完全抛弃了MapReduce这个不太适合做SQL查询的范式，而是像Dremel一样借鉴了MPP并行数据库的思想另起炉灶，因此可做更多的查询优化，从而省掉不必要的shuffle、sort等开销。

 

 

impala 的劣势

1.对内存的依赖大

2.C++ 编写 ， 源码不好看

3. 完全依赖于 hive , 有 impala 必须先有hive

4. 实践过程中 ， 分区超过 1W ， 性能严重下降

5 . 稳定性不如hive

6.不支持text域的全文搜索。

7.不支持Transforms。

8.不支持查询期的容错。

9.不支持用户定义函数UDF。

 

##################################################################

impala 的安装

1.ClouderaManager

2.手动安装 （版本兼容很差，不太建议 ）

 

##################################################################

impala 的架构

impala 支持 jdbc , odb成，client , hue ,impala shell 的访问方式

impala 的角色

1. impala StateStore （可有可无 ，缺少了，只是不知道这个节点是否正常运行）

监控集群中各个节点的健康状况，提供节点注册、错误检测等功能

自己的理解：就是查看集群状态的

2.impala Catalog Server （impala 1.2 之后新加的角色 ， 以前手动同步）

分发表的元数据信息到各个impalad 中

接受来自statestore 的所有请求

建表的信息同步不了 ， hive 中建立了表 ， impala 想查看 ，需要先把表的信息同步到impala 中

3. impala Daemon ： 真正执行计算的

实例：impalad （可以有多个）

Impalad主要包含Query Planner、Query Coordinator和Query Exec Engine三个模块

接受client , hue , jdbc 或odbc请求 ， Query 执行并发回给中心协调节点（即接受cleint的那台 Coordinator）

子节点上的守护进程 ， 负责向statestore 保持通信 ，汇报工作

自己理解：接受客户端请求 ，然后返回数据给 Catalog Daemon 节点

 

自己的理解：.impala Catalog Server 和 impala StateStore 理解为一个impala主节点 ，相对来说impala 没有主节点的概念 ，只是相对来说 。Impala 部署于所有节点，无主仆之分，任意节点均可以直接接受任务。

Catalog 对hive 元数据的同步 ， statestore 对集群状态的监控 ，会缓存 ，所以中途停止一段时间没事（不能加新的impalad , 加了也启动不掉 ，启动impala 会需要statestore）

 

impalad 的详细介绍

1.query planner ： 接收来自SQL APP和ODBC的查询，然后将查询转换为许多子查询

2. query coordinator ：将这些子查询分发到各个节点上 , 查询的时候只会使用到唯一处存在的调度器机器上的coordinator ，其他的不会涉及

3. query executor ： 负责子查询的执行，最后返回子查询的结果，这些中间结果经过聚集之后最终返回给中心协调节点（即接受cleint的那台 Coordinator）。

 

因为statestore 和 catalog 之间需要相互通信 ，所以经常把他们放在同一台的主机上 ，这样就可以避免走网络请求

 

impalad 和datanode 经常在一起 ，为了数据本地化

 

Impalad

接收客户端的查询请求（接收查询请求的Impalad为Coordinator，Coordinator通过JNI调用java前端解释SQL查询语句，生成查询计划树，再通过调度器把执行计划分发给具有相应数据的其它Impalad进行执行），读写数据，并行执行查询，并把结果通过网络流式的传送回给Coordinator，由Coordinator返回给客户端。同时Impalad也与State Store保持连接，用于确定哪个Impalad是健康和可以接受新的工作。在Impalad中启动三个ThriftServer: beeswax_server（连接客户端），hs2_server（借用Hive元数据）， be_server（Impalad内部使用）和一个ImpalaServer服务。每个impalad实例会接收、规划并调节来自ODBC或Impala Shell等客户端的查询。每个impalad实例会充当一个Worker，处理由其它impalad实例分发出来的查询片段(query fragments)。客户端可以随便连接到任意一个impalad实例，被连接的impalad实例将充当本次查询的协调者（Ordinator)，将查询分发给集群内的其它impalad实例进行并行计算。当所有计算完毕时，其它各个impalad实例将会把各自的计算结果发送给充当 Ordinator的impalad实例，由这个Ordinator实例把结果返回给客户端。每个impalad进程可以处理多个并发请求。

 

Impala State Store

跟踪集群中的Impalad的健康状态及位置信息，由statestored进程表示，它通过创建多个线程来处理Impalad的注册订阅和与各Impalad保持心跳连接，各Impalad都会缓存一份State Store中的信息，当State Store离线后（Impalad发现State Store处于离线时，会进入recovery模式，反复注册，当State Store重新加入集群后，自动恢复正常，更新缓存数据）因为Impalad有State Store的缓存仍然可以工作，但会因为有些Impalad失效了，而已缓存数据无法更新，导致把执行计划分配给了失效的Impalad，导致查询失败。

• 用于协调各个运行impalad的实例之间的信息关系，Impala正是通过这些信息去定位查询请求所要的数据。换句话说，state store的作用主要为跟踪各个impalad实例的位置和状态，让各个impalad实例以集群的方式运行起来。
• 与 HDFS的NameNode不一样，虽然State Store一般只安装一份，但一旦State Store挂掉了，各个impalad实例却仍然会保持集群的方式处理查询请求，只是无法将各自的状态更新到State Store中，如果这个时候新加入一个impalad实例，则新加入的impalad实例不为现有集群中的其他impalad实例所识别（事实上，经笔者测试，如果impalad启动在statestored之后，根本无法正常启动，因为impalad启动时是需要指定statestored的主机信息的）。然而，State Store一旦重启，则所有State Store所服务的各个impalad实例（包括state store挂掉期间新加入的impalad实例）的信息（由impalad实例发给state store）都会进行重建。

 

CLI（Impala shell）

提供给用户查询使用的命令行工具（Impala Shell使用python实现），同时Impala还提供了Hue，JDBC， ODBC使用接口。该客户端工具提供一个交互接口，供使用者发起数据查询或管理任务，比如连接到impalad。这些查询请求会传给ODBC这个标准查询接口。说白了，就是一个命令行客户端。

与Hive的关系

 

####################################################################

impala 的 监控管理

1.配置信息 metrics

http://主机名：25020

 

2.元数据信息 catalog (也就是数据库 和表的信息 )

http://主机名：25010

 

#####################################################################

impala 的存储和分区

推荐parquent 文件类型 ， snappy 的压缩格式

insert 可能或报错 ， 可能是文件类型的原因 ， 这个类型的insert 语法不支持

 

 

 

 

##################################################################

impala 比较重要的配置

statore

statore 的工作线程数 ， 线程数越高 ，查询效率越高

 

impala Daemon 的内存的限制 ， 官方128 G ， 但是根据企业的服务器合理的配置 ，这个配置是我们单台的配置 ，是让总和加起来差不多64G 就行了

 

硬限制：实际分多少就是多少

软限制：有弹性的

 

 

#########################################################################

impala shell 外部shell

-h 帮助

impala-shell -h

 

-v 查询版本的信息 (查询的是impala 的版本)

impala-shell -v

注意：进入impala 的shell 后的version , 是查询的impala shell 的版本 ，impala和 impala shell 的版本不一致会出现问题

 

-V 启用详细的输出

impala-shell -V

注意： 查询的时候，列出硬件CPU ， 内存的消耗等都会列出来

 

–quiet 关闭详细输出

 

-p 显示执行计划

impala-shell -p

注意：在执行sql 之前 ，需要消耗多少的运行资源

 

-i hostname (–impala=hostname) 指定链接主机

impala-shell -i hadoop2

格式hostname:port 默认端口21000

 

-r (–refresh_after_connect) 刷新所有的元数据 , 不要轻易的使用 ，尤其数据量大的时候 , 第一次同步hive 元数据的时候可以使用

impala-shell -r

catalog 同步hive 元数据的时候 ，不会同步建表的元数据

 

-q query(–query=query) 从命令行执行查询 ， 不进入impala-shell

impala-shell -q “select * from user;”

 

-d 指定进入的库

impala-shell -d db2

注意： impala 中 ，default 数据库权限是最高的 ， 默认会进入到default 数据库

 

-B (–delimited) 去格式化输出

–output_delimiter=character 指定分隔符

–print_header 打印列名

impala-shell -B –output_delimiter==,

 

-f query_file 执行查询文件 ， 以分号分隔

-o filename 输出结果到指定的文件

impala-shell -f test.sql -o aa.txt

 

-c 查询执行失败时继续执行

sql 文件查询的时候 ，查询失败的时候回继续执行

 

-k 使用kerberos 安全加密方式运行impala-shell

-l 启用LDAP 认证

-u 启用LDAP 时 ， 指定用户名

 

##########################################################################

impala shell 内部shell

 

help

connect <hostname:port> 链接主机 ，默认端口21000

 

refresh<增量刷新元数据库>

invalidate metadata 全量刷新元数据库 ， 相当于外部shell 的-r , 消耗时间长

 

explain <sql> 显示sql 的查询计划 ，步骤信息

set explain_level 2 设置显示级别（0，1，2，3），越高查询计划越详细 ，一般工作设置成2

 

shell <shell> 不退出impla-shell 执行linux 命令 ， 支持比较少 ，一般ls

 

profile (查询完成后执行 ， 查询最近一次查询的底层信息 ，硬件资源消耗)

 

##########################################################################

impala sql 与 hive sql 的区别

impal 不支持 array , map ， struct ,complex 不支持这几种数据类型（CDH5.5版本以后兼容 ，但是兼容性不好） ，如果要对hive 中这几种数据类型查询 ，需要转化中间表 ，然后进行查询

impala 不支持hive 的可扩展机制 ，例如 ：Transform , 自定义文件格式

不支持XML ， json 函数

不支持某些聚合函数：covar_pop , covar_samp ,corr , percentile , percentile_approx , histogram_numeric ,collect_set

impala 仅支持 avg , count , max , min , sum 函数

不支持多distinct 查询

不支持HDF ,UDAF

不支持一下语句：analyze table (Impala : compute stats) ; describe column ; describe database ; export table ; import table ; show table extended , show indexs , show columns

 

##########################################################################

impala sql

创建数据库

– create database db1;

– use db1;

 

删除数据库

– use default；

– drop database db1；

 

创建表(内部表)

– 默认方式创建表：

• create table t_person1(

• id int,

• name string

• )

 

– 指定存储方式：

• create table t_person2(

• id int,

• name string

• )

• row format delimited

• fields terminated by ‘\0’ (impala1.3.1版本以上支持‘\0’ )

• stored as textfile;

 

– 其他方式创建内部表

• 使用现有表结构：

• create table tab_3 like tab_1;

• 指定文本表字段分隔符：

• alter table tab_3 set serdeproperties

(‘serialization.format’=‘,’,’field.delim’=‘,’);

 

插入数据

– 直接插入值方式：

• insert into t_person values (1,hex(‘hello world’));

注意： 每插入一条数据 ， 就会产生一个快 ，插入的很多的话 ，块就会很多 ，查询起来性能就会有所下降 ，如果真的有很多小文件的话 ，① 可以采用中间表的方式 ，把小的文件读出来，写入到中间表。 ② 使用load 的方式去加载

– 从其他表插入数据：

• insert (overwrite) into tab_3 select * form tab_2 ;

– 批量导入文件方式方式：

• load data local inpath ‘/xxx/xxx’ into table tab_1;

 

创建表(外部表)

– 默认方式创建表：

• create external table tab_p1(

• id int,

• name string

• )

• location ‘/user/xxx.txt’

– 指定存储方式：

• create external table tab_p2 like parquet_tab

• ‘/user/xxx/xxx/1.dat’

• partition (year int , month tinyint, day tinyint)

• location ‘/user/xxx/xxx’

• stored as parquet;

 

视图

– 创建视图：

• create view v1 as select count(id) as total from tab_3 ;

– 查询视图：

• select * from v1;

– 查看视图定义：

• describe formatted v1

• 注意：

– 1）不能向impala的视图进行插入操作

– 2） insert 表可以来自视图

 

##########################################################################

impala 的 数据文件处理

– 加载数据（过多小文件的处理方式2,3）：

• 1、 insert语句：插入数据时每条数据产生一个数据文件，不建议用此方式

加载批量数据

• 2、 load data方式：再进行批量插入时使用这种方式比较合适

• 3、来自中间表：此种方式使用于从一个小文件较多的大表中读取文件并写

入新的表生产少量的数据文件。也可以通过此种方式进行格式转换。

– 空值处理：

• impala将“\n” 表示为NULL，在结合sqoop使用是注意做相应的空字段

过滤，

• 也可以使用以下方式进行处理：

• alter table name set tblproperties

(“serialization.null.format”=“null”)

 

##########################################################################

impala 与 Hbase 的整合

Impala可以通过Hive外部表方式和HBase进行整合，步骤如下：

步骤1 ， 和步骤2 是hive 与 Hbase 的整合

步骤1,2,3 是impala 与Hbase 的整合 ，只是差了一个刷新元数据

• 步骤1：创建hbase 表，向表中添加数据

– create ‘test_info’, ‘info’

– put ‘test_info’,’1′,’info:name’,’zhangsan’

– put ‘test_info’,’2′,’info:name’,’lisi’

• 步骤2：创建hive表

– CREATE EXTERNAL TABLE test_info(key string,name string )

– ROW FORMAT SERDE ‘org.apache.hadoop.hive.hbase.HBaseSerDe’

– STORED by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’

– WITH SERDEPROPERTIES (“hbase.columns.mapping”=”:key,info:name”)

– TBLPROPERTIES

– (“hbase.table.name” = “test_info”);

• 步骤3：刷新Impala表

– invalidate metadata

 

##########################################################################

impala 的 jdbc

• 配置：

– impala.driver=org.apache.hive.jdbc.HiveDriver

– impala.url=jdbc:hive2://node2:21050/;auth=noSasl

– impala.username=

– impala.password=

• 尽量使用PreparedStatement执行SQL语句：

– 1.性能上PreparedStatement要好于Statement

– 2.Statement存在查询不出数据的情况

 

##########################################################################

impala 的性能优化

• 执行计划

– 查询sql执行之前，先对该sql做一个分析，列出需要完成这一项查询的

详细方案

– 命令： explain sql、 profile

 

要点：

• 1、 SQL优化，使用之前调用执行计划 ( explain sql)

• 2、选择合适的文件格式进行存储 (parquent)

• 3、避免产生很多小文件（如果有其他程序产生的小文件，可以使用中间

表或者load）

• 4、使用合适的分区技术，根据分区粒度测算(例如日期)

• 5、使用compute stats进行表信息搜集

• 6、网络io的优化：

– a.避免把整个数据发送到客户端

– b.尽可能的做条件过滤

– c.使用limit字句

– d.输出文件时，避免使用美化输出（-B 去格式化输出）

• 7、使用profile输出底层信息计划，在做相应环境优化 （profile）