impala工作原理

impala工作原理？

Imapala是一款开源的MPP架构的SQL查询引擎，它提供在hadoop环境上的低延迟、高并发的BI/数据分析。

Impala是一款开源、与Hadoop高度集成，灵活可扩展的查询分析引擎，目标是基于SQL提供高并发的即席查询。

在平时的使用当中，Impala能跟很多Hadoop的组件集成，实现类似数据库查询的功能，但是底层其实还是有很大区别的。也可以通过create table来创建一个表的逻辑结构，并配置对应的存储的文件格式、hdfs存储的目录等。

对于分区表，文件存储在分区值对应的子目录下。注意分区后的数据并不一定存储在一台机器，他们底层都是由Block组成，存储在多个节点上。对于底层存储的格式也非常灵活，甚至不同的分区可以设置不同的文件格式。一个典型的应用场景就是点击流的数据存储：当天的数据用csv，历史数据用parquet 这样就完成了一套最简单的Lambda架构。

声明:本文内容及图片来源于读者投稿，本网站无法甄别是否为投稿用户创作以及文章的准确性,本站尊重并保护知识产权，根据《信息网络传播权保护条例》，如果我们转载的作品侵犯了您的权利,请在一个月内通知我们，我们会及时删除。请将本侵权页面网址发送邮件到583666585@qq.com，我们会及时做删除处理。