Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Impala 高性能、低延迟的大数据查询引擎

Impala 高性能、低延迟的大数据查询引擎

作者头像
WindWant
发布于 2020-09-10 15:18:54
发布于 2020-09-10 15:18:54
4730
举报
文章被收录于专栏:后端码事后端码事

Impala是什么?

Impala提供对大数据更快速,交互式 SQL查询。

Impala支持对存储在HDFSHBase及S3等数据查询。

Impala使用和Hive相同的元数据、SQL定义、ODBC驱动及用户接口。

Impala提供实时、批数据的统一查询平台。

Impala是对现有大数据查询工具的补充,不能替代基于Hive的MapReduce批处理任务框架(适用于耗时长的批处理任务,例如ETL等)。

Impala建立在集群之上的分布式查询,易于扩展。

数据查询过程:

数据文件读写。

接受来自 impala-shell、Hue、JDBC、ODBC的查询语句。

集群并行执行查询。

返回结果。

Impala fr:

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-05-05 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
大数据技术入门:impala查询引擎
Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。----来源于百度百科
百思不得小赵
2022/12/01
8350
大数据技术入门:impala查询引擎
腾讯云大数据技术介绍-数据查询方法
上节我们讲了如何利用MapReduce 快速的来查询数据:https://cloud.tencent.com/developer/article/1878432
jerryteng
2021/10/08
1.7K0
腾讯云大数据技术介绍-数据查询方法
【学习】开源大数据查询分析引擎现状
文|叶蓬 【按:此文是与我的《基于大数据分析的安全管理平台技术研究及应用》同期发表在内刊上的我的同事们的作品,转载于此。这些基础性的研究和测试对比分析,对于我们的BDSA技术路线选定大有帮助。】 引言 大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS、Map-Reduce、 Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon D
小莹莹
2018/04/23
3.2K0
【学习】开源大数据查询分析引擎现状
客快物流大数据项目(七十):Impala入门介绍
impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具,
Lansonli
2022/12/18
1.1K0
客快物流大数据项目(七十):Impala入门介绍
impala入门,从基础到架构!!!
impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具。
大数据梦想家
2021/01/26
8080
impala入门,从基础到架构!!!
实时分析系统(Hive/Hbase/Impala)浅析
1. 什么是实时分析(在线查询)系统? 大数据领域里面,实时分析(在线查询)系统是最常见的一种场景,通常用于客户投诉处理,实时数据分析,在线查询等等过。因为是查询应用,通常有以下特点: a. 时延低(秒级别)。 b. 查询条件复杂(多个维度,维度不固定),有简单(带有ID)。 c. 查询范围大(通常查询表记录在几十亿级别)。 d. 返回结果数小(几十条甚至几千条)。 e. 并发数要求高(几百上千同时并发)。 f. 支持SQL(这个业界基本上达成共识了,原因是很难找到一个又会数据分析,还能写JAVA代码的分析
大数据和云计算技术
2018/03/07
3.9K0
实时分析系统(Hive/Hbase/Impala)浅析
impala的介绍
impala是 cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具。
用户4870038
2021/02/05
1.4K0
impala的介绍
一文介绍hive与Impala的对比~
Impala是由Cloudera公司开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase上的PB级大数据,在性能上比Hive高出3~30倍。
大数据老哥
2021/10/11
4.1K0
一文介绍hive与Impala的对比~
Impala介绍
Impala 是一个高性能分析数据库,可针对存储在 Apache Hadoop 集群中的 PB 级数据进行闪电般快速的分布式 SQL 查询。Impala 还是一个现代化,大规模分布式,大规模并行的 C ++ 查询引擎,可以分析,转换和合并来自各种数据源的数据。Impala采用与Hive相同的元数据、SQL语法、ODBC 驱动程序和用户接口(Hue Beeswax),这样在使用CDH产品时,批处理和实时查询的平台是统一的。
加米谷大数据
2018/07/25
1.9K0
Impala介绍
【转载】Impala和Hive的区别
Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析,实现了Hive的SQL语义的子集,功能还在不断的完善中。
互联网金融打杂
2018/08/02
7.3K0
【转载】Impala和Hive的区别
基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化(一)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/52231247
用户1148526
2019/05/25
1.5K0
大数据篇---Impala学习第 1 部分 Impala概述第 2 部分 Impala 安装与⼊⻔案例第 3 部分 Imapla的架构原理第 4 部分 Impala的使用
invalidate metadata全量刷新,性能消耗较⼤,主要⽤于hive当中新建数据库或者数据库表的时候来进 ⾏刷新。
用户2337871
2020/11/25
1K0
大数据篇---Impala学习第 1 部分 Impala概述第 2 部分 Impala 安装与⼊⻔案例第 3 部分 Imapla的架构原理第 4 部分 Impala的使用
Impala 与Hive
Impala 与Hive都是构建在Hadoop之上的数据查询工具,但是各有不同侧重,那么我们为什么要同时使用这两个工具呢?单独使用Hive或者Impala不可以吗? 一、介绍Impala和Hive
Albert陈凯
2018/04/04
1.4K0
Impala 与Hive
大数据生态圈常用组件(二):概括介绍、功能特性、适用场景
点赞之后,上一篇传送门: https://blog.csdn.net/weixin_39032019/article/details/89340739
不吃西红柿
2022/09/26
1.5K0
大数据入门:Impala框架基础简介
在大数据处理当中,核心的数据分析处理环节,衍生出了非常多的框架组件工具,基于不同场景下的需求,给出了更多可选的技术方案。比如说在交互式查询场景下,Impala就是一个不可忽视的重要选择。今天的大数据入门分享,我们就来讲讲Impala框架入门的一些基础知识。
成都加米谷大数据
2020/11/25
8440
大数据入门:Impala框架基础简介
大数据计算引擎:impala对比hive
Hive: 依赖于MapReduce执行框架,执行计划分成map->shuffle->reduce->map->shuffle->reduce…的模型。如果一个Query会被编译成多轮MapReduce,则会有更多的写中间结果。由于MapReduce执行框架本身的特点,过多的中间过程会增加整个Query的执行时间。
不吃西红柿
2022/07/29
5680
【Impala篇】---Hue从初始到安装应用
Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点 是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群,可以考虑下Impala。
LhWorld哥陪你聊算法
2018/09/13
1.6K0
【Impala篇】---Hue从初始到安装应用
数据仓库Hive 基础知识(Hadoop)
Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–HiveQL,可通过HQL语句实现简单的MR统计,Hive将HQL语句转换成MR任务进行执行。 一、概述 1-1 数据仓库概念 数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反应历史变化(Time Variant)的数据集合,用于支持管理决策
小莹莹
2018/04/23
2.3K0
数据仓库Hive 基础知识(Hadoop)
大数据开发:基于Hadoop的数仓设计
企业级的大数据平台,Hadoop至今仍然占据重要的地位,而基于Hadoop去进行数据平台的架构设计,是非常关键且重要的一步,在实际工作当中,往往需要有经验的开发工程师或者架构师去完成。今天的大数据开发分享,我们就来讲讲,基于Hadoop的数仓设计。
成都加米谷大数据
2021/01/07
9810
大数据开发:基于Hadoop的数仓设计
大数据Hadoop生态圈各个组件介绍(详情)
-coordination and management(协调与管理) -query(查询) -data piping(数据管道) -core hadoop(核心hadoop) -machine learning(机器学习) -nosql database(nosql数据库)
全栈程序员站长
2022/08/31
5K0
大数据Hadoop生态圈各个组件介绍(详情)
相关推荐
大数据技术入门:impala查询引擎
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档