•功能：Hbase是一个分布式的、基于分布式内存和HDFS的按列存储的NoSQL数据库 •应用：Hbase适合于需要实时的对大量数据进行快速、随机读写访问的场景
Hbase理论知识点概要 问题01：Hbase的功能与应用场景？ 功能：Hbase是一个分布式的、基于分布式内存和HDFS的按列存储的、NoSQL数据库 应用：Hbase适合于需要实时的对大量数据进行快速、随机读写访问的场景 问题02：Hbase有什么特点？ 分布式的，可以实现高并发的数据读写 上层构建分布式内存，可以实现高性能、随机、实时的读写 底层基于HDFS，可以实现大数据 按列存储，基于列实现数据存储，灵活性更高 问题03：Hbase设计思想是什么？ 设计思想
•Hive是通过构建元数据，映射HDFS文件构建成表，本质还是HDFS，实现离线大数据仓库 •Hbase是通过构建上层分布式内存，底层HDFS，实现大数据实时存储的NoSQL数据库
面试题总结是一个长期工作，面试不停，这份面试题总结就不会停。以后会慢慢把Java相关的面试题、计算机网络等都加进来，其实这不仅仅是一份面试题，更是一份面试参考，让你熟悉面试题各种提问情况，当然，项目部分，就只能看自己了，毕竟每个人简历、实习、项目等都不一样。
HBase 是什么？HBase 是在 Hadoop 分布式文件系统（简称：HDFS）之上的分布式面向列的数据库。而且是 2007 最初原型，历史悠久。
Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程接口，它本身不存储和计算数据；它依赖于HDFS(Hadoop分布式文件系统)和MapReduce(一种编程模型，映射与化简；用于大数据并行运算)。其对HDFS的操作类似于SQL—名为HQL，它提供了丰富的SQL查询方式来分析存储在HDFS中的数据；HQL经过编译转为MapReduce作业后通过自己的SQL 去查询分析需要的内容；这样一来，即使不熟悉MapReduce 的用户也可以很方便地利用SQL 语言查询、汇总、分析数据。而MapReduce开发人员可以把己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析。
今天扯一下 Hbase ，我对 Hbase 的了解起源于两篇文章Understanding HBase and BigTable和《李逵麻子，李鬼坑人--BigTable的数据模型》；这两篇本质上还是一篇文章，《李逵麻子，李鬼坑人--BigTable的数据模型》类似于Understanding HBase and BigTable的中文版讲解。还好的是我是先读的这两篇文章，再去看 Hbase 的官方文档和使用 Hbase ，否则真有可能被 Hbase 的概念给糊弄进去了。要知道，对一个软件或者工具，要想深刻理解和使用它，第一印象很重要，它决定你学习的进度，要是弄错了，学习的时候就会很痛苦，怎么也无法理解这个工具怎么设计的。
◆ 冷热分离二期实现思路：冷数据存放到HBase ◆ 冷热分离一期解决方案的不足 不得不说，冷热分离一期的解决方案确实能解决写操作慢和热数据慢的问题，但仍然存在诸多不足。 1）用户查询冷数据的速度依旧很慢，虽然查询冷数据的用户比例很低。 2）冷数据库偶尔会告警。 这两点不足体现在用户侧是什么样呢？那就是一旦客服在工单查询表中勾选“查询归档”checkBox，页面就会一直转圈，而后台冷数据库的IO就会飙升。 如果客服发现页面没反应，可能会多点几次“查询”按钮，那么有可能把后台服务器的请求线程占满，导致整个系统
什么是nosql NoSQL(NoSQL = Not Only SQL)，意思是不仅仅是SQL的扩展，一般指的是非关系型的数据库。 随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，传统的电信行业动辍就千万甚至上亿的数据，甚至有客户提出需要存储相关的日志数据50年以上，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。 关系型数据库难以克服的问题： 不能很好处理对数据库高并发
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
场景描述：先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
Phoenix是什么 简单来说，Phoenix 是一个可以让我们通过SQL的方式操作HBase数据库的框架。 HBase是一个NoSQL数据库，shell客户端只支持一些简单的操作，而且看起来容易晕。
后面做的项目估计要使用到Hbase，因此做知识储备。个人学习路线为参考慕课网相关教学视频，然后翻看Hbase权威指南，并未做很深的原理剖析。 本次学习还有一些其他收获：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yYfd67AX-1616633798599)(20210319_分布式NoSQL列存储数据库Hbase（四）.assets/image-20210317190105892.png)]
分布式实时消息队列Kafka（一） 知识点01：课程回顾 Hbase是什么？ 分布式基于内存按列存储NoSQL数据库，用于实时、随机读写大量的数据 Hbase的设计思想是什么？ 冷热数据分离 热数据：大概可能被使用的数据，新产生的数据 写入内存 冷数据：小概率被读取的数据，产生一段时间的数据 写入磁盘 什么是列族，为什么要设计列族？ 列族就是对列进行分组存储 Hbase是一个按列存储的数据库，每张表可以存储上百万列 如果对列做了分组，加快数据读取的速度 Hbase
HBase 深入浅出 HBase 在大数据生态圈中的位置 提到大数据的存储，大多数人首先联想到的是 Hadoop 和 Hadoop 中的 HDFS 模块。大家熟知的 Spark、以及 Hadoop 的 MapReduce，可以理解为一种计算框架。而 HDFS，我们可以认为是为计算框架服务的存储层。因此不管是 Spark 还是 MapReduce，都需要使用 HDFS 作为默认的持久化存储层。那么 HBase 又是什么，可以用在哪里，解决什么样的问题？简单地，我们可以认为 HBase 是一种类似于数据库的存储
一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用hive。：）
随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。
先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
(1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。
因为伪分布式的hbase的依赖于hdfs，因此我将hbase安装好后，首先启动hadoop的hdfs，然后再启动hbase。关闭顺序反之，先关hbase，再关闭hdfs。
特别适合用来做监控类别的数据存储，它的底层是基于HBase，是一种以Metirc为单元的存储结果，可以实现大数据量下的毫秒级别的查询
本文结合两个实战场景就基于 HBase 的大数据存储做了简单的分析，并对 HBase 的原理做了简单的阐述。
Apache HBase是一种NoSQL键/值存储系统，它在Hadoop分布式文件系统（HDFS）上运行。
OpenTSDB 是一种基于 HBase 编写的分布式、可扩展的时间序列数据库。官方文档这样描述：OpenTSDB is a distributed, scalable Time Series Database (TSDB) written on top of HBase； 翻译过来就是，基于Hbase的分布式的，可伸缩的时间序列数据库，和上面的意思基本相同。 主要用途，就是做监控系统；譬如收集大规模集群（包括网络设备、操作系统、应用程序）的监控数据并进行存储，查询。 存储到OpenTSDB的数据，是以me
有关系行数据库经验的人（比如我），在最初接触HBase这样的数据库时，对数据结构的理解容易遇到障碍。会不自觉的将HBase的行、列等概念映射成关系型数据库的行、列。为了加速理解HBase的一些概念，翻译了这篇文章《Understanding HBase and BigTable》（HBase官方文档推荐阅读文章）。
HBase 与传统关系数据库（例如MySQL，PostgreSQL，Oracle等）在架构的设计以及为应用程序提供的功能方面有很大的不同。HBase 权衡了其中一些功能，以实现更好的可扩展性以及更灵活的模式。与关系数据库相比，HBase 表的设计有很大的不同。下面将通过解释数据模型向您介绍 HBase 表设计的基础知识，并通过一个例子深入探讨 HBase 表的设计。
本文根据网易杭州研究院技术专家范欣欣在中国HBase技术社区第3届 MeetUp 杭州站分享的《网易HBase实践》编辑整理而成。
Hadoop 目前是数据处理的标准工具，其核心组件包含了HDFS（分布式文件系统）、YARN(资源调度平台)、
Hbase 中的每张表都通过行键 (rowkey) 按照一定的范围被分割成多个子表（HRegion），默认一个 HRegion 超过 256M 就要被分割成两个，由 HRegionServer 管理，管理哪些 HRegion 由 Hmaster 分配。 HRegion 存取一个子表时，会创建一个 HRegion 对象，然后对表的每个列族 （Column Family） 创建一个 store 实例， 每个 store 都会有 0个或多个 StoreFile 与之对应，每个 StoreFile 都会对应一个 HFile ， HFile 就是实际的存储文件，因此，一个 HRegion 还拥有一个 MemStore 实例。
版权声明：本文为CSDN博主「北京小辉」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/silentwolfyh/article/details/103864901 ———————————————————————————————————
正如我在前面章节强调的，HBase数据模型跟关系型数据库系统有非常大的差异。因此，设计Hbase的数据表的方法和思路跟关系型数据库不一样。设计HBASE表应该在具体业务场景的上下文中回答以下问题：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RaU9EfHR-1617011887969)(20210329_分布式实时消息队列Kafka（一）.assets/image-20210328152502315.png)]
两者分别是什么Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。H
简单的说HBase就是一个分布式的可扩展的大数据量的非关系型数据库（NoSQL）。它具有一般的关系型数据 Oracle/MySQL的基础功能如：
经过多年的发展，Hadoop生态系统不断完善和成熟，目前已经包括了多个子项目，除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括要ZoopKer、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 在前面的博文里，我已经介绍了 Hive和HBase分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/Value系统，它运行在HD
Hbase的表结构设计与关系型数据库有很多不同，主要是Hbase有Rowkey和列族、timestamp这几个全新的概念，如何设计表结构就非常的重要。
(1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。 (2) Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。 (3) Hbase为null的记录不会被存储. (4)基于的表包含rowkey，时间戳，和列族。新写入数据时，时间戳更新，同时可以查询到以前的版本. (5) hbase是主从架构。hmaster作为主节点，hregionserver作为从节点。 ———————
Cloudera Labs在2016-06-27宣布打包了Apache Phoenix项目，版本为4.7.0，并基于CDH5.7.0。安装依旧是大家熟悉的Parcel方式，下载地址为：http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/
(1)创建Connection是重量级的，并且，创建过多Connection会导致HBase拒绝连接。
hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。
温馨提示:本文内容较长，如果觉得有用，建议收藏。另外记得分享、点赞、在看，素质三连哦！
在现在的互联网时代，网上购物已经称为常态，当我们在各大电商平台购物的时候，不难发现这样一个现象。当你搜索某个上面进行浏览的时候，点击目标商品，之后返回到首页，很大概率你就可以发现，你刚才搜索的商品的相关产品已经在首页的推荐栏目。例如，你购买了一件护肤品面霜，回到首页推荐处，系统可能就会给你推荐口红或者相关护肤品。又例如当你搜索用户画像书籍的时候，推荐栏目就会出现有关用户画像的书籍。这些功能就叫做推荐，而完成这些行为的即为推荐系统。
读： 找到要读数据的region所在的RegionServer，然后按照以下顺序进行读取：先去BlockCache读取，若 BlockCache没有，则到Memstore读取，若Memstore中没有，则到HFile中去读。 写： 找到要写数据的region所在的RegionServer，然后先将数据写到WAL(Write-Ahead Logging，预写日志系统)中，然后再将数据写到Memstore等待刷新，回复客户端写入完成。
KUDU 支持用户对一个表指定一个范围分区规则和多个 Hash 分区规则，如下图：
Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 触发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile -> 单个StoreFile大小超过一定阈值后（默认10G），触发Split操作，把当前Region Split成2个Region，Region会下线，新Split出的2个孩子Region会被HMaster分配到相应的HRegionServer 上，使得原先1个Region的压力得以分流到2个Region上
hbase的特点是什么？？ 1）hbase是一个分布式的基于列式存储的数据库，基于Hadoop的hdfs存储，zookeeper管理。 2）hbase适合存储半结构化和非结构化数据，对于结构化数据字段不够确定或者杂乱无章很难按一个概念去抽取数据； 3）hbase为空的纪录不会被存储； 4）基于的表包含rowkey，时间戳，列族，新写入数据时，时间戳更新，同时可以查询到以前的版本； 5）hbase是主从架构，hmaster作为主节点，hregionserver作为从节点。 描述一下hbase的rowkey的设计原则 1）rowkey的长度原则 rowkey是一个二进制码流，rowkey的长度被很多开发者 建议设计在10-100字节，不过建议越短越好，不要超过16字节。 原因如下： a、数据的持久化文件hfile中是按照keyvalue存储的，如果rowkey过长比如100个字节，1000万列数据光rowkey就要占用100*100万=10亿字节，将近1G数据，着就会极大的影响hfile的存储效率。 b、menstore将缓存部分数据到内存，如果rowkey字段过长内存的有效利用效率会降低，系统将无法缓存更多的数据，这会降低检索效率，因此rowkey的长度越短越好，； c、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用操作系统的最佳特性。
RDBMS Hadoop Data Types RDBMS relies on the structured data and the schema of the data is always known. Any kind of data can be stored into Hadoop i.e. Be it structured, unstructured or semi-structured. Processing RDBMS provides limited or no processing capabilities. Hadoop allows us to process the data which is distributed across the cluster in a parallel fashion. Schema on Read Vs. Write RDBMS is based on ‘schema on write’ where schema validation is done before loading the data. On the contrary, Hadoop follows the schema on read policy. Read/Write Speed In RDBMS, reads are fast because the schema of the data is already known. The writes are fast in HDFS because no schema validation happens during HDFS write. Cost Licensed software, therefore, I have to pay for the software. Hadoop is an open source framework. So, I don’t need to pay for the software. Best Fit Use Case RDBMS is used for OLTP (Online Trasanctional Processing) system. Hadoop is used for Data discovery, data analytics or OLAP system. RDBMS 与 Hadoop
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
