[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yYfd67AX-1616633798599)(20210319_分布式NoSQL列存储数据库Hbase（四）.assets/image-20210317190105892.png)]
NoSQL 数据库和关系型数据库在数据存储、处理方式上有显著的区别，主要体现在数据模型、扩展性、数据存储方式、事务支持、查询能力等方面。NoSQL数据库主要适用于大数据和实时的网络应用，而关系型数据库适用于需要复杂事务支持的应用系统。
文章目录 分布式NoSQL列存储数据库Hbase_列族的设计（五） 知识点01：课程回顾 知识点02：课程目标 知识点03：Hbase设计：列族的设计 知识点04：聊天系统案例：需求分析 知识点05：聊天系统案例：Hbase表设计 知识点06：聊天系统案例：环境准备 知识点07：聊天系统案例：模拟生成数据 知识点08：聊天系统案例：构建Rowkey 知识点09：聊天系统案例：测试写入代码 知识点10：聊天系统案例：查询需求分析 知识点11：聊天系统案例：测试查询代码 知识点12：聊天系统案例：查询问题 知
推荐序 Google公司提出的MapReduce编程框架、GFS文件系统和BigTable存储系统成为了大数据处理技术的开拓者和领导者，而源于这三项技术的ApacheHadoop等开源项目则成为了大数据处理技术的事实标准，迅速推广至国内外各大互联网企业，成为了PB量级大数据处理的成熟技术和系统。面对不同的应用需求，基于Hadoop的数据处理工具也应运而生 例如，Hive、Pig等已能够很好地解决大规模数据的离线式批量处理问题。但是，HadoopHDFS适合于存储非结构化数据，且受限于HadoopMapRed
物流人资数据预处理平台，负责接收一线几十万员工不同条线的工作量，每日数据量约2000w，系统负责加工转换并提供数据查询的同时，还需保证查询性能，以及修改单个业务量功能。本文通过HBase在物流人资数据预处理平台中实践，讲解HBase集群如何协同工作，并概述读取数据以及存储数据的原理，以及使用HBase注意事项。
列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合于大批量的数据处理，常用于联机事务型数据处理。
从 Google 的 BigTable 开始，一系列可以进行海量数据存储与访问的数据库被设计出来，NoSQL 这一概念被提了出来。
NoSQL，泛指非关系型的数据库,随着互联网的发展传统的关系型数据库面对持续增长的数据处理起来显得越来越力不从心，此时非关系型数据库应运而生。
5、Hbase的表在物理存储上，是按照列族来分割的，不同列族的数据一定存储在不同的文件中
HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org – 2006年Google发表BigTable白皮书 – 2006年开始开发HBase – 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目 – 2010年HBase成为Apache顶级项目 – 现在很多公司二次开发出了很多发行版本，你也开始使用了。 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBase是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MAPREDUCE来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j3OUucRa-1627099407310)(20210316_分布式NoSQL列存储数据库Hbase（一）.assets/image-20210316180046440.png)]
要想明白为什么产生 HBase，就需要先了解一下 Hadoop 存在的限制？Hadoop 可以通过 HDFS 来存储结构化、半结构甚至非结构化的数据，它是传统数据库的补充，是海量数据存储的最佳方法，它针对大文件的存储，批量访问和流式访问都做了优化，同时也通过多副本解决了容灾问题。
最近有用到Hbase，整理了下Hbase的架构，整体思路可以看之前的NoSQL概述NoSQL概述-从Mongo和Cassandra谈谈NoSQL。
Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势，HBase本身就是十分强大的数据库，它能够融合key/value存储模式带来实时查询的能力，以及通过MapReduce进行离线处理或者批处理的能力。总的来说，Hbase能够让你在大量的数据中查询记录，也可以从中获得综合分析报告。
技术真的是日新月异，关系型数据库在数据库存储界称霸这么多年后，市面上各种数据库如雨后春笋蓬勃发展，似乎关系型数据库也地位不保，我前段时间和同事聊天，听到他们经常说的现在市面上的noSql数据库完全可以替代现有的关系型数据库，可是事实真的如此吗，我们一起就市面上现在比较流行的各类数据库，做一个对比：
对大数据领域有一定了解的小伙伴对HBase应该不会陌生，HBase是Apache基金会开源的一个分布式非关系型数据库，属于Hadoop的组件。它使用Java编写，需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样，可以运行在廉价硬件上，并可提供数10亿行 X 数百万列的大数据存储、管理能力，以及随机访问和实时读/写能力。HBase的设计模型参考了Google的Bigtable，可以说是Bigtable的开源实现版本。
本文结合两个实战场景就基于 HBase 的大数据存储做了简单的分析，并对 HBase 的原理做了简单的阐述。
应用程序都离不开数据库，那不同的数据结构，就会存放在不同的数据数据库中，所以数据库按数据结构分为关系型数据库和非关系型数据库。接下来就总结一下这两者的区别吧。
Apache HBase是一种NoSQL键/值存储系统，它在Hadoop分布式文件系统（HDFS）上运行。
HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的顶级项目来开发维护，用于支持结构化的数据存储。
HDFS是一种开源的分布式文件系统，基于常见商用硬件构建海量大规模存储集群，提供极低的存储成本，极大的存储容量支持。 HDFS提供高可靠性的数据保障，通常采用三副本冗余存储数据到不同的机器来实现容灾备份能力。 HBase基于HDFS实现存储计算分离架构的分布式表格存储服务
简单的说HBase就是一个分布式的可扩展的大数据量的非关系型数据库（NoSQL）。它具有一般的关系型数据 Oracle/MySQL的基础功能如：
HBase的基础框架，将分成几个章节对HBase进行描述，不当之处还望大家批评指正。下面是了解HBase基础架构的第一部分。
HBase 是 bigtable 的开源 Java 版本。是建立在 hdfs 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写 nosql 的 数据库系统 。 它介于 nosql 和 RDBMS 之间，仅能通过主键（row key）和主键的 range 来检索数据，仅支持单行事务（可通过hive支持来实现多表join等复杂操作）。 HBase 主要用来存储结构化和半结构化的松散数据。 HBase查询数据功能很简单，不支持 join 等复杂操作，不支持复杂的事务（行级的事务。 HBase中支持的数据类型：byte[]。 HBase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 HBase中的表一般有这样的特点：
Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程接口，它本身不存储和计算数据；它依赖于HDFS(Hadoop分布式文件系统)和MapReduce(一种编程模型，映射与化简；用于大数据并行运算)。其对HDFS的操作类似于SQL—名为HQL，它提供了丰富的SQL查询方式来分析存储在HDFS中的数据；HQL经过编译转为MapReduce作业后通过自己的SQL 去查询分析需要的内容；这样一来，即使不熟悉MapReduce 的用户也可以很方便地利用SQL 语言查询、汇总、分析数据。而MapReduce开发人员可以把己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析。
场景描述：先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
有粉丝给我留言说，希望我更新一期关于NoSQ的视频，那今天，咱们就来聊一聊我对NoSQL的理解。如果你也有想要我分享的面试题，请在评论区告诉我，后续安排。
HBASE是一个高可靠性、高性能、面向列、可伸缩、稀疏的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。
我们平常在存储数据时，会想到用Mysql关系型数据库、大硬盘文档存储等。但是，面临互联网自媒体时代的出现，采用Mysql来存储微信类评论数据、零碎图片、零碎视频，采用Mysql的数据库，已经力不从心。表现在：1、Mysql数据库字段固定。2、Mysql字段存储内容无法任意增加或删除。3、Mysql数据库水平扩展麻烦（分库分表依靠人手管理，非常麻烦），海量的数据存取存在瓶颈。因此，面临此类问题，Apache在HDFS的基础上推出了HBase的NoSQL数据库，解决此类问题。
一 Hbase是个啥东东？ 在说Hase是个啥家伙之前，首先我们来看看两个概念。面向行存储和面向列存储。面向行存储。我相信大伙儿应该都清楚，我们熟悉的RDBMS就是此种类型的。面向行存储的数据库主要适合于事务性要求严格场合，或者说面向行存储的存储系统适合OLTP。可是依据CAP理论，传统的RDBMS。为了实现强一致性，通过严格的ACID事务来进行同步，这就造成了系统的可用性和伸缩性方面大大折扣。而眼下的非常多NoSQL产品，包含Hbase，它们都是一种终于一致性的系统，它们为了高的可用性牺牲了一部分的一致性。好像。我上面说了面向列存储，那么究竟什么是面向列存储呢？Hbase,Casandra,Bigtable都属于面向列存储的分布式存储系统。 看到这里，假设您不明确Hbase是个啥东东，不要紧，我再总结一下下： Hbase是一个面向列存储的分布式存储系统。它的长处在于能够实现高性能的并发读写操作，同一时候Hbase还会对数据进行透明的切分，这样就使得存储本身具有了水平伸缩性。 二 Hbase数据模型 HBase,Cassandra的数据模型很类似。他们的思想都是来源于Google的Bigtable，因此这三者的数据模型很类似，唯一不同的就是Cassandra具有Super cloumn family的概念，而Hbase眼下我没发现。好了。废话少说。我们来看看Hbase的数据模型究竟是个啥东东。 在Hbase里面有以下两个基本的概念，Row key,Column Family。我们首先来看看Column family,Column family中文又名“列族”，Column family是在系统启动之前预先定义好的，每个Column Family都能够依据“限定符”有多个column.以下我们来举个样例就会很的清晰了。 假如系统中有一个User表。假设依照传统的RDBMS的话。User表中的列是固定的，比方schema 定义了name,age,sex等属性。User的属性是不能动态添加的。可是假设採用列存储系统。比方Hbase。那么我们能够定义User表，然后定义info 列族。User的数据能够分为：info:name = zhangsan,info:age=30,info:sex=male等。假设后来你又想添加另外的属性。这样非常方便仅仅须要info:newProperty就能够了。 或许前面的这个样例还不够清晰，我们再举个样例来解释一下。熟悉SNS的朋友，应该都知道有好友Feed，一般设计Feed，我们都是依照“某人在某时做了标题为某某的事情”，可是同一时候一般我们也会预留一下keyword，比方有时候feed或许须要url，feed须要image属性等，这样来说。feed本身的属性是不确定的。因此假设採用传统的关系数据库将很麻烦。况且关系数据库会造成一些为null的单元浪费，而列存储就不会出现这个问题。在Hbase里，假设每个column 单元没有值，那么是占用空间的。
先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
NoSQL，指的是非关系型的数据库。NoSQL是Not Only SQL的缩写，是对不同于传统的关系型数据库管理系统的统称。非关系型数据库不同于传统的关系型数据库，非关系型数据库对数据的存储不需要特定的模式，适用于大规模的数据存储。
“ 数据的价值已经超越了传统企业广泛认同的价值边界，海量数据的存储将是企业所面临的的挑战。HBase正是这种背景下的产物，用以存储海量数据的，支持高并发、高性能、高可用、可伸缩、列存储等特性”
HBase： NoSQL数据库，基于HDFS的分布式数据库，理论上支持无限横向扩展， HBase由HMaster与RegionServer组成，HMaster负责协调调度RegionServer进行数据处理，RegionServer负责数据的增删改查操作，RegionServer由多台分布在DataNode的组成，可以有多个。由HMaster负责RegionServer的调度情况，当RegionServer出现异常情况，HMaster进行对MetaRegionServer中的元数据进行更新管理。 当HBase中表的数据不断变大时，表中数据会进行Region分区，分为Region1，Region2...等,RegionServer1负责Region1,RegionServer2负责Region2等；每个RegionServer负责哪个Region的数据区由MetaRegionServer管理，MetaRegionServer运行在多个RegionServer中的任意一个。 HBase数据存储在HDFS上的存储也是按照层级来管理的，不同的库对应不同的目录，库下不同的表亦对应不同的目录，表下不同的Region对应不同的目录，Region下存放这HBase上的数据，HBase的数据是经过特殊处理的，所以直接看不到数据内容 HMaster支持HA高可用，所以在HBase集群对应的HMaster和RegionServer都启动后，在其他的RegonServer上启动HMaster，则该HMaster为StandBy，第一次启动的为Active。 HBase底层接口处理起来会比较吃力，一般处理方式是应用其他工具进行处理，如Flume,Sqoop MySQL与Hive的区别 MySQL：数据存储会受到限制，可以增删改查数据 Hive：1. 只能进行查询数据，不能进行该数据，可以根据查询结果进行建表存储数据 2. 基于HDFS，支持分布式存储，可以无限扩容 3. 基于MapReduce，支持大数据运算 HBase与MySQL的区别 MySQL：行式存储，适合处理联机事务 HBase：列式存储，适合处理对单列数据(列族归类的数据)进行快缩索引查询 HBase与Hive的区别 HBase：数据库，数据分布式存储在HDFS上的DataNode节点上，根据对数据进行增删改查等。 Hive:数据仓库，数据存储在HDFS上，与DataNodata 关系不大，管理历史数据，数据量会非常庞大，每天都会进来大量数据，不能进行更新删除操作， HBase概念 HMaster: 协调管理RegionServer服务状态及元数据管理 RegionServer: 负责对数据表的增删改差操作，主要负责单个Region的数据管理 RegionData:数据块 MetaRegionServer: 对RegionSever上对应的Region数据块进行索引管理 database 数据库 table: 数据表,定义表时需要指定列族，也可以再表建立后进行列族的管理 RowKey：行键,表示一行数据，一行数据中包含列族定义的东西， ColumnFamily: 列族，对业务进行分类后，可以根据业务对数据进行分类，把业务类似的一类数据分为一个列族，不同的业务可以分为不同的列族。分列族的主要目的是方便后期对数据的高速索引. CELL: 数据单元,保存单个KV字段. 运行逻辑： HMaster协调管理RegionServe，RegionServer主要负责处理Region数据块的处理，MetaRegionServer管理RegionServer对应Region数据的元数据信息。RegionServer服务异常时，HMaster进行元数据迁移，保证对Region数据的管理由对应的RegionServer来管理。 MetaRegionServer管理的元数据信息保存在HDFS上。 Client进行数据处
随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。
3，特点：面向列，支持独立索引，每个列支持存储多版本，稀疏性：空列不占内存，可随意做列扩展，传统DB无数据的列会以null填充。因为hbase是基于hdfs 的所以具有扩展性、高可用性、动态增加DataNode、高性能：LSM数据结构（子节点不断合并成主节点），分区（region）存储数据。
hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。
NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代，虽然RDBMS很优秀，但是面对快速增长的数据规模和日渐复杂的数据模型，RDBMS渐渐力不从心，无法应对很多数据库处理任务，这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚跟。
数据库对互联网开发的重要性就不必多说了。作为大数据和AI时代的互联网er，如果你还是只懂MySQL，那你可就火星大发了。下面给大家总结下每个互联网er都必须懂的几种数据库产品：
人资绩效系统数据预处理平台，负责接收所有上游业务量数据。具有数据量大、非结构化数据、更新单个业务量数据，查询性能要求高等特性。通常技术上可以选择OSS、MySql数据库、ES等存储方案。其中OSS云存储方案，查询性能与更新单个业务量数据上无法满足。MySql数据库如果每对接一种业务量创建一个表的方式，对于更新查询等方面复杂度较高，不利于系统扩展。而ES存储量与查询量都可以满足，但更新单个字段不够友好，且ES成本较高。
2021-01-13：很多列的数据，任意一列组合查询，mysql能做到，但是上亿的数据量做不到了，查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗？
最近看一本书，铃木敏文的《零售的哲学》，里面提到一个很有意思的观点，711核心使命是提供便利，围绕便利场景，提供一系列食品、ATM服务等，而不是和超市去PK货物品种。 联想到常见的NOSQL数据库和传统关系型数据的区别也有点类似；传统关系型数据库发展了几十年，就像超市一样，功能非常多，非常完善，也是进入到各个行业中去。NOSQL从一出生就是带着解决关系数据中的某些场景的不突出/不擅长的使命。 另外一些新数据库又思考着突破NoSQL的场景的限制，想着同时解决OTLP/OLAP，也有诞生了NewSQL或者HTA
随着互联网大潮的到来，越来越多网站，应用系统需要海量数据的支撑，高并发、低延迟、高可用、高扩展等要求在传统的关系型数据库中已经得不到满足，或者说关系型数据库应对这些需求已经显得力不从心了。关系型数据库经过几十年的发展已经很成熟，强大的sql语句支持，完美的ACID属性的支持，使得关系型数据库广泛应用于各种各样的应用系统中，但是应用的场景广泛并非意味着完美。
大数据的典型特征，包括数据量大、数据类型多、价值密度低等，而具备这样特征的数据，在进入到存储阶段时，就需要根据数据类型及场景，来匹配适当的数据存储解决方案。今天我们来讲讲Java大数据开发当中，必须掌握的四种数据库。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
