首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    HBase 整体介绍

    HBase: NoSQL数据库,基于HDFS的分布式数据库,理论上支持无限横向扩展,         HBase由HMaster与RegionServer组成,HMaster负责协调调度RegionServer进行数据处理,RegionServer负责数据的增删改查操作,RegionServer由多台分布在DataNode的组成,可以有多个。由HMaster负责RegionServer的调度情况,当RegionServer出现异常情况,HMaster进行对MetaRegionServer中的元数据进行更新管理。         当HBase中表的数据不断变大时,表中数据会进行Region分区,分为Region1,Region2...等,RegionServer1负责Region1,RegionServer2负责Region2等;每个RegionServer负责哪个Region的数据区由MetaRegionServer管理,MetaRegionServer运行在多个RegionServer中的任意一个。         HBase数据存储在HDFS上的存储也是按照层级来管理的,不同的库对应不同的目录,库下不同的表亦对应不同的目录,表下不同的Region对应不同的目录,Region下存放这HBase上的数据,HBase的数据是经过特殊处理的,所以直接看不到数据内容         HMaster支持HA高可用,所以在HBase集群对应的HMaster和RegionServer都启动后,在其他的RegonServer上启动HMaster,则该HMaster为StandBy,第一次启动的为Active。         HBase底层接口处理起来会比较吃力,一般处理方式是应用其他工具进行处理,如Flume,Sqoop         MySQL与Hive的区别             MySQL:数据存储会受到限制,可以增删改查数据             Hive:1. 只能进行查询数据,不能进行该数据,可以根据查询结果进行建表存储数据                   2. 基于HDFS,支持分布式存储,可以无限扩容                   3. 基于MapReduce,支持大数据运算         HBase与MySQL的区别                         MySQL:行式存储,适合处理联机事务             HBase:列式存储,适合处理对单列数据(列族归类的数据)进行快缩索引查询         HBase与Hive的区别                     HBase:数据库,数据分布式存储在HDFS上的DataNode节点上,根据对数据进行增删改查等。             Hive:数据仓库,数据存储在HDFS上,与DataNodata 关系不大,管理历史数据,数据量会非常庞大,每天都会进来大量数据,不能进行更新删除操作,         HBase概念             HMaster: 协调管理RegionServer服务状态及元数据管理             RegionServer: 负责对数据表的增删改差操作,主要负责单个Region的数据管理                 RegionData:数据块             MetaRegionServer: 对RegionSever上对应的Region数据块进行索引管理             database 数据库             table: 数据表,定义表时需要指定列族,也可以再表建立后进行列族的管理             RowKey:行键,表示一行数据,一行数据中包含列族定义的东西,             ColumnFamily: 列族,对业务进行分类后,可以根据业务对数据进行分类,把业务类似的一类数据分为一个列族,不同的业务可以分为不同的列族。分列族的主要目的是方便后期对数据的高速索引.             CELL: 数据单元,保存单个KV字段.         运行逻辑:             HMaster协调管理RegionServe,RegionServer主要负责处理Region数据块的处理,MetaRegionServer管理RegionServer对应Region数据的元数据信息。RegionServer服务异常时,HMaster进行元数据迁移,保证对Region数据的管理由对应的RegionServer来管理。             MetaRegionServer管理的元数据信息保存在HDFS上。             Client进行数据处

    01

    从零开始搭建腾讯云上的SpringBoot容器化应用

    由于最近容器技术的火热,各大云计算厂商都已经提供了独立的容器服务,腾讯云也不例外。腾讯云容器服务的官方文档提供了一个基于Node.js的简单案例供大家上手,考虑到官方的文档并没有提供基于Java的上手教程,再加上容器/微服务技术在Java领域的各种衍生开源组件--如SpringCloud家族的各种神器应用极其广泛,今天有空拿一个简单的带增删改查接口功能的SpringBoot应用外接腾讯云CDB for MySQL来把玩容器服务,正好以此来演示如何从零开始在腾讯云上搭建基于SpringBoot的容器化应用。关于为啥选用SpringBoot框架,我想原因也不必多说,主要还是因为其本身就是一个为容器而生的框架,自带Tomcat服务器而且能以极简的配置构建web服务(相对于SpringMVC而言)。

    013

    Android连接 Mysql: 解决mysql-connector-java驱动编译时Dex cannot parse version 52 byte code...等错误

    做一个简单的数据库应用,打算直接把客户端和数据库连接起来,省去用java或者php去写后端接口程序。因此想到了在Android端用mysql-connector-java驱动包直接访问服务器上的数据库(首先说明这是可行的)。 于是去Mysql官网找到了最新版的jar包下载,直接把mysql-connector-java-5.1.40-bin.jar(开发版最新为6.0.5)引入Android工程,(我用的是Android Studio)Build没有任何问题,但是在构建APK的时候出错了,错误也就是文章开头那个。 错误的意思大概是这个包不支持Java8(52是Java8的字节码版本号),需要你去build.gradle里手动修改项目的兼容性到1.7。网上查了很多很多资料都是这个解决办法,然而并无用。

    03
    领券