本文介绍了如何在Docker环境下极速体验HBase。通过运行CentOS 7虚拟机，并安装和配置HBase，然后使用Docker启动并运行HBase集群。最后，使用HBase Shell命令以及Java API进行HBase的增删改查操作。
原文连接：https://issues.apache.org/jira/browse/HIVE-2020
Cloudera Labs在2016-06-27宣布打包了Apache Phoenix项目，版本为4.7.0，并基于CDH5.7.0。安装依旧是大家熟悉的Parcel方式，下载地址为：http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/
所谓Standalone模式HBase，就是只启动一个JVM进程，在这个进程中同时启动了多个后台角色，如：HMaster，单个HRegionServer，以及ZooKeeper服务。
目前，在系统设计中引入了越来越多的NoSQL产品，例如Redis/ MongoDB/ HBase等，其中性能指标往往会成为权衡不同NoSQL产品的关键因素。对这些产品在性能表现和产品选择上的争论，Ivan碰到不止一次。虽然通过对系统架构原理方面的分析可以大致判断出其在不同读写场景下的表现，但一是对受众有较高的要求，也来的不那么直接。这时候，没有什么比一次性能测试更有说服力。有什么好的性能测试工具呢？这就是今天的主角YCSB。YCSB是Yahoo开源的一套分布式性能测试工具，方便易用，拓展性强。Ivan最近研究HBase二级索引时用它来做性能测试，感觉还是非常顺手的。虽然网上已经有很多YCSB的介绍文章，但用来指导实际操作还是有些不便。Ivan会用两三篇文章来介绍一下YCSB的实际使用。本文是官方文章的译文，选择这篇文章是因为其与具体操作的关系比较紧密，感兴趣的同学可以了解一下。
在一些业务场景中需要将Hive的数据导入到HBase中，通过HBase服务为线上业务提供服务能力。本篇文章Fayson主要通过在Hive上创建整合HBase表的方式来实现Hive数据导入到HBase。
hbase是一款分布式数据库. 其对数据的索引只通过row key进行. 在存储数据的时候, 通过row key的排序进行存储. 在面对一个新的数据库时, 深究其原理并不知一个明智的选择, 正如开车一般, 大多数人都是先学会开车, 然后在开车的过程中车子出故障了, 再慢慢学着去修理. 不管怎么说, 第一步都是要先会使用.
该文档主要通过使用HBase快照导出历史全量数据并还原到新的HBase集群，然后改造源生的ExportSnapshot类，通过比较变化的文件实现导出增量，并最终实现HBase跨集群的增量备份和还原。
HBase本身是一个没有单点故障的分布式系统，上层（HBase层）和底层（HDFS层）都通过一定的技术手段保障了服务的可用性，HMaster一般都是高可用部署，如果集群中RegionServer宕机，region的迁移代价并不大，一般在毫秒级就能完成，所以对应用造成的影响也很有限；底层存储依赖于HDFS，数据本身默认也有3副本，数据存储上做到了多副本冗余，而在当前方案中将HBase当做单机使用。
Apache Phoenix 是 HBase 的开源 SQL 皮肤，可以使用标准的JDBC 的APIs去代替常规的HBase 客户端的APIs去创建表，插入数据和查询HBase数据。
这个问题是由于CDH6.2.0上在进行HBase Snapshot Restore的过程中，会先进行is_enabled的操作。但假如这个表是已经被drop掉的情况下，会报表不存在。这会导致我们在CDH6.2.0上无法进行下一步的restore的操作。
安装 HBase 这里简单搭建了一个单机的 HBase 环境： 安装 JDK 环境，如何安装jdk可以自己网上搜。 下载 HBase，https://hbase.apache.org/downloads.html，这里我们选择下载2.0.1版本，文件名为 hbase-2.0.1.tar.gz，解压到任意目录。 修改 conf/hbase-env.sh ，设置 JAVA_HOME，这个是 /bin/java 所在的目录，通过 which java 查看。 export JAVA_HOME=/java/jdk
数据库的七种武器，是我在工作维护和接触到的七种常用数据库，包括4种常用的关系型数据库，3种常用nosql数据库。
今天在使用DataGrip连接hive数据库浏览数据的时候，发现hive数据库中与hbase映射的hive数据表查询不了了，双击数据表加载半天出现下面的异常。
HBCK2工具是修复工具，可用于修复Apache HBase集群，包括CDP中的Apache HBase集群。HBCK2工具是Apache HBase hbck工具的下一版本。
提示：如果直接drop表，会报错：ERROR: Table student is enabled. Disable it first.
安装jdk 下载hbase wget http://archive.apache.org/dist/hbase/hbase-1.0.0/hbase-1.0.0-bin.tar.gz tar xf hbase-1.0.3-bin.tar.gz -C /opt/ cd hbase-1.0.3 配置 vim conf/hbase-site.xml <configuration> <property> <name>hbase.rootdir</name>
HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面，HBase的搭建可以参考我的上一篇文章：hbase分布式集群搭建
MongoDB 是基于分布式文件存储的数据库，由 C++语言编写，专为 WEB 应用提供可扩展性、高性能和高可用性的数据存储解决方案。它可以从单服务器部署扩展到大型、复杂的多数据中心架构。利用内存计算的优势，MongoDB 能够提供高性能的数据读写操作。MongoDB 的本地复制和自动故障转移功能让应用程序具有企业级的可靠性和操作灵活性。
HBase 内置的处理拆分和合并的机制一般是合理的，并且它们按照预期处理任务，但在有些情况下，还是需娶按照应用需求对这部分功能进行优化以获得额外的性能改善。 管理拆分 通常HBase 是自动处理region拆分的:一旦它们达到了既定的阈值，region将被拆分成两个，之后它们可以接收新的数据并继续增长。这个默认行为能够满足大多数用例的需求。 其中一种可能出现问题的情况被称之为“拆分/合并风暴”: 当用户的region大小以恒定的速度保持增长时，region拆分会在同一时间发生，因为同时需要压缩region
HBase Shell：HBase的命令行工具，最简单的接口，适合HBase管理使用；
Fayson在前面介绍了《0635-5.16.1-Hue集成HBase出现Api Error异常分析》和《0647-6.1.1-Hue集成HBase出现Api Error异常分析(续)》文章中说明了C5和C6中Hue与HBase集成的异常分析。本篇文章Fayson主要如何在C6.2.0的安全环境下使用Hue访问HBase。
Sqoop是一款开源的大数据组件，主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)间进行数据的传递。
上周六，接了一个紧急任务，说实现使用 C++ 访问 HBase 进行操作。说是用 thrift 来实现。对于 C++ 来说，我真的是门外汉，但需求如此，皱着眉头也要把它实现。好歹在同事的帮助下，也是实现了 demo 示例，现在就把这两天的成果分享给大家。
Spark Streaming是在2013年被添加到Apache Spark中的，作为核心Spark API的扩展它允许用户实时地处理来自于Kafka、Flume等多种源的实时数据。这种对不同数据的统一处理能力就是Spark Streaming会被大家迅速采用的关键原因之一。
本文主要介绍 Hbase 常用的三种简单的容灾备份方案，即CopyTable、Export/Import、Snapshot。分别介绍如下：
Phoenix的团队用了一句话概括Phoenix：”We put the SQL back in NoSQL” 意思是：我们把SQL又放回NoSQL去了！这边说的NoSQL专指HBase，意思是可以用SQL语句来查询Hbase，你可能会说：“Hive和Impala也可以啊！”。但是Hive和Impala还可以查询文本文件，Phoenix的特点就是，它只能查Hbase，别的类型都不支持！但是也因为这种专一的态度，让Phoenix在Hbase上查询的性能超过了Hive和Impala！
–HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库
本文讲述如何安装，部署，启停HBase集群，如何通过命令行对Hbase进行基本操作。
在Hadoop集群中，数据文件是以Block的方式存储在HDFS上，而HDFS上数据的名称，副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDFS中，而Hive的元数据metastore则保存在关系型数据库中。这些文件和数据如果丢失或者损坏，都会导致相应的服务不可用，Hadoop集群可以启用某些组件和服务的高可用或者备份，来应对可能出现数据损坏问题。但是在集群需要迁移，集群需要扩容或者缩容，或者其他情况，集群可能会面对数据安全风险的时候，我们可以通过主动备份这些数据，来保证数据安全。本文主要讲述如何备份NameNode元数据，如何备份MariaDB元数据库，如何备份HDFS中的数据，以及如何从这些备份中恢复。
基于HDFS: HDFS:hadoop distributed file system:分布式文件系统：多台服务器组成的服务器集群组成的一个文件系统。
在传统的数据编程时代，我们今天听到过ETL（数据抽取、转换工具），可以用来从数据源提取数据，经过数据清洗后，放到数据仓库中，如熟知的Logstash， Flume。在大数据的时代，传统的RDBMS中的结构化数据如何倒向大数据的数据库如HBase中呢？这时侯，会用到Sqoop工具。
HBase 数据库默认的客户端程序是 HBase Shell，它是一个封装了 Java 客户端 API 的 JRuby 应用软件。用户可以在 HBase 的 HMaster 主机上通过命令行输入 hbase shell，即可进入 HBase 命令行环境，以命令行的方式与 HBase 进行交互。使用 quit 或 exit 命令可退出 HBase 命令行环境。
一、实验环境 3台CentOS release 6.4虚拟机，IP地址为 192.168.56.101 master 192.168.56.102 slave1 192.168.56.103 slave2 hadoop 2.7.2 hbase 1.2.1 hbase与hadoop的版本兼容性，参考 http://hbase.apache.org/book.html#basic.prerequisites 二、安装hadoop集群 hadoop 2.7.2 安装，参考 http://blog.csdn.net/wzy0623/article/details/50681554 三、安装配置hbase 1. 加压缩 tar -zxvf hbase-1.2.1-bin.tar.gz 2. 建立软连接 ln -s hbase-1.2.1 hbase 3. 修改三个配置文件 cd hbase/conf vi hbase-env.sh # 添加以下内容
前提Hadoop+Hbase集群已经能够正常运转，如果不知道如何安装，请查看如下两篇文章： Hadoop安装 http://qindongliang.iteye.com/blog/2222145 Hbase安装 http://qindongliang.iteye.com/blog/2095733 框架版本： Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 Centos6.5 Apache Ant1.9.5
---- 环境准备 一台Linux虚拟机 我用的CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机 hbase安装包 下载地址：https://mirrors.aliyun.com/apache/hbase/ 我用的hbase-1.2.6 ---- 1. 把hbase安装包上传到服务器并解压 [root@repo ~]# tar -zxvf hbase-1.2.6-bin.tar.gz -C /opt/ 2. 配置HBASE_HOME环境变量 [r
[linuxidc@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [linuxidc@jifeng02 ~]$ vi .bash_profile # .bash_profile
使用如下命令在HDFS的根目录下创建Hive外部表的数据目录/extwarehouse
问题导读 1.Atlas中实体具体指什么？ 2.如何为Flink创建Atlas实体类型定义？ 3.如何验证元数据收集？ 在Cloudera Streaming Analytics中，可以将Flink与Apache Atlas一起使用，以跟踪Flink作业的输入和输出数据。 Atlas是沿袭和元数据管理解决方案，在Cloudera Data Platform上受支持。这意味着可以查找，组织和管理有关Flink应用程序以及它们如何相互关联的数据的不同资产。这实现了一系列数据管理和法规遵从性用例。 有关Atlas的更多信息，请参阅Cloudera Runtime文档。 Flink元数据集合中的Atlas实体 在Atlas中，表示Flink应用程序，Kafka主题，HBase表等的核心概念称为实体。需要了解Flink设置中实体的关系和定义，以增强元数据收集。 为Flink创建Atlas实体类型定义 在提交Flink作业以收集其元数据之前，需要为Flink创建Atlas实体类型定义。在命令行中，需要连接到Atlas服务器并添加预定义的类型定义。还需要在Cloudera Manager中为Flink启用Atlas。 验证元数据收集 启用Atlas元数据收集后，群集上新提交的Flink作业也将其元数据提交给Atlas。可以通过请求有关Atlas挂钩的信息来在命令行中使用消息验证元数据收集。 Flink元数据集合中的Atlas实体 在Atlas中，表示Flink应用程序，Kafka主题，HBase表等的核心概念称为实体。需要了解Flink设置中实体的关系和定义，以增强元数据收集。 在向Atlas提交更新时，Flink应用程序会描述自身以及用作源和接收器的实体。Atlas创建并更新相应的实体，并从收集到的和已经可用的实体创建沿袭。在内部，Flink客户端和Atlas服务器之间的通信是使用Kafka主题实现的。该解决方案被Atlas社区称为Flink挂钩。
文章装上1.5.0-SNAPSHOT版本，你就在Console中体验MLSQL的插件了。
本篇博客小菌为大家分享的是关于Phoenix的使用方式与常用shell。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51804557
我们在系统学习大数据的之前，要先了解大数据开发是在什么系统平台下进行的。所以我们在学之前要先学习Linux的知识，这部分显得格外的重要。
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.问题描述 ---- 在CDH集群中Zookeeper已启用Kerberos服务，在命令行为使用Kerberos账号进行Kinit操作，使用zookeeper-client登录后仍然可以进行创建znode和删除znode，并且可以删除其它有服务的Znode，具体操作如下： [root@ip-172-31-3
本文只讲一个很简单的问题，YCSB对HBase集群的测试。虽然网上有很多介绍YCSB测试HBase的文章，但都是针对本地HBase伪分布式集群的。大家都知道，稍微正式一些的压测都会要求测试客户端与目标集群分离部署，而且伪分布式集群通常不会在生产环境下使用，本身也没有太大的压测意义。本文会着重介绍一下压测远程HBase完全分布式集群的不同之处。
1-3步骤不是必须的，如果没有进行1-3步骤的设置，那么想要让hive和hbase整合，每次进入hive命令行后，需要进行如下配置：
所使用的连接 Linux 的工具是 Xshell。所以此处仅针对 xshell 来进行设定。 在File->Properties->Terminal->Keyboard下，把
Kylin 会在 HDFS 上生成文件，根目录是 “/kylin” (可以在conf/kylin.properties中定制)，然后会使用 Kylin 集群的元数据表名作为第二层目录名，默认为 “kylin_metadata”。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
