Hadoop进级教程之-HBase高可用部署及内存调优

确保 Zookeeper 集群的正常部署，并启动

[root@hadoop-master zookeeper]# bin/zkServer.sh start

[root@hadoop-master zookeeper]# bin/zkServer.sh start

[root@hadoop-master zookeeper]# bin/zkServer.sh start

确保 Hadoop 集群的正常部署，并启动

[root@hadoop-master hadoop-2.9.2]# sbin/start-dfs.sh

[root@hadoop-master hadoop-2.9.2]# sbin/start-yarn.sh

解压 Hbase 到指定目录：

[root@hadoop-master myproject]# tar -zxvf hbase-2.4.1-bin.tar.gz -C /usr/myproject

HBase 的配置文件

1）hbase-env.sh 修改内容：

export JAVA_HOME=/usr/myproject/jdk1.8.0_261export HBASE_MANAGES_ZK=false

2）hbase-site.xml 修改内容：

3）regionservers：

hadoop-masterhadoop-slave1hadoop-slave2

4）软连接 hadoop 配置文件到 HBase：

[root@hadoop-master conf]ln -s /usr/myproject/hadoop-2.9.2/etc/hadoop/core-site.xml/usr/myproject/hbase/conf/core-site.xml[root@hadoop-master conf]#ln -s /usr/myproject/hadoop-2.9.2/etc/hadoop/hdfs-site.xml/usr/myproject/hbase/conf/hdfs-site.xml

配置完成后，将hadoop-master中的hbase文件夹整体复制到hadoop-slave1和hadoop-slave2服务器中；

[root@hadoop-master myproject]# scp -r hbase root@hadoop-slave1:/usr/myproject/[root@hadoop-master myproject]# scp -r hbase root@hadoop-slave2:/usr/myproject/

启动动和停止服务

[root@hadoop-master hbase]# bin/start-hbase.sh[root@hadoop-master hbase]# bin/stop-hbase.sh

查看 HBase 页面

http://hadoop-master:16010

HBase 内存调优

HBase 操作过程中需要大量的内存开销，毕竟Table 是可以缓存在内存中的，一般会分配整个可用内存的 70%给 HBase 的 Java 堆。但是不建议分配非常大的堆内存，因为 GC 过程持续太久会导致 RegionServer 处于长期不可用状态，一般 16~48G 内存就可以了，如果因为框架占用内存过高导致系统内存不足，框架最终也会崩溃。

HBase CPU调优

HBase在应用上的各种操作对CPU的消耗也比较大，比如频繁使用过滤器对数据进行匹配、搜索和过滤，多条件组合扫描查询，压缩操作频繁等。如果CPU配置过低，会导致HBase集群负载比较高，造成线程阻塞，所以CPU核数越多越好。

HBase JVM性能调优

RegionServer 的JVM 配置如下所示：export HBASE_OPTS="$HBASE_OPTS -Xmx8g -Xms8g -Xmn128M -XX:+UseParNewGC -XX:+UseConMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -verbose:gc -XLoggc:${HBASE_HOME}/logs/gc-hbase.log"

HBase 查询性能调优

设置Scan 缓存

显示地指定列

批量读

使用Filter过滤器

缓存使用

关闭WAL

预建分区

延迟日志刷磁盘

批量写

启用压缩

HBase 参数性能调优

下一节我们将重点讲述，HBase Shell 操作