前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop+Hive+HBase+Spark 集群部署(二)

Hadoop+Hive+HBase+Spark 集群部署(二)

作者头像
ByteBye
发布2019-09-24 16:42:26
6520
发布2019-09-24 16:42:26
举报
文章被收录于专栏:ByteBye

hadoophivehbasespark

1. Hbase

hbase-env.sh

代码语言:javascript
复制
export JAVA_HOME=/usr/java/jdk1.8.0_162
export HADOOP_HOME=/opt/soft/hadoop-2.8.3
export HBASE_HOME=/opt/soft/hbase-2.0.0
export HBASE_CLASSPATH=/opt/soft/hadoop-2.8.3/etc/hadoop
export HBASE_PID_DIR=/opt/data/hbase_data/pids
export HBASE_MANAGES_ZK=false

hbase-site.xml

代码语言:javascript
复制
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://node:8020/hbase</value>
        <description>The directory shared byregion servers.</description>
    </property>
    <!-- hbase端口 -->
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
    <!-- 超时时间 -->
    <property>
        <name>zookeeper.session.timeout</name>
        <value>120000</value>
    </property>
    <!--防止服务器时间不同步出错 -->
    <property>
        <name>hbase.master.maxclockskew</name>
        <value>150000</value>
    </property>
    <!-- 集群主机配置 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>node,node1,node2,node3</value>
    </property>
     <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/opt/data/zookeeper_data/</value>
    </property>
    <!--   路径存放 -->
    <property>
        <name>hbase.tmp.dir</name>
        <value>/opt/data/hbase_data/tmp</value>
    </property>
    <!-- true表示分布式 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!-- 指定master -->
    <property>
        <name>hbase.master</name>
        <value>node:60000</value>
    </property>
     <property>
        <name>hbase.coprocessor.abortonerror</name>
        <value>false</value>
    </property>

regionservers

代码语言:javascript
复制
node1
node2
node3

启动 / 停止 命令

代码语言:javascript
复制
start-hbase.sh
stop-hbase.sh

Hbase_webUI 端口

  • 16010

shell

代码语言:javascript
复制
[root@node ~]# hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/soft/hbase-2.0.0/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/soft/hadoop-2.8.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
Version 2.0.0, r7483b111e4da77adbfc8062b3b22cbe7c2cb91c1, Sun Apr 22 20:26:55 PDT 2018
Took 0.0040 seconds                                                                                                                                                                               
hbase(main):001:0> list
TABLE                                                                                                                                                                                             
0 row(s)
Took 0.9192 seconds                                                                                                                                                                               
=> []
hbase(main):002:0> status
1 active master, 0 backup masters, 3 servers, 0 dead, 0.6667 average load
Took 0.2078 seconds                                                                                                                                                                               
hbase(main):003:0> 

PS.

  • RPC版本可能不一致,所以HBase lib目录中的Hadoop jar版本应和安装的Hadoop版本一致,将相应jar拷贝至HBase lib中

本文由 bytebye 创作 本站文章除注明转载/出处外,均为本站原创或翻译,转载前请务必署名

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-05-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. Hbase
    • hbase-env.sh
      • hbase-site.xml
        • regionservers
          • 启动 / 停止 命令
            • Hbase_webUI 端口
              • shell
                • PS.
                相关产品与服务
                TDSQL MySQL 版
                TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
                领券
                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档