Hadoop将通过从Hbase读取数据并将数据写入Hbase来运行许多作业。假设我有100个节点，那么有两种方法可以构建Hadoop/Hbase集群：
100节点hadoop & hbase集群 (1大Hadoop&Hbase)
分离数据库()，然后我们有两个集群：60节点Hadoop集群和40节点Hbase集群 (1 Hadoop +1 Hbase)
哪种选择更好？为什么？
谢谢。
浏览 4提问于2014-04-19得票数 1
回答已采纳
1回答
根据hbase官方教程，在配置hbase分布式集群时，在hbase-sit.xml文件中，需要配置属性hbase.rootdir指向hdfs集群地址。而且，所有hbase数据都将保存在hdfs上。在这种情况下，hbase集群是否需要多个数据节点？
浏览 0提问于2013-04-23得票数 0
回答已采纳
我安装了Ganglia来监视HBase集群。我在用ganglia-3.3.0。
Hadoop版本：hadoop-1.1.2
HBase版本：hbase-0.94.8
我的Hadoop集群由一个主节点和两个从节点组成。
Ganglia gmetad_server配置在主节点上。
我更改了hbase/conf/hadoop-metrics.properties文件。
hbase.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
hbase.period=10
hbase.servers=hostname_of_ga
浏览 1提问于2015-02-16得票数 1
回答已采纳
1回答
我想在Windows环境下配置HBase集群；
现有的可能途径：1) Cygwin；2) VirtualBox；3) HDInsight;
我的要求：完全在windows环境中配置HBase集群.
目前为止的分析，
在文件'hbase-0.98/bin/start-hbase.cmd'中，他们提到如下，
如果"%distMode%"=="false“(启动"HBase分发”%HBASE_BIN_PATH%\hbase.cmd主启动)其他(如果“%distMode%”“==”true“”( @echo )尚未实现。敬请关注。@rem调用%HBA
浏览 1提问于2014-12-05得票数 0
3回答
我在我的工作站上以伪分布式模式运行HBase。我们还在集群上运行HBase。使用HBase外壳，我想从我的工作站访问集群上运行的HBase实例。我希望在不登录到其中一台集群计算机的情况下执行此操作。
使用Hadoop，您可以通过指定-conf参数并提供hadoop-site.xml的替代版本来在远程集群上运行作业。有没有HBase外壳的等价物？
我在我的工作站和集群机器上运行cloudera cdh3u3。
浏览 0提问于2012-04-19得票数 10
回答已采纳
我已经在Azure中创建了HDInsight的Spark集群。现在，我希望将处理后的数据存储到HBASE中，并且我不想创建单独的HBASE HDInsight集群并使用VNET连接到Spark集群。
这是因为我们限制每个区域只能有60个内核(例如，美国东部2)。我已经并且想要在我的Spark集群中使用所有的60个内核。因此，我想到了在HDInsight的spark Cluster中安装HBASE。
当我在HDInsight星火集群中创建时，似乎已经有一个HBASE实例在运行。但这不会显示在Azure的集群仪表板(Ambari)或其任何配置中。
我不确定它是否能正常工作。当我创建一个"h
浏览 3提问于2017-04-18得票数 2
我正在从事一个在Hbase中包含1TB数据的项目。为了备份起见，我读到了有关快照的文章。
hbase快照位于集群上，我希望导出到不同的集群，并且我将得到
引起: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.snapshot.CorruptedSnapshotException)：org.apache.hadoop.hbase.snapshot.CorruptedSnapshotException：
那么，在我的导出中还需要包括哪些其他文件呢？
是否可以通过winscp将快照目
浏览 2提问于2017-07-30得票数 1
回答已采纳
我有一个关于负载均衡器的基本问题。我刚刚完成向hadoop(2.3)集群添加新节点，该集群也有hbase v0.98。添加后，在hadoop和hbase中的所有节点都在线，
hbase如何受到hadoop再平衡器的影响？在hadoop再平衡之后，我是否需要显式地尝试重新平衡hbase？
我的Hadoop集群完全被hbase占用。设置balancer_switch=true，它会自动重新平衡hbase和hadoop吗？
怎样才能确保hadoop和hbase都被重新平衡并且工作得很好呢？
浏览 11提问于2014-05-15得票数 18
我正在尝试通过菲尼克斯连接HBase集群。首先，我已经将Phoenix客户端和查询服务器的jars文件复制到HMaster和HRegion库文件夹中，并重新启动了HBase服务。
服务器-通过/bin/queryserver.py启动Phoenix服务器。它运行正常。
客户端- AvaticaClientRuntimeException: Remote driver error: RuntimeException: java.sql.SQLException: No suitable driver found for "http://hacluster:8764".
高可用集
浏览 0提问于2017-09-13得票数 7
1回答
从HDP迁移到MapR
、、、
我对MapR Hbase有点陌生，但我已经和Hbase合作过HDP/Cloudera。我们在HDP中有hbase集群，我们计划将Hbase数据迁移到MapR Hbase集群。
我在这里应该采取什么适当的办法？(在这个时刻，停机对我们来说不是问题。)
我们应该使用导出/导入实用程序、可复制命令等吗？
浏览 3提问于2015-03-25得票数 0
回答已采纳
1回答
我计划在两个不同的集群之间迁移，需要将Hbase表从旧集群复制到新集群，可以使用广泛用于备份数据的集群复制机制来将Hbase表从旧集群复制到新集群。
提前感谢！
浏览 2提问于2015-08-10得票数 2
我的客户有一个计算场景，一些数据存储在集群A的Hive中，另一些数据存储在集群B的Hbase中，然后他们想要对这两种表进行一些连接操作。
那么有没有一种方法可以让我在Hive中这样做：
select hive_table.col1, hbase_table.col2 from hive_table inner join hbase_table on hive_table.id = hbase_table.id
配置单元表和hbase表存在于不同的集群中。
浏览 1提问于2018-05-26得票数 1
1回答
问题介绍
我使用的是使用HBase 1.4.10版本的AWSEMR5.29版本。我正在尝试将Geomesa与HBase只读集群连接起来。当通过AWS服务(使用HBase Java代码)连接到EMR集群时，我得到了以下错误：
由于: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionException:区域hbase:meta，,1不在ip-10-0-xx-xxx.ec2.internal,16020,1585249817xxx上
上面的异常是从抛出的。很明显，我可
浏览 2提问于2020-03-27得票数 2
在我的hbase集群中，我在regionservers文件中设置了5个hadoop datanode s1,s2,s3,s4,s5，在master文件中设置了hadoops namenode m1，但是当我启动hbase集群时，在hbase-status页面上只能看到2个regionservers？有什么问题吗？到目前为止，hbase集群工作正常。我检查了DNS，但没有发现任何问题。
浏览 0提问于2012-06-27得票数 0
是否可以将Azure HDInsight HBASE (HDI4.0)指向数据湖V2上的容器，而不是默认的集群容器，以仅存储HBASE数据，因为我们的一个客户希望他们的数据永久存储在容器上，并且每次创建新的HBASE集群时，他们都会将HBASE指向该容器？
浏览 23提问于2020-01-02得票数 0
2回答
我不理解hbase-site.xml中的一个参数：
<property>
<name>hbase.rootdir</name>
<value>hdfs://hdfsHost:8020/hbase</value>
</property>
如果我们在HA模式下配置HDFS集群，我们必须在这个参数中放什么？我的意思是我们有两个名称节点(nn1，nn2)和两个数据节点(dn1，dn2)，那么我们必须在"hbase.rootdir“参数中使用哪个节点呢？
最符合逻辑的答案是名称节点，该节点当前处于活动状态。但是，如果
浏览 2提问于2016-08-04得票数 1
回答已采纳
1回答
HBase中的复制与快照
、、、
我们有两个系统--一个离线系统(性能在这里并不重要)，其中MapReduce作业在HBase集群上运行。另一个是在线系统(Performace在这里非常关键)，其中API从同一个HBase集群中读取。但是，由于运行在同一集群上的MapReduce作业，在线系统上存在性能问题。因此，我们尝试为脱机系统设置单独的HBase集群，即复制源集群中的少数家族名称。因此，在源上，繁重的MapReduce作业运行。在复制的集群上，只有联机系统运行才能获得最佳性能。我在这里的问题是:我们不能使用HBase中的快照功能来做同样的事情吗？我也想知道他们之间有什么区别？
浏览 0提问于2016-01-28得票数 0
回答已采纳
在齐柏林飞艇中运行hbase作业时，面临“错误: keepererrorcode =/hbase的连接丢失”的问题。Hbase版本- 1.2，使用HBase 1.2编译的Apache Zeppelin 0.8.0。
运行在CDH 5.11.0集群上的Hbase
Hbase命令从同一主机的CLI成功运行，但从Zeppelin UI运行失败。Zeppelin主机配置为CDH集群的边缘节点。
Spark作业运行时没有任何问题。
感谢任何人的指点。
你好，Shrilesh
浏览 2提问于2017-09-06得票数 0
我最近为hadoop集群配置了两台机器(在ubuntu上)。到目前为止，它工作得很好。但是当我尝试在上面的hadoop集群上配置hbase时，它显示错误。这是我所做的，
我有两台机器。192.168.1.110 Hadoop主机192.168.1.111从Hadoop
conf/hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22 export HBASE_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf export HBASE_MANAGES_ZK=true
hbase-site.xm
浏览 1提问于2011-03-11得票数 6
1回答
我有一个安装了HBase的小型开发集群。我的集群的磁盘使用量已经满了，所以我需要删除一些数据，但是我不能启动regionservers。它们会失败，并在日志中显示以下消息：
File /hbase/.logs/<some file> could only be replicated to 0 nodes, instead of 1
我猜是因为集群中没有剩余的空间了。
我想知道，我可以从HBase中安全地手动删除(通过hdfs)什么，而不会导致任何类型的元数据损坏？
hdfs中占用空间最多的区域是
/hbase/.logs
/hbase/mytable
如果我不再关心mytable中
浏览 1提问于2013-03-14得票数 1
回答已采纳
我是hbase集群中的newby，我以分布式模式集群hbase并启动良好，但是当我运行hbase shell时，我无法创建表，此错误显示如下：
我的base site.xml配置是
<property>
<name>hbase.master</name>
<value>matser:60000</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop-n
浏览 4提问于2014-07-26得票数 0
回答已采纳
1回答
hbase真的是线性的吗？
、、、、
我开始学习hbase，我不明白它是如何线性扩展的。
问题是，在安装hbase之前，您必须有一个hdfs集群。HDFS集群有一个主节点，只能是整个集群中的一个节点，因此它是一个瓶颈。当然，我们可以多运行一个主节点(只可能多运行一个主节点)，但它将处于待机状态。据我所知，hbase使用HDFS集群来存储数据。因此，从逻辑上讲，运行多个Hmaster是没有意义的，因为所有请求都将转到hdfs活动主程序，如果我们有太多的请求，其性能可能会受到影响。
另外，我也不明白，我们是否需要将hbase安装在hdfs的相同节点上，或者单独安装。如果我们单独运行hbase和HDFS，有什么好处。就我而言，在具有hd
浏览 1提问于2016-08-02得票数 2
回答已采纳
我们有一个带有hadoop-1.0.1的hbase-0.94集群。我们不希望在使用hadoop-2.5.1升级到hbase-0.98时此群集出现宕机
我使用hadoop-2.5.1配置了另一个hbase-0.98集群，并希望将hbase-0.94表复制到hbase-0.98。Hbase CopyTable似乎不适用于此目的。
请建议一种执行上述任务的方法。
浏览 2提问于2016-07-27得票数 2
1回答
我有一个分布式hadoop集群，其hdfs上运行着hbase。要使用hbase构建映射/减少作业，我包括以下依赖项：
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>1.2.1</version>
<sc
浏览 4提问于2016-10-07得票数 0
我已经从我的HBase集群中删除了一个region服务器，从$HBASE_HOME/conf/regionservers中删除了它的主机名，并重新启动了HBase集群，但是HBase UI仍然将已删除的区域服务器显示为“死”区域服务器。
hbase shell中的“Stat”命令也将其显示为死区服务器。我该怎么摆脱它？
浏览 4提问于2015-12-28得票数 6
0回答
现在主要有个hbase集群，rpc实时写入hbase，如何做个异地容灾集群？据说hbase本身异步复制不是很成熟，采用kafka上双写延迟太多了吧，请教是不是还有其他方案？要求零数据丢失。
浏览 949提问于2019-03-03
我有一个包含某些数据的HBase集群。我还有一个hadoop集群，其中也包含某些数据。现在，是否可以使用来自hbase集群的数据在hadoop集群上运行map reduce作业？我们如何使用pig来做到这一点呢？
浏览 2提问于2014-03-17得票数 0
1回答
我是HBase或Hadoop的新手，这听起来可能很天真。然而..
在Hbase与现有hadoop集群的集成中，我遇到了一些问题。为了便于学习，我配置了一个2节点的Hadoop 1.1.1集群。假设是主机和从机。我甚至可以毫无问题地运行map reduce示例。
在Master上- 1. Namenode 2.辅助Namenode 3.作业跟踪器+ 4. Datanode 5.任务跟踪器
在Salve上- 1.数据节点2.任务跟踪器
现在，我想在这个hadoop集群上运行HBase 0.90.6。问题是这个版本的HBase与Hadoop-code-append jar捆绑在一起。现在，为了将核心
浏览 3提问于2012-12-06得票数 1
回答已采纳
我正在以完全分布式模式设置一个HBase集群，其中包含1个HMaster节点和3个Regionservers节点
我的hbase-site.xml文件包含
<configuration>
<property>
<name>hbase.master</name>
<value>hbase.master:60000</value>
</property>
<property>
<name>hbase.rootdir</name>
<
浏览 0提问于2015-11-04得票数 1
回答已采纳
1回答
我目前正在尝试让我的HBase代码使用在hbase-site.xml中指定的设置。它似乎使用默认设置，而不是hbase-site.xml配置文件中指定的设置。在更新文件后，我重新启动了HBase集群，但它仍然没有使用我更新的配置文件。
我使用的集群是2个节点，其中一个是主节点。两个节点上的配置文件都将主节点的IP指定为zookeeper quorum。我认为问题是我在hbase-site.xml中指定的设置没有被使用，因为如果我通过代码将zookeeper quorum设置为与hbase-site.xml中相同的值，代码就可以正常运行，但是如果没有通过代码指定quorum，第二个节点就无法联系
浏览 1提问于2013-01-15得票数 6
回答已采纳
我正在阅读Hortonworks文档以从集群的任何主机()中删除reading服务器。它使用graceful_stop.sh脚本。Apache图书()中也描述了相同的脚本。
我试图找到这个剧本，但找不到它。
hbase@node ~]$ ls /usr/lib/hbase/bin/
draining_servers.rb hbase.cmd hbase-daemon.sh region_status.rb test
get-active-master.rb hbase-common.sh hbase-jruby replication
hbase
浏览 13提问于2014-07-04得票数 1
1回答
如何设置hbase集群的启动参数，例如：
RegionServer：
-Xms16g -Xmx16g -Xmn2g -XX:SurvivorRatio=2 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=85
DataNode：
-Xms2g -Xmx2g
如何设置此启动参数？在启动hbase集群之前，它们是在hbase-env.sh中还是在hbase-site.xml中设置的？
我注意到hbase-env.sh中只有一个maxheapsize选项，那么如何设置其他参数呢？详细地说，谢谢。:)
浏览 0提问于2012-06-26得票数 0
回答已采纳
1回答
我想从hbase远程服务器上读取/写入来自pig脚本的数据。我们正在使用Hortonworks HDP 2.5
以下是情景。
我们有两个星系团，一个用于蜂巢，另一个用于Hbase。我们可以访问作为Hive集群一部分的边缘节点。
我们的代码(MapReduce作业和Pig脚本)将在Hive集群上执行。
作为需求的一部分，我们还必须从Hbase表中读取/写入数据。
我们在网上找到了一个解决方案，但行不通。
该解决方案建议在我们的猪脚本中注册hbase服务器的动物园管理员仲裁。但是语法不起作用。
set hbase.zookeeper.quorum '108.168.251.xxx-st
浏览 0提问于2017-05-15得票数 1
1回答
我们在hadoop hbase数据库中创建了一个数据仓库，其中有一个包含hbase数据库的hadoop集群和一个drill sql引擎集群。我想让一个用户访问hbase的每个表，所有用户都不能看到所有的数据库表。我们如何在此platform.how中具有安全性和身份验证?在钻取过程中，我们可以控制对hbase表的访问吗？我知道hbase有身份验证。但我不知道它和drill是怎么工作的？我们必须在hbase上更改我们的sql引擎吗？如何使用drill连接hbase和身份验证？
浏览 18提问于2017-01-23得票数 0
我必须在不同的集群中创建一个表，并且我只有hbase表的描述作为方便。如何在不同集群中创建新的hbase表？
浏览 0提问于2016-11-25得票数 1
我正在处理一个大数据系统架构。我知道Impala可以对HDFS/HBase集群中存储的数据执行查询。
但是，如果我有一个HDFS集群加上另一个存储HBase数据的集群，该怎么办？Impala能够执行合并两个集群中的数据的查询吗？
浏览 3提问于2014-10-29得票数 0
回答已采纳
我正在尝试使用HBase中可用的“HBase”功能来标识从表中删除的记录。基本上，我的用例是-我想识别在特定时间内从HBase中删除的记录(例如，最后一小时)。
为了识别被删除的记录，我使用了HBase中的原始特性。当我从本地机器运行程序时，原始特性运行良好，但是当我从集群(Cloudera安装程序)触发它时，它会抛出一个NoSuchMethod错误。
我确信这是因为我的集群中的jar不匹配，但我不知道是什么导致了这个问题。
val hbaseTable = con.getTable(org.apache.hadoop.hbase.TableName.valueOf("line_ite
浏览 1提问于2019-08-05得票数 0
1回答
我刚刚遵循了这个指南:在运行和hbase的亚马逊EC2上建立一个集群。
我现在想知道的是，我如何在我的集群上运行hbase中的数据？我是否需要将其加载到S3，然后再加载到我的hbase集群？
是否有加载/提取数据的最佳实践？任何类型的指针都将不胜感激，因为我是EC2的新手。
浏览 0提问于2013-01-03得票数 4
回答已采纳
5回答
我有一个由5个节点组成的集群，我在该集群上创建了几个HBase表，并用数据填充其中。其中一个节点出现故障，现在我可以列出HBase上的所有表，但扫描或禁用其中两个表会显示
NativeException: org.apache.hadoop.hbase.client.NoServerForRegionException: No server address listed in .META. for region TableName,,1295871604968
我想删除这个表，但无法解决这个问题。为此，我使用了hbase shell。
浏览 0提问于2011-01-25得票数 3
回答已采纳
我是Hbase的新手。当hbase在集群上运行时，我必须触发一封电子邮件。命令sudo -u hbase jps给出了hbase的过程。
请建议怎么做。
浏览 2提问于2016-03-15得票数 3
回答已采纳
1回答
我有两个名为A和B的hbase集群，每个集群有3台机器，我想在两个集群之间启用复制，下面是步骤
向hbase-site.xml添加配置
<property>
<name>hbase.replication</name>
<value>true</value>
</property>
在主集群A中，添加对等点
add_peer '2',"wxmaster1,wxmaster2,wxslave1:2181:/hbase2"
返回成功，正如我在日志中看到的，集群A主日志已插入到集群
浏览 1提问于2017-02-16得票数 0
我的意思是，有两个选择: 1.在Hadoop集群上安装HBase，这也是离线计算，所以只有1个hadoop集群。2.安装一个用于离线计算的Hadoop集群，然后再安装一个仅供HBase使用其HDFS的Hadoop集群。
因此，有两个选项:一个是集成集群，另一个实际上是2个集群。
这两个选项的优缺点是什么？
浏览 2提问于2013-07-11得票数 1
背景：CDH 5.16.1
描述：现在需要将数据从未启用kerberos的Hbase集群迁移至启用Kerberos的Hbase集群。尝试Snapshot 和Export 方式均不可行。请问是否有其他可行经验？
浏览 319提问于2019-09-04
我正在建立一个Hbase集群，我遇到了一个问题。当我将数据写入集群时，有些节点仍然是空的。
Hbase状态屏幕：
Dfshealth屏幕：
Hbase 1.4.10，Hadoop 3.1.2
节点-主hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://node-master:9000/hbase</value>
</property>
浏览 0提问于2019-06-25得票数 0
1回答
我有一个包含10个节点的Hadoop集群。在10个节点中，有3个节点部署了HBase。有两个应用程序共享集群。应用程序1从hadoop HDFs写入和读取数据。应用程序2将数据存储到HBase中。yarn中有没有一种方法可以确保由应用程序1启动的hadoop M/R作业不会使用Hbase节点上的插槽？我只希望应用程序2启动的Hbase M/R作业使用HBase节点。这是为了确保有足够的资源可供应用程序2使用，以便HBase扫描非常快。
对如何实现这一点有什么建议吗？
浏览 2提问于2014-04-05得票数 0
我们在amazon EMR上有一个默认配置的hadoop+hbase集群，因此mapred.child.tmp和hbase.tmp.dir都指向/tmp。我们的集群已经运行了一段时间，与实际/hbase数据的70 to相比，现在的/tmp是500 to。
这种差异似乎太大了，我们是不是应该周期性地删除一些/tmp数据？
浏览 1提问于2012-09-17得票数 1
回答已采纳
3回答
根据我到目前为止读到的内容，HBase需要安装Hadoop。看起来HBase可以设置为使用现有的Hadoop集群(与其他一些用户共享)，或者可以设置为使用专用Hadoop集群？我想后者会是一个更安全的配置，但我想知道是否有人有使用前者的经验(但我不太确定我对HBase设置的理解是否正确)。
浏览 4提问于2012-03-30得票数 1
回答已采纳
1回答
我正在尝试使用CDATA ()创建一个连接到集群中的HBase的JDBC。
我们集群中的HBase属性如下所示：
hbase.zookeeper.quorum=auper01-01-20-01-0.prod.vroc.com.au,auper01-02-10-01-0.prod.vroc.com.au,auper01-02-10-02-0.prod.vroc.com.au
hbase.zookeeper.port=2181
hbase.zokeeper.znode.parent=/hbase-unsecure
根据文档，我将JDBC设置为：
jdbc:apachehbase:Server=au
浏览 5提问于2017-11-17得票数 0
1回答
我正在做一个POC的谷歌云数据处理与HBase作为其中一个组件。 我创建了集群，并且能够让集群与HBase服务一起运行。我可以通过shell列出和创建表。 我想使用Apache Phoenix作为在HBase上查询的客户端。我通过引用此link将其安装在集群上。 安装正常，但是当我执行hbase localhost时，它应该在sqlline.py中创建元表。它实际上失败了，并在转换过程中给出了区域错误。 有没有人知道如何解决这个问题，或者是否存在Apache Phoenix不能与Dataproc一起使用的限制。
浏览 17提问于2021-04-09得票数 4
我使用由10台PC组成的HBase集群已经有一段时间了。在我昨晚停止集群之前，一切都运行得很好。但是当我今天早上启动集群时，我注意到HBase主机没有检测到.Meta表，所以.Meta表不会出现在目录表中，而根表在hbase主机端口60010。我进行了多次重启，但都不起作用。有什么问题吗？我怎么才能修复它呢？
我在这里粘贴了日志：
浏览 2提问于2013-06-12得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
