我对Hadoop、Spark和HBase都是新手。我试图用mvn clean package (Apache Maven 3.3.3)构建库。
但我在构建过程中遇到了以下失败的测试：
- distributedScan to test HBase client *** FAILED ***
java.lang.NullPointerException:
at org.apache.hadoop.net.DNS.reverseDns(DNS.java:92)
at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.reverseDNS(
浏览 1提问于2015-09-29得票数 1
1回答
我想知道如何知道我的HBase客户机的jar是否适合我的HBase服务器的版本。有没有指定HBase客户端jar支持哪些HBase版本的地方？ 在我的例子中，我想使用最新的HBase客户机jar (2.4.5)和一个相当旧的HBase服务器(版本1.2)。有没有地方可以检查兼容性，以了解它是否可行和受支持？ 我想知道是否有一个表显示了像其他数据库一样的广泛兼容性。类似于：https://docs.mongodb.com/drivers/java/sync/current/compatibility/
浏览 91提问于2021-08-21得票数 2
1回答
我们在hadoop hbase数据库中创建了一个数据仓库，其中有一个包含hbase数据库的hadoop集群和一个drill sql引擎集群。我想让一个用户访问hbase的每个表，所有用户都不能看到所有的数据库表。我们如何在此platform.how中具有安全性和身份验证?在钻取过程中，我们可以控制对hbase表的访问吗？我知道hbase有身份验证。但我不知道它和drill是怎么工作的？我们必须在hbase上更改我们的sql引擎吗？如何使用drill连接hbase和身份验证？
浏览 18提问于2017-01-23得票数 0
1回答
我需要为单元测试模拟一个HBase。特别是，我的程序需要连接到HBase。我该怎么做呢？我只是简单地使用了HbaseTestingUtility.getConnection()。但很明显，它不起作用。谢谢!
浏览 7提问于2019-02-10得票数 0
2回答
我能够得到本地主机:16010正在运行。但是，不知怎么的，当我使用以下命令时，Hbase外壳没有启动：
01HW993798:bin tcssig$ cd /Users/tcssig/Downloads/hbase-1.0.3/bin
01HW993798:bin tcssig$ hbase shell
-bash: hbase: command not found
当我直接启动Hbase可执行文件时，它会生成下面的错误日志。
Error: JAVA_HOME is not set
虽然我已经设置好了。在此之后，localhost:16010正在运行。
注:我知道有一个类似的问题，但没有
浏览 2提问于2016-10-05得票数 0
回答已采纳
1回答
我对大数据很陌生，并试图了解各种持久化和检索数据的方法。我知道Parquet和HBase都是面向列的存储格式，但是Parquet是一个面向文件的存储，而不是一个与HBase不同的数据库。我的问题是：
使用Parquet代替HBase的用例是什么？
是否有可以与HBase一起使用Parquet的用例？
在执行联接的情况下，Parquet是否比HBase (例如，通过像菲尼克斯这样的SQL皮肤访问)性能更好？
浏览 1提问于2018-09-09得票数 20
回答已采纳
我用的是ubuntu 12.04，下载后解压hbase-0.94.1.jar。我通过以下命令在独立模式下启动了hbash
user@ubuntu:~/temp/hbase-0.94.1$ bin/start-hbase.sh
starting master, logging to /home/user/temp/hbase-0.94.1/bin/../logs/hbase-user-master-ubuntu.out
但是当我尝试访问hbash status UI时
http://localhost:60010
，我得到了“无法连接”。
谢谢。
丹
浏览 3提问于2012-10-24得票数 14
1回答
我无法在Hbase和Apache drill之间创建连接。我无法理解问题是与Hbase有关还是与Apache drill有关。
我可以在Drill.Here中创建存储插件，这是我给出的配置。
{
"type": "hbase",
"config": {
"hbase.zookeeper.quorum": "localhost",
"hbase.zookeeper.property.clientPort": "2181"
浏览 1提问于2016-07-25得票数 1
我试图使用scalatest执行单元测试，使用hbase测试实用程序来本地测试开发代码。sbt中hbase测试实用程序的设置是目前的挣扎。当我编译时，我会得到以下错误：
[warn] module not found: org.apache.hbase#${compat.module};1.2.1
[warn] ==== local: tried
[warn] /root/.ivy2/local/org.apache.hbase/${compat.module}/1.2.1/ivys/ivy.xml
[warn] ==== public: tried
[warn] https://r
浏览 2提问于2016-04-29得票数 3
回答已采纳
1回答
我有一个Hbase数据库，保存wikipedia.org的抓取信息。我的机器在Amazon Wweb Services上。
我已经下载了Solr，我想在Hbase上索引数据，然后我将对其进行搜索。
我是Solr和Hbase的新手，我该怎么做呢？
浏览 2提问于2013-03-10得票数 0
5回答
我已经在ubuntu 12.04上安装了hadoop单节点。现在，我正在尝试在其上安装hbase (0.94.18版)。但是我得到了以下错误(尽管我已经将其解压缩到/usr/local/hbase中)：
Error: Could not find or load main class org.apache.hadoop.hbase.util.HBaseConfTool
Error: Could not find or load main class org.apache.hadoop.hbase.zookeeper.ZKServerTool
starting maste
浏览 1提问于2014-05-11得票数 3
我正在执行一个pig脚本，它与HBase进行交互，并得到以下错误：
由：'org.apache.pig.backend.hadoop.hbase.HBaseStorage‘：无法实例化org.apache.pig.impl.PigContext.instantiateFuncFromSpec(PigContext.java:770) at org.apache.pig.parser.LogicalPlanBuilder.buildLoadOp(LogicalPlanBuilder.java:885)上的参数.在sun.reflect.NativeConstructorAccessor
浏览 1提问于2018-05-10得票数 0
回答已采纳
1回答
在Hadoop集群中，我们希望安装Cassandra。是安装Cassandra的方法，这样我就可以将数据直接插入到hdfs中。
例如，对于Hbase，我们不得不提到hbase-site.xml下的hbase.rootdir。
<property>
<name> hbase.rootdir </name>
<Value> hdfs://<hostname>:<portnumber>/hbase </Value>
</property>
因此，有了一个主服务器和n个区域服务器，我们就能够将Hbas
浏览 1提问于2015-07-20得票数 4
我知道Hadoop社区提倡使用RDBMS作为hive metastore。但是，我们可以使用nosql数据库，如mongodb或hbase for hive metastore吗？如果不是，为什么呢？为配置单元转移存储选择数据库的标准是什么？
浏览 0提问于2018-07-25得票数 0
我使用的是hbase-0.94.9，我试着按照HBase在线书籍中的介绍操作，但是我得到了错误信息：
org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master
java.net.ConnectException: Call to localhost/127.0.0.1:8020 failed on connection exception: java.net.ConnectException
然后我在网上发现，我必须首先设置Hadoop，我在hadoop2.0.5-alpha中使用了start-dfs.s
浏览 3提问于2013-07-10得票数 2
回答已采纳
我在hbase中有1000万行，我想为检索过程做范围扫描。目前我们正在使用java thrift api连接到hbase。我知道用于范围扫描的hbase shell命令
scan 'tablename', {STARTROW => '639415', ENDROW => '639415'}
有没有人能告诉我怎么用java thrift api来实现这一点？
浏览 1提问于2015-12-18得票数 0
我试图在我的系统上本地添加用户定义协处理器作为辅助存储的目的，我引用了"“链接来实现。当我尝试执行静态协处理器加载时，我得到了一些与RegionCoprocessor相关的错误，说提到的类不是RegionCoprocessor类型。请帮助我完成这个功能。
DatabaseCrudCoprocessor.java >实现>
@InterfaceAudience.LimitedPrivate(HBaseInterfaceAudience.COPROC)
@InterfaceStability.Evolving
public class DatabaseCrudCoproces
浏览 1提问于2019-12-12得票数 2
我想从hadoop mapreduce访问hbase表，我使用的是windowsXP、cygwin、hadoop-0.20.2和hbase-0.92.0。我能够在3台pcs上成功运行mapreduce wordcount，并验证了hadoop和hbase工作正常。我也可以从shell创建表格。
我已经尝试了许多示例，但它们都不起作用，例如，当我尝试使用javac Example.java编译它时。
它给出错误.....org.apache.hadoop.hbase.client不存在org.apache.hadoop.hbase不存在org.apache.hadoop.hbase.io不存在
浏览 0提问于2012-02-21得票数 0
我在Hadoop 1.0.0上安装了HBase 0.92，它在全分发模式下工作得很好，但不断出现一个恼人的警告。我怎样才能摆脱它？
.......
hbase(main):001:0> status
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in
[jar:file:/opt/hbase-0.92.0/lib/slf4j-log4j12-1.5.8.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found bi
浏览 0提问于2012-02-22得票数 7
2回答
我不知道发生了什么。我昨天用下面的代码在hbase中创建了一个表。
我使用以下命令启动hbase。
hbase-2.0.0/bin$ ./start-hbase.sh
创建表的代码
private void createStudentTable(String workspace) {
List<ColumnFamilyDescriptor> colms = new ArrayList<>();
colms.add(ColumnFamilyDescriptorBuilder.of("id"));
colms.
浏览 0提问于2018-07-01得票数 0
我是一个初学者，我正在尝试使用sbt导入phoenix库来读取spark中的hbase表，但我的build.sbt总是给我错误。 导入sbt项目时出错： [error] stack trace is suppressed; run 'last update' for the full output
[error] stack trace is suppressed; run 'last ssExtractDependencies' for the full output
[error] (update) sbt.librarymanagement.Resolv
浏览 86提问于2019-09-28得票数 2
回答已采纳
1回答
我用的是HDFS+HBASE。我已经创建了一个数据库并运行了2个小时的测试。我想在测试运行后检查数据库大小的增加情况。我曾尝试使用以下方法获取读数：
hadoop dfsadmin -report and
hadoop fs -dus /hbase.
我还尝试使用以下命令检查磁盘大小
du -sk /HADOOP.
观察是在测试运行后，大小显示为减少而不是增加。
使用的版本: ZooKeeper 1.0.0、HBase 0.90.5、Hadoop3.3.4。
列族上的压缩为NONE。
请帮助获得正确的过程，以计算由于测试而增加的数据库大小。
浏览 3提问于2012-10-10得票数 1
我是否需要在windows中使用hadoop连接运行在ununtu和Hadoop上的hbase？
我的hbase在我的ubuntu机器上运行得很好。我可以在同一台机器上连接eclipse (我正在使用kundera连接hbase)。现在我想从我的windows7 eclipse IDE连接hbase。我需要在windows上安装hadoop才能连接ubuntu上的远程hbase吗？？当我尝试的时候，我得到了像这样的东西
Failed to locate the winutils binary in the hadoop binary path
Read about open-source te
浏览 5提问于2015-06-17得票数 0
官方文件指出，“SpringforApacheHadoop2.2GA”只支持CDH 5.3.3。
对于CDH5.4.X是否有一种使用“”的方法，或者我必须等待下一个版本？2.3版本是否支持CDH 5.4.x？
编辑：
我使用Cloudera快速启动VM cdh 5.4.2完成了这个hbase 和这个春季引导。因此，如果您只想在CDH5.4.X中使用Hbase或hadoop，“SpringforApacheHadoop2.2GA”可以满足您的需求。如果没有，请看下面托马斯·里斯伯格的回答。
我在Hbase示例中使用的库是：
<spring.version>4.1.7.
浏览 1提问于2015-07-13得票数 0
回答已采纳
1回答
安装HDFS/HBase客户端库
、、、、
如何在windows机器中安装包org.apache.hadoop和org.apache.hbase，以便开发连接到现有HBase集群的客户端？
浏览 2提问于2013-09-25得票数 1
回答已采纳
我有Phoenix 4.8和hbase 1.2；我已经在hbase/lib文件夹中复制了jar: phoenix-core-4.8.0-HBase-1.2.jar和phoenix-4.8.0-HBase-1.2-client.jar。在启动.sqlline.py时，我收到以下错误：
错误:错误2007 (INT09)：过期的jars。以下服务器需要将更新的主机名放入jars的类路径中：,1470746624029.8eaa1de436397c886fd7c5e4009c1a82.，phoenix.jar =HBase-n310u，16201,1471850762175，region=SYSTE
浏览 47提问于2016-08-22得票数 0
我试图在hadoop集群上安装HBase，但我无法理解为什么HMaster在从start-hbase.sh调用时无法启动。日志文件表明hsync存在问题。我已经确认zookeeper在分布式模式下运行正常，并且我没有遇到任何通过spark处理hadoop集群的问题。尝试启动HBase时，区域服务器将在所有数据节点上启动。
我有hadoop版本3.0.0，动物园管理员3.4.11和hbase 2.0.0 beta 1。
我已经清除了动物园管理员hbase节点和hdfs hbase目录，并重新启动没有运气。我将myid动物园管理员文件存储在与用于动物园管理员和hbase区域服务器/usr/loca
浏览 6提问于2018-02-09得票数 1
我使用的是nodejs和hbase 0.98，所以看起来是一个很好的连接器。但在输入npm install -S hbase-rpc-client后，它无法正确安装到nodejs上。我必须从github下载它，并用咖啡脚本编译它。有谁知道如何以更好的方式安装它吗？
浏览 1提问于2015-12-14得票数 0
需要在HBase上添加火花连接器
火花版本： 2.3.1
HBase版本： 2.0.0
获得贝娄异常：
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.deploy.SparkHadoopUtil.getCurrentUserCredentials()Lorg/apache/hadoop/security/Credentials;
at org.apache.hadoop.hbase.spark.HBaseContext.<init>(HBaseContext.
浏览 0提问于2018-09-17得票数 2
回答已采纳
我试着用MRUnit测试我的MRUnit，当我做集成测试时，它会工作。我有一些单元测试，我也想通过他们。
我的MRUnit驱动程序和MapReduce类是：
MapDriver<ImmutableBytesWritable, Result, ImmutableBytesWritable, KeyValue>
public final class HashMapper extends
TableMapper<ImmutableBytesWritable, KeyValue>
当我定义输入时，我会得到一个错误：
mapDriver.withInput(new I
浏览 4提问于2014-03-20得票数 0
1回答
我想通过浏览器查看我的hbase数据。有没有这样的工具，这样我就可以查看、操作数据并得到一些结果。Hbase shell界面不容易理解，因为我是hbase的新手。
浏览 4提问于2014-09-25得票数 0
回答已采纳
我正在Ubuntu16.04中安装Apache。
我安装了：
在伪分布式模式下( hdfs://localhost:9000)apache：组3.1.2和db derby 10.14.2.0 (配置单元使用db德比)hbase 1.4.10采用伪分布式模式(使用hdfs://localhost:9000/hbase) )
但当我打电话：
shellhbase(main):001:0> hbase
获取错误：
ERROR: Can't get master address from ZooKeeper; znode data == null
Here is some help
浏览 9提问于2019-09-27得票数 0
回答已采纳
我已经设置了一个独立的HBase服务器，只是为了练习和学习。假设Hbase服务器的IP地址是x(我可以从控制台运行Hbase shell )。
在机器x.x上，我还安装了SSH服务器。
我想知道，如果我可以连接到HBase服务器，用一些特殊的命令从另一台机器(y.y)，或者我只能从y.y到x.x的SSH，然后运行HBase外壳？
例如，使用MongoDB，我可以使用：mongo -u admin -p student x.x.x.x:27017/admin连接，并且我能够测试数据库。我看起来与如何连接到远程HBase shell实例是一样的。我正在使用最新的Linux Mint。谢谢。
浏览 68提问于2020-06-04得票数 0
1回答
我创造了一个hbase-蜂巢表。我通过蜂巢插入数据。
CREATE TABLE hivetest(cookie string, timespent string, pageviews string, visit string, logdate string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "m:timespent, m:pageviews, m:visit, m:lo
浏览 1提问于2013-09-24得票数 2
回答已采纳
我在我的Ubuntu虚拟机中运行Hadoop-MapReduce作业。在中间阶段，我需要检查Hbase数据库是否存在某些字符串数组，如果没有找到，则什么也不做，并“继续”到下一个作业，而不抛出"NullPointerException“。 下面的Scala代码(版本2.11.7)片段检查Hbase数据库中是否存在行(即字符串数组)，该数据库以前是从MapReduce作业创建的。为此，它首先使用.readColocationStoreRow()根据rowName输入读取hbase中的该行，然后如果exists将其拆分，然后使用.contains()检查该数组的各个部分(用分隔符#分隔)
浏览 37提问于2019-08-22得票数 0
回答已采纳
我们使用ClouderaCDH4.5.0作为HBase，Storm 0.9.3使用hbase。不幸的是，Cloudera似乎没有提供hbase客户端maven工件，而且我也不知道如何满足org.apache.hadoop.hbase.security.UserProvider的依赖。根据Maven搜索站点，它可以由hbase客户端或hbase公共提供。有人能告诉我，是否有一个类似的版本，我可以使用cdh 4.5.0？
浏览 1提问于2014-12-15得票数 0
回答已采纳
2回答
我已经将我的hadoop2和hbase0.98 0.98集成到菲尼克斯，并输入命令sqlline.py localhost菲尼克斯外壳启动，但是当我尝试通过以下命令运行Apache凤凰示例时：psql.py /usr/local/phoenix/examples/WEB_STAT.sql /usr/local/phoenix/examples/WEB_STAT.csv /usr/local/phoenix/examples/WEB_STAT_QUERIES.sql，我遇到了这个错误ERROR client.HConnectionManager$HConnectionImplementation
浏览 3提问于2016-04-17得票数 0
回答已采纳
我已经设置了Hbase 0.98的海量数据。作为noSQL数据库，HBase允许每行在一个列族中有不同的列集。要过滤特定的列，我可以使用以下命令
scan 'tb_webpage',{COLUMNS => 't:ad'}
如果我必须反转条件，即获取"ad“不作为列族中的列存在的所有行，该怎么办？
浏览 4提问于2020-03-12得票数 2
我需要HBase来存储大量的索引关键字和值(目前使用Redis)，但我找不到任何C库来连接、写入或读取HBase。
我用谷歌搜索了，但什么也没找到。有谁有主意吗？或者，是否有类似的Hadoop相关数据库拥有成熟的C库？
浏览 9提问于2011-06-01得票数 3
回答已采纳
我使用的是JanusGraph Java API，使用HBase作为存储后端
我必须提到的一件事是，我可以在JanusGraph shell、gremlin.sh中成功地运行相同的命令
错误之前的日志如下所示，错误发生在打开图形实例JanusGraphFactory.open(jg.properties)期间
07:20:46.169 [main-SendThread(cdh-master1:2181)] DEBUG org.apache.zookeeper.ClientCnxn -
Reading reply sessionid:0x263f89ba9d56ce2,
packet:: c
浏览 287提问于2018-06-26得票数 6
回答已采纳
2回答
考虑到HBase是一个数据库，其文件存储在HDFS中，那么它如何能够随机访问HDFS中的单个数据呢？这是用哪种方法完成的？
来自
HBase内部将您的数据放在HDFS上存在的索引"StoreFiles“中，以便进行高速查找。有关HBase如何实现其目标的更多信息，请参见第5章数据模型和本章的其余部分。
扫描这两章并没有揭示出这个问题的高层次答案。
那么，HBase如何启用对存储在HDFS中的文件的随机访问？
浏览 0提问于2014-01-21得票数 12
回答已采纳
1回答
用于实时应用的Hbase
、、、
我想要建立一个实时应用程序的预测维护。我想过用Hbase和菲尼克斯。菲尼克斯在HBase上提供SQL层。
我读到Hbase对像1亿行plus++这样的大数据是好的。但我的应用程序数据目前还没有数据。如果一开始只有少量数据，Hbase数据库将如何反应？HBase是实时网络应用的一个很好的解决方案吗？
我想要一个像系统一样的蓝宝石建筑。用于批处理和流处理。在HDFS之上的HBase会成为我的OLTP和OLAP系统吗？
由于蓝光建筑有一个批处理和速度层.我可以在HDFS中使用Hbase数据进行批处理并将结果保存回HBase中吗？
一般来说，我想知道HBase是否是一个很好的解决方案，可以构建一个实时
浏览 3提问于2016-12-04得票数 3
回答已采纳
我尝试编程地使用Apache 的JDBC驱动程序。
下面是代码：
import java.sql.DriverManager
object SearchHbaseWithHbase {
def main(args: Array[String]): Unit = {
Class.forName("org.apache.drill.jdbc.Driver")
val zkIp = "192.168.3.2:2181"
val connection = DriverManager.getConnection(s"jdbc:dril
浏览 3提问于2017-01-18得票数 1
回答已采纳
我尝试在我的gradle文件中导入Cloudera6.3.3的hbase 2.1.0，如下所示：
compile ("org.apache.hbase:hbase-client:2.1.0-cdh6.3.3"){
exclude group: 'org.slf4j'
exclude group: 'org.jruby'
exclude group: 'jruby-complete'
exclude group: 'org.codehaus.jackson
浏览 4提问于2020-10-15得票数 1
回答已采纳
我使用hbase接收器连接器卡夫卡()。因此，我尝试在事件解析器类中使用它的JsonConverter实现这个连接器，如下所示。
{
"name": "test-hbase",
"config": {
"connector.class": "io.svectors.hbase.sink.HBaseSinkConnector",
"tasks.max": "1",
"topics": "hbase_connect",
浏览 0提问于2018-12-10得票数 1
回答已采纳
2回答
我想通过Spark使用scala读取Hbase，但是我得到了错误：
Exception in thread "dag-scheduler-event-loop" java.lang.NoSuchMethodError: org.apache.hadoop.mapreduce.InputSplit.getLocationInfo()[Lorg/apache/hadoop/mapred/SplitLocationInfo;
但是我已经添加了依赖项，这个问题困扰着我。我的环境如下：
scala: 2.11.12
火花: 2.3.1
HBase:也许2.1.0(我不知道)
浏览 0提问于2018-11-02得票数 1
回答已采纳
1回答
我使用的是hbase1.1 1.1和凤凰4.9.0.
我正在使用菲尼克斯行时间戳功能将凤凰表的日期字段映射到hbase时间戳。它可以很好地处理upsert查询。当我是批量加载数据时，它不需要effect.it只占用批量加载时间作为hbase时间戳。
ttl功能:它只考虑批量装载时间。
这是一个bug，还是大容量丢失的特性不存在？谁能解释一下。
提前感谢
浏览 3提问于2017-08-19得票数 0
我有一个小型spring服务，它提供了基本功能，比如从hbase表中提供put/delete/get。一切似乎都正常，但有一个问题。在启动tomcat服务器10个小时后，我的kerberos票证过期了，所以我应该更新它。我尝试为hbase使用java，在我的代码中，在连接到hbase的每个方法中，我添加了以下一行：
UserGroupInformation.getLoginUser().checkTGTAndReloginFromKeytab();
我也试过：
UserGroupInformation.getLoginUser().reloginFromKeytab()
以及：
Securit
浏览 2提问于2017-01-03得票数 3
回答已采纳
1回答
我创建了一个hbase表，它是hive外部表。
我需要定义3个数组:一个bytes数组和一个int数组，一个string数组！我把它们放在hbase的第三栏中，并希望在蜂巢中访问它们。
我用许多方式进行了定义，但没有得到任何好的结果(也使用explode() )，但是字符串数组的结果就像字符串，而在其他方法中则是NULL。
我该怎么把它们放进hbase？
浏览 0提问于2014-07-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
