2回答
我试图将数据从一个hbase(v0.98.4)导入另一个hbase(v0.98.13)。
我使用以下命令导出数据-
hbase org.apache.hadoop.hbase.mapreduce.Driver export 'tblname' /path/
但我无法使用以下命令导入它-
hbase org.apache.hadoop.hbase.mapreduce.Driver import 'tblname' /hdfs/path/
我收到下面的反对消息以及抛出的异常-
是因为源db和目标db之间的版本冲突吗？
浏览 2提问于2015-06-24得票数 0
回答已采纳
1回答
操作系统: Windows
使用这个，我可以将特定的表导入到HBase中；但是，如何将数据库的所有表作为单独的表导入HBase？
Sqoop命令将所有表从数据库导入到单个HBase表中
sqoop import-all-tables --hbase-table testhbaseall --hbase-create-table --column-family hr --connect jdbc:mysql://localhost/madha --username root --password sa --warehouse-dir /user/h40/hr -m 1 --hbase-ro
浏览 3提问于2015-08-21得票数 2
我在Hbase中通过nutch保存了我的爬行数据，其文件系统是hdfs。然后，我通过命令将我的数据(hbase的一个表)直接从hdfs复制到某个本地目录。
hadoop fs -CopyToLocal /hbase/input ~/Documents/output
之后，我通过以下命令将数据复制回另一个hbase (其他系统)
hadoop fs -CopyFromLocal ~/Documents/input /hbase/mydata
它保存在hdfs中，当我在hbase中使用list命令时，它将它显示为另一个表，即“mydata”，但当我运行scan命令时，它表示没有带有“mydata”
浏览 2提问于2014-09-18得票数 11
回答已采纳
我试图使用sqoop从mysql导入数据到hbase：
sqoop import --connect jdbc:mysql://<hostname>:3306/test --username USERNAME -P --table testtable --direct --hbase-table testtable --column-family info --hbase-row-key id --hbase-create-table
该过程运行平稳，没有任何错误，但是数据会转到hdfs，而不是，而不是到hbase。
这是我的设置：
HBase和Hadoop是在我的三个服务器集群中
浏览 6提问于2013-04-22得票数 2
回答已采纳
我正在尝试导入数据表从mssql到hbase与sqoop，我使用C#语言。我一直在关注
我将数据导入hbase的代码命令：
connectionstring：
connectionString = "jdbc:sqlserver://" + sqlDatabaseServerName + ";user=" + sqlDatabaseLogin + ";password=" + sqlDatabaseLoginPassword + ";database=" + sqlDatabaseDatabaseName;
sqoop命令：
&#
浏览 4提问于2020-05-19得票数 0
我试图将HDFS目录中的所有文件数据加载到HBase存在的table.Can中，请与我分享如何将所有文件数据和增量数据加载到HBase表中。我将HBase表创建为
hbase>create 'sample','cf'
我得复印
hdfs://ip:port/user/test
进样hbase table.please建议我任何解决方案。
浏览 3提问于2016-11-03得票数 1
回答已采纳
我为HBase节省了1450万张唱片。每一行都有20+列。我第一次尝试插入70万张唱片，结果非常顺利，在1.7分钟内就完成了。
然后我试着插入实际和完整的数据，即1450万。如果我试着把它们全部插入一次，那就需要很多时间。它持续了1.5小时。
火花是我的编程模型。我尝试使用saveAsNewHadoopDataSet使用TableOutPutFormat和cloudera的hbase火花大容量。
两人似乎都在使用相同的。我运行在8个节点集群上，有8个区域服务器，并且只使用单列系列。我已经为区域服务器和主服务器分配了4GB堆。
我不确定，我是否遗漏了任何东西，或者HBase是否真的需要立即插入大
浏览 2提问于2016-08-03得票数 2
回答已采纳
1回答
我现在开始使用HBase和HDFS来存储我的数据。我的第一个实验是将一个12 in的txt文件(不压缩)中的数据导入到复制设置为3 (HDFS服务器)的HBase 'test‘表中。
但令我惊讶的是，在导入后，NameNode报告(50070)显示"DFS使用量:390.93 my“！我刚刚导入了12 my的数据，但是HBase占用了我390 my的空间。这对我来说没有任何意义。那么，有没有人能解释一下我如何解决这个问题呢？
浏览 0提问于2013-03-04得票数 0
回答已采纳
1回答
我已经使用Cloudera Manager和CDH 5.4在集群系统上成功地安装了Apache (1个主服务器，2个具有基于Ubuntu的高配置的从站)
我希望将数据从Microsoft导入到HBase (基于列的hadoop数据库)，到目前为止，我已经从server生成了CSV文件，并使用HBase浏览器( Cloudera中的Hue应用程序)将CSV导入到HBase中。
如果有任何方法可以直接将SQL server数据导入HBase，这将对我很有帮助，我听说Sqoop应用程序已经完成了将数据从RDBMS导入Hadoop系统(即使我没有尝试过，我也认为这将把CSV文件导入不是HBase的Ha
浏览 5提问于2015-07-27得票数 0
回答已采纳
1回答
我对Hbase的概念非常陌生。据我所知，HBase的底层文件系统仅限于HDFS。
我只是想了解一下，如果在一个集群中，我已经有一些HDFS中的数据。我尝试在HBase中导入它(或者使用Pig/Hive脚本)，它会以HBase支持的形式( Hbase的底层文件系统是HDFS)在HDFS中创建相同数据的另一个副本吗？
或者它将创建对相同HDFS数据的引用？
浏览 4提问于2015-02-01得票数 0
回答已采纳
我使用sqoop将数据从sql服务器导入到hbase。我还可以使用sqoop-merge命令更新hbase中的数据吗？
谢谢
浏览 1提问于2015-01-30得票数 0
回答已采纳
我有一个运行在Hadoop1.1.2和HBase 0.94上的集群。有没有办法可以将HBase数据复制到HDFS文件，停止HBase，安装HBase 0.98并将数据复制到HBase 0.98？
我可以接受停机时间。我尝试了CopyTable和导入方法，但都不起作用。
浏览 1提问于2016-10-17得票数 0
3回答
是否有任何方法可以读取文件中的数据并将其放入Hbase表，而无需使用任何java？我试图通过以下方法存储pig脚本中的数据
sample = LOAD '/mapr/user/username/sample.txt' AS (all:chararray); STORE deneme INTO 'hbase://sampledata' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('mysampletable:intdata');
但这给出了这样的错误信息：
错误org.apache
浏览 8提问于2012-12-10得票数 1
回答已采纳
1回答
我有几个sqlserver和mysql数据库，它们之间不可能连接两个或多个表。
一个想法是使用Hbase on hadoop来通过存储我需要加入的所有列来实现这一点。因为我不需要临时查询，每天只需要将数据同步到HDFS。
但我不确定Hbase是否适合这种情况，因为我必须根据许多条件过滤行。
有人对此有什么建议吗？
浏览 4提问于2015-11-30得票数 1
回答已采纳
我们在amazon EMR上有一个默认配置的hadoop+hbase集群，因此mapred.child.tmp和hbase.tmp.dir都指向/tmp。我们的集群已经运行了一段时间，与实际/hbase数据的70 to相比，现在的/tmp是500 to。
这种差异似乎太大了，我们是不是应该周期性地删除一些/tmp数据？
浏览 1提问于2012-09-17得票数 1
回答已采纳
星星之火，Hbase上的Hadoop + Yarn，我想读和写HBase从一个Scala应用程序，建立在SBT。
我不能创建一个HBase
Scala应用程序：
/usr/local/sparkapps/HBaseWordCount/src/main/scala/com/mydomain/spark/hbasewordcount/HbaseWordCount.scala
package com.mydomain.spark.hbasewordcount
import org.apache.spark._
import org.apache.spark.streaming._
impo
浏览 6提问于2016-04-14得票数 0
回答已采纳
我正在尝试通过sqoop将数据从sql server导入hbase。sqoop脚本是工作，我尝试了一个小数据，它是有效的。但当我尝试使用它导入一个巨大的数据(20G)时，一开始它显示作业已提交，映射为0%，减少了0%。在服务器时间过后，作业仍处于正在运行状态。所以我检查了日志，它显示连接被拒绝，导致区域服务器死机，所有服务器死机。我用start-hbase.sh重新启动了hbase，它工作了一段时间，然后就死了，我不知道该怎么做。
有没有人遇到过这个问题？
浏览 0提问于2015-12-22得票数 0
1回答
在Hbase数据迁移过程中，我遇到了一个java.lang.IllegalArgumentException: KeyValue size too large
长期 :
我需要将/etc/hbase/conf/hbase-site.xml中的属性/etc/hbase/conf/hbase-site.xml(从1048576增加到10485760)，但是我现在不能更改这个文件(我需要验证)。
短期 :
我成功地使用命令导入数据：
hbase org.apache.hadoop.hbase.mapreduce.Import \
-Dhbase.client.keyvalue.maxsize=1
浏览 2提问于2020-02-04得票数 1
回答已采纳
3回答
我正在使用hortonworks 2.1与hbase和蜂箱。我想从tsv文件中创建一个hbase表。文件在这里：
id c1 c2
row1 1 22
row2 e1 42
row3 g1 f2
row4 f1 c2
row5 d1 c2
row6 c1 42
row7 e1 c2
row8 c1 c2
row9 c1 c2
row10 c1 22
我使用的命令是：
bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.col
浏览 1提问于2014-12-04得票数 3
回答已采纳
在org.apache.hadoop.hbase.client.Result版本中，0.94版的类实现了可写接口。我们使用它来覆盖通用的映射器方法，以支持不同的数据源(Hbase是其中之一)目前我们试图升级Hbase客户端版本，但我们有以下问题: Hbase 1.0.0的org.apache.hadoop.hbase.client.Result类没有实现Writable接口，所以我们有问题使用我们旧的mapper override方法，它接收可写接口作为参数之一。有什么想法吗？
浏览 3提问于2015-09-07得票数 1
我们是否可以在hadoop中将sqoop数据写入hive和hbase
我想把sqoop写到hive (rdbms)和hbase (NoSql)一起使用。
浏览 3提问于2017-09-19得票数 1
1回答
我是HBase的新手。以下是我试图实现的: 1.如何将.pdf或.png转换为hbase可读格式? 2.如何在hbase表中导入这些文件？(元数据存储在一个cf中，对象存储在另一个cf中)
有人能分享这方面的例子吗？任何其他建议都是有帮助的。
浏览 21提问于2017-03-09得票数 0
1回答
嗨，我是大数据方面的新手，我正在尝试使用sqoop从mysql导入数据到hbase。
sqoop import –connect jdbc:mysql://xxx.xxx.xx.xx:3306/FBI_DB –table FBI_CRIME –hbase-table H_FBI_CRIME –column-family cd –hbase-row-key ID –m 1 –username root -P
错误tool.ImportTool:导入失败: java.io.IOException:没有要为ClassWriter生成的列。
我曾经使用过––driver com.mysql.jdbc
浏览 2提问于2019-09-27得票数 1
我是非常新的Hbase和地图减少API。
我很困惑地图还原的概念。我需要使用MAPReduce API将文本文件加载到Hbase表中。我在谷歌上搜索了一些例子，但在这方面我可以找到MAPPER ()，而不是还原器方法。我对何时使用mapper和何时使用Reducer ()感到困惑。
我的想法是：
要将数据写入Hbase，我们使用mapper
要从HBASE读取数据，我们使用映射器和减速器()。请给我详细解释一下。
我正在尝试将数据从文本文件加载到HBASE表中。我搜索并尝试了一些代码，但我不知道如何加载文本文件并在中读取。
我真的很感谢你的帮助
浏览 2提问于2012-08-31得票数 4
回答已采纳
我有一个PySpark作业，用于更新HBase中的一些对象(Sparkv1.6.0；OptimyBaseV0.9)。
如果我为每一行打开/关闭一个HBase连接，它就能正常工作：
def process_row(row):
conn = happybase.Connection(host=[hbase_master])
# update HBase record with data from row
conn.close()
my_dataframe.foreach(process_row)
在经历了几千次后，我们开始看到这样的错误：
TTransportExcep
浏览 3提问于2016-04-06得票数 10
最近，我开始使用cloudera CDH5 VM学习sqoop。
我从一个CSV文件中创建了mysql表，其中列有baseid、date、car、kms。
使用的数据库: mysql
表创建: uberdata
在hbase shell中，我创建了表名--myuberdatatable和列族-uber_details。
我使用扫描命令进行了检查，得到了0行空表。
要将数据从mysql传输到hbase，请执行以下操作：
sqoop import jdbc:mysql://localhost/mysql --username root --password cloudera
浏览 1提问于2017-07-15得票数 0
回答已采纳
这张桌子在hbase里叫'emp‘。
hbase(main):006:0> create 'emp', 'personel data'
0 row(s) in 1.3110 seconds
我已经通过put命令插入了2行。
hbase(main):020:0> scan 'emp'
ROW COLUMN+CELL
浏览 6提问于2022-01-08得票数 -1
回答已采纳
2回答
我已经使用hive在hbase中创建了一个表：
hive> CREATE TABLE hbase_table_emp(id int, name string, role string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:role")
TBLPROPERTIES ("hbase.table.name" =
浏览 3提问于2015-01-30得票数 1
回答已采纳
1回答
逐步更新HDFS数据
、、、
我们正在使用Sqoop将各种来源的数据从Oracle、Teradata复制到HDFS。我们使用增量更新功能“导入”新数据，然后将其与现有数据“合并”。数据首先被填充到一个临时目录中&然后我们“删除”旧的&“重命名”新的目录。
问题是，当我们交换目录时，如果用户使用诸如Hive这样的工具对HDFS上的数据运行查询，则查询会异常终止。
是否有更好的方法来处理HDFS的更新？
(请注意，尽管HBase有不同的版本，但它不适用于我们，因为我们希望通过任何列进行查询。在不按主键搜索的情况下，HBase非常慢。)
浏览 5提问于2014-04-02得票数 2
回答已采纳
我正在尝试使用LoadIncrementalHFiles (这样就不需要在导入之前创建表)来导入导出的文件。
hbase org.apache.hadoop.hbase.mapreduce.Export t2 /user/backup6/test2
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/backup6/test2 tb2
当我尝试加载它时，我得到了以下错误
13/03/06 23:18:46 WARN mapreduce.LoadIncrementalHFiles: Bulk load op
浏览 1提问于2013-03-07得票数 0
回答已采纳
1回答
当我想使用sqoop将数据导入hive时，我可以指定--hive-home <dir>，sqoop将调用安装在执行脚本的机器上的hive的指定副本。但是hbase呢？sqoop如何知道我希望在哪个hbase实例/数据库上导入数据？
浏览 1提问于2018-11-25得票数 0
我试图使用以下命令将表从Hbase 0.90复制到Hbase 0.04：
$ hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=ZKHOST:2181:/hbase --starttime=1378252486000 --endtime=1378338886000 --new.name=my_table my_table
但我发现了一个错误：
13/09/04 21:52:12 INFO mapred.JobClient: Running job: job_201305141438_0003
13/09/04 21:52
浏览 1提问于2013-09-05得票数 0
回答已采纳
我打算在IntelliJ中使用Hadoop的伪分布式模式。目前，我可以在我的笔记本电脑上成功运行WordCount示例代码。然后，我试着写另一个代码，其中包括hbase的用法。但是，我就是不能在我的代码中导入import org.apache.hadoop.hbase.mapreduce.TableReducer;。我尝试添加不同的maven依赖项，但就是不起作用。
以下是hadoop代码：
package topten;
import java.io.*;
import java.util.Map;
import java.util.TreeMap;
import java.util.Ha
浏览 3提问于2018-09-13得票数 0
我已经阅读白皮书和youtube视频半天了，我相信我对这项技术有一个适当的理解，但在我开始我的项目之前，我想确保它是正确的。
有了这个，我想我知道了。
当我理解hadoop和hbase的架构时，它们的模型就像这样
-----------------------------------------
| Mapreduce |
-----------------------------------------
| Hadoop | <-- hbase export--| HBase |
| | --apache
浏览 2提问于2013-02-15得票数 2
我有一个HFile，我正在尝试使用Java读取/反序列化。看起来这个很有希望，但是我甚至很难用Maven导入库。
这就是我的POM的样子：
<dependencies>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.0.0</version>
</dependency>
浏览 4提问于2016-04-13得票数 0
回答已采纳
我将大量文件导入到HBase表中，因此我决定使用批量加载。我已经设法通过MapReduce作业准备了数据，但是当我尝试使用以下命令完成加载时
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles <src> <target_table>
我得到了以下错误：
ERROR mapreduce.LoadIncrementalHFiles: Trying to load more than 32 hfiles to family d of region with start key
Exception in
浏览 0提问于2014-07-25得票数 3
我使用sqoop进行批量hbase导入。我在sqoop中使用这个选项：--hbase-bulkload。Sqoop将生成HFiles并将hfile导入到我的hbase中。我可以验证数据是否存在，并从sqoop日志中尝试从
INFO mapreduce.LoadIncrementalHFiles: Trying to load hfile=hdfs://sandbox.hortonworks.com:8020/tmp/sqoop/data/u/2ce542f59b56466d988e49f7a7e512b7 first=\x00\x00\x00\x00\x00\x01\xDE1\xF8 last
浏览 1提问于2015-04-29得票数 0
下面的示例项目使用Scio/Bigtable/HBase，我很难验证错误。依赖树需要protobuf版本(2.5、2.6.1、3.0、3.1)，并且似乎默认为3.2。我使用了sbt-assembly的阴影组件，不确定我是否正确。
我的build.sbt
name := "scalalab"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
"com.spotify" %% "scio-core" % "0.
浏览 8提问于2017-06-23得票数 0
2回答
Oracle到HBase:透视
、、、、
我正在从Oracle迁移到HBase，在特殊情况下需要一些帮助。
我使用Sqoop导入到HBase的数据结构如下：
YEAR MONTH AMOUNT
2010 jan 100
2010 fev 200
2011 jan 50
2011 fev 100
现在我需要在这个结构中获得这个数据：
YEAR JAN FEV
2010 100 200
2011 50 100
有办法做到这一点吗？多么?
非常感谢！
刘易斯
浏览 1提问于2014-08-02得票数 2
我们有一个旧的基于CDH3的集群，并且在这个集群上存储在HBase中的数据。我们还拥有全新的集群，其中安装了CDH5.2。
我们希望将HBase数据从CDH3集群移动到CDH5集群。我想知道是否可以在不同版本之间迁移数据？它是否就像直接使用distcp命令？
在迁移数据之前和迁移过程中，我需要采取哪些预防措施？
浏览 1提问于2014-12-18得票数 1
回答已采纳
我使用sqoop将mysql表导入到HBase。通常，HBase的行键不只是由一列组成，它通常是两或三列+时间戳(例如row key = ${col1}${col2}${timestamp} )之间的组合。
我无法让它使用sqoop，只是想知道sqoop -- HBase key允许我在导入过程中执行类似--hbase-row-key=col1, col2, tiemstamp的操作吗，那么我的HBase行键将以三个字段组合结束？
浏览 10提问于2013-08-08得票数 2
回答已采纳
我有两个环境，即Dev和stage。两者都安装了hive (2.1版)。在Dev上，我有指向hbase表的外部配置单元表。我得把这张蜂窝桌导出到舞台上。没有强制要求hbase表也要迁移。如果创建了包含数据的托管配置单元表，则将足够。有没有人能建议我怎么做？下面是场景的图示。任何预期场景的解决方案都将是有用的。
我试过了：
将配置单元表的数据转储到CSV文件中，并在舞台上将其加载到托管配置单元表中。但是数据具有日语字符(非UTF8)，导致在阶段w.r.t上有更高的行数。Dev上的行数
我想，这完全是理论上的问题，所以不添加查询。如果您希望查看查询，请让我知道。
浏览 1提问于2018-01-30得票数 1
我在一个docker容器()中使用这个jupyter toree笔记本。
我尝试在笔记本中使用这个%AddDep命令添加HBASE依赖项：
%AddDeps org.apache.hbase hbase 1.3.1 --transitive --verbose
所有依赖项似乎都找到了，但我仍然得到以下输出(null error?)：
Magic AddDeps failed to execute with error:
null
我不能随后调用import org.apache.hadoop.hbase，这意味着库还没有安装。我非常感谢你的建议，谢谢。
浏览 11提问于2017-07-24得票数 0
回答已采纳
如何使用sqoop将blob和clob字段从oracle导入到hbase
对于hbase，clob/blob将位于_lobs目录下，并在列族中引用_lob。
浏览 3提问于2013-12-12得票数 0
2回答
我在hbase( hdfs)表中有一些数据，并将其复制到本地文件系统中。然后，在我的第二台计算机上，我使用copyFromLocal hadoop命令将数据从本地复制到hdfs。现在，当我在hbase中运行命令"list“时(在第二台计算机上)。这表明没有桌子。我在hdfs中的一个目录(即hbase的数据目录)中复制了表，所以这个表应该出现在hbase中。
问题出在哪里？在这两台机器上，hbase和hadoop的版本是相同的。如何将hbase表从一个集群复制到第二个集群？
浏览 1提问于2014-12-29得票数 1
回答已采纳
3回答
我在YouTube上很少读到关于HBase的文章和视频。我知道HBase是hadoop数据库。它具有不同的体系结构(如列组等)与RDBMs相比。但是，我仍然不清楚RDBMs表将如何在HBase中表示？
如果有合适的教程，请告诉我。
例如，如果我有id列的employee表，first_name、last_name、departement_id和工资。和departement_id、dept_name作为列的Department。
如果我想用HBase表示它，将如何定义它？谁能详细解释一下。
浏览 2提问于2015-05-24得票数 1
回答已采纳
1回答
YCSB执行错误
、、
当我运行YCSB时，我得到了以下错误。我遵循了YCSB git集线器链接中指定的所有步骤，但仍然收到此错误。
Exception in thread "Thread-3" java.lang.NoSuchMethodError: org.slf4j.impl.StaticLoggerBinder.getSingleton()Lorg/slf4j/impl/StaticLoggerBinder;
at org.slf4j.LoggerFactory.bind(LoggerFactory.java:128)
at org.slf4j.LoggerFactory.pe
浏览 0提问于2013-05-21得票数 0
我认为会有很多元数据被写进了Hbase的动物园管理员，如区域分割信息或区域和RegionServer信息等。但是，当我试图获取这些信息时，我几乎什么也没有得到，我通过命令get尝试了/Hbase中的每个子文件夹，但是我只得到了一些糟糕的数据，如下所示：
[zk: localhost:2181(CONNECTED) 40] get /hbase/meta-region-server
�regionserver:60020w��#�yPBUF
test008.tv.local�����Ч*
cZxid = 0xe0000018f
ctime = Mon Jan 25 10:39:58 PST 20
浏览 4提问于2016-01-26得票数 1
1回答
我将hbase快照导出到s3。
我用了这个命令。
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot my-snapshot -copy-to s3://my-buckets/tests -mappers 16
但是，如何将s3快照导入到hbase？
我读了很多关于将快照导出到其他文章的文章。但是，我找不到如何从s3导入快照。
换句话说，如何从s3快照创建新表？
环境
EC2实例
CDH 5.14.1
HBase 1.2
浏览 0提问于2018-03-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
