我正在尝试使用python从hbase读取数据。我安装了thrift，并生成gen-py文件，然后将其移动到python lib：~/.local/lib/python2.7/site-package/
hbase thrift服务器位于192.168.15.116:39090。已经启动了。
我的代码在服务器192.168.15.146中。在这台机器上，我可以使用hbase shell命令来读取hbase数据。以下是我的Python代码：
#! /usr/bin/env python
from thrift import Thrift
浏览 2提问于2013-09-25得票数 3
我们有Python3应用程序连接到Hbase并获取数据。
连接使用Kerberos Hbase Thrift二进制协议(在TSocket中)工作得很好，直到Hadoop团队将Hadoop系统转移到Cloudera和Cloudera manager，后者在HTTPS模式下启动Kerberos Hbase Thrift。
现在，协议从TSocket更改为HTTP/HTPS，Python代码不能使用带有SASL kerberos的HTTP Client进行身份验证。
Python 3.6.8中使用的当前Python版本
包的版本是
thrift=0.13.0
hbase-thrift=0.20.4
浏览 9提问于2021-01-28得票数 0
1回答
我正在尝试使用Python (而不是sqoop)将数据从MySQL插入到HBase。在MySQL中有一个名为tblTest的表，其模式和数据如下：
create table tblTest(idTest int, idObj int, sName varchar(25));
insert into tblTest values (202, 7678, 'sMfg1'), (203, 7679, 'sMfg2'), (204, 7680, 'sMfg3');
我需要创建一个HBase表：
> create 'tblHTest'
浏览 1提问于2014-02-04得票数 0
1回答
我用python编写了一个通过流jar包运行的MR job。我想知道如何使用大容量加载将数据放入HBase。
我知道有两种方法可以通过批量装载将数据输入hbase。
在job中生成HFiles，并使用CompleteBulkLoad将数据加载到hbase中。
使用ImportTsv选项，然后使用CompleteBulkLoad加载数据。
我不知道如何使用python生成HFile来适应Hbase。然后我尝试使用ImportTsv实用程序。但失败了。我遵循了本例().But中的说明，得到了异常：
线程“java.lang.NoClassDefFoundError”中的异常:or
浏览 4提问于2017-08-20得票数 1
1回答
我是HBase的新手。我想通过python在HBase中插入一些数据。我在谷歌上搜索，发现Python语言中有Mapr for HBase，但根据我的理解和发现，这不适用于HappyBase M7。
请指导在Python中需要导入哪些包。
谢谢。
浏览 2提问于2016-06-14得票数 0
1回答
我遇到了WCF和hbase的麻烦。我有一个使用Python编写的程序。程序后端采用hbase数据库。现在，我需要一个WCF服务来编写.NET连接到hbase和访问数据。有没有一种很好的方法来同时使用WCF和hbase？如果是这样，请给我一些有用的链接，或者请建议我如何从WCF调用一些python函数？因为我已经编写了一些python库，它们可以完成对hbase的读写工作。因此，如果我可以从WCF调用python方法，那么就不会有任何问题。如有任何帮助，敬请惠顾。
谢谢，索赫尔。
浏览 1提问于2013-07-08得票数 0
回答已采纳
1回答
我有一个令人尴尬的并行任务，我使用星火分配计算。这些计算是用Python进行的，我使用PySpark来读取和预处理数据。我的任务的输入数据存储在HBase中。不幸的是，我还没有找到一种令人满意的(即易于使用和可伸缩的)方法来使用Python从/写入HBase数据。
我以前探索过的东西：
使用happybase从我的Python进程中进行连接。这个包允许通过使用HBase的HBase API从Python连接到Python。这样，我基本上跳过了Spark的数据读取/写入，并错过了潜在的HBase优化。阅读速度似乎相当快，但写速度却很慢。这是目前我最好的解决方案。
使用SparkConte
浏览 4提问于2016-07-19得票数 15
回答已采纳
我需要读取HBase并使用Python处理数据。我知道Java是连接HBase的标准方式，而谷歌搜索并没有给我带来解决方案。如果可能的话，请告诉我一个在HBase中使用Python的工作示例。
浏览 18提问于2020-02-24得票数 0
我应该把菲尼克斯的数据读到pyspark里。
编辑:我使用的是火花HBase转换器：
下面是一个代码片段：
port="2181"
host="zookeperserver"
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
浏览 5提问于2015-09-15得票数 0
我试图运行以下Jython代码来扫描hbase表：
import java.lang
from org.apache.hadoop.hbase import TableName, HBaseConfiguration
from org.apache.hadoop.hbase.client import Connection, ConnectionFactory,
Result, ResultScanner, Table, Admin
from org.apache.hadoop.conf import Configuration
浏览 0提问于2018-12-21得票数 0
1回答
我用python编写了一些需要写/读到HBase的代码。在我发现HappyBase还不适合python3之前，我就想过使用python3与python3进行交互。
我想的是用jython编写一个很小的包来与HBase交互。业务逻辑的其余部分将保留在Cpython中。
是否可以从python调用jython代码。我希望我的代码在CPython上，除了应该与HBase交互的部分
如果你能给我一些关于如何做到这一点的提示/例子，我将非常感激。我是否需要特定版本的jython解释器来与python3混合？
编辑：有谁能推荐如何使用python3访问HBase？
浏览 1提问于2013-04-03得票数 4
我成功地安装了Hadoop，Pig，Hive，HBase和动物园管理员。我安装了Apache凤凰来访问HBase。下面是我的路径变量。
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH="$PATH:$JAVA_HOME/bin"
export PATH="/home/vijee/anaconda3/bin:$PATH"
export HADOOP_HOME=/home/vijee/hadoop-2.7.7
export HADOOP_CONF_DIR=$HADOOP_HOME/etc
浏览 5提问于2020-11-26得票数 1
回答已采纳
我在AWS EMR上使用Hbase 0.94.18。我计划使用HappyBase，因为它看起来很有前途。不幸的是，我在第一次尝试时就遇到了这个问题：
conn = happybase.Connection(port=9200,compat='0.94')
conn.tables()
Traceback (most recent call last):
File "", line 1, in
File "/usr/local/lib/python2.6/site-packages/happybase/connection.py", line 2
浏览 0提问于2015-09-04得票数 4
Java HBase lib支持一种特殊类型的筛选器，它只从BT获取行键。用Python也可以做到这一点吗？最好使用谷歌的lib - https://github.com/googleapis/python-bigtable Java：https://cloud.google.com/bigtable/docs/hbase-client/javadoc/com/google/cloud/bigtable/hbase/adapters/filters/KeyOnlyFilterAdapter
浏览 43提问于2021-06-24得票数 0
回答已采纳
3回答
我正在尝试使用python中的hbase，并使用cloudera存储库来安装hadoop/hbase包。它似乎可以工作，因为我可以访问和工作的数据库使用外壳，但它不是完全工作在python中。
我知道要与hbase通信我需要thrift，所以我从源代码下载并编译了它，我可以将thrift导入到python中，但当我执行from hbase import Hbase时，我得到了模块未找到的错误。
有人知道我需要什么包/模块才能让它工作吗？我试着到处看看easy_install和yum(我用的是centos6)，但是没有成功。我确实找到了一篇文章，其中一个使用debain的人通过执行sudo ap
浏览 4提问于2012-02-15得票数 3
回答已采纳
我想通过在HBase -api中使用像QualiferFilter这样的过滤器从python中获取行。
我知道从HBase获取行的方法，就像在代码下一样。
host = 'localhost'
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
浏览 2提问于2016-08-22得票数 4
1回答
我想使用starbase连接到另一台机器上的Hbase。我的HBase配置应该是什么样的呢？
在远程计算机上，HBase安装在/opt/somedir/hbase/中。它有一个conf文件夹，其中有以下文件。
>> ls
hadoop-metrics.properties hbase-env.sh hbase-site.xml regionservers
hbase-env.cmd hbase-policy.xml log4j.properties
hbase-site.xml除了zookeeper端口之外没有任何端口信息，我认为它不是
浏览 6提问于2014-02-14得票数 0
回答已采纳
有一个文件存在修改(本地)/delete(远程)冲突，该冲突是在
git rebase
CONFLICT (modify/delete): python/pyspark/hbase.py deleted in HEAD and modified in Python support. Version Python support of python/pyspark/hbase.py left in tree.
Failed to merge in the changes.
Patch failed at 0002 Python support
The copy of the patch tha
浏览 3提问于2014-12-15得票数 1
回答已采纳
我们尝试测试以下访问HBase表的示例代码(Spark-1.3.1、HBase-1.1.1、Hadoop-2.7.0)：
import sys
from pyspark import SparkContext
if __name__ == "__main__":
if len(sys.argv) != 3:
print >> sys.stderr, """
Usage: hbase_inputformat <host> <table>
Run with ex
浏览 0提问于2015-10-14得票数 4
我能够使用Python中的Thrift服务器连接到Hbase。我遵循本教程：连接到Hbase。，我现在需要修改表，。有人能帮忙吗？请注意，我正在使用Python2.6版本。
谢谢
浏览 1提问于2018-07-06得票数 0
我对组件- HBase很陌生，我正尝试用Pyspark编写Python代码，并连接到HBase，从HBase读取数据。我使用以下版本：
spark-3.1.2-bin-hadoop2.7Python版本：3.8.5HBase版本：hbase-2.3.5
我已经在我当地的ubuntu 20.04安装了独立的Hbase和Spark
代码：
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext.getOrCreate()
sqlc = SQLContext(sc)
data_so
浏览 1提问于2021-06-25得票数 1
1回答
我目前正在使用pybase库通过python将数据写入hbase。我一直都可以写hbase 1.0，但是最近迁移到hbase 2.0带来了一些问题。我现在看到的主要错误发生在我试图写入我的Hbase 2.0表时。 org.apache.hadoop.hbase.exceptions.UnknownProtocolException. Remote traceback:
org.apache.hadoop.hbase.exceptions.UnknownProtocolException: Is this a pre-hbase-1.0.0 or asynchbase client?
浏览 162提问于2020-10-05得票数 0
3回答
我正在尝试使用简单的命令通过Python子进程访问HBase。下面的代码给出了错误的输出：
import subprocess
cmd=['hbase','shell','list']
subprocess.call(cmd)
我得到的不是HBase中的表列表，而是以下输出：
Usage: hbase [<options>] <command> [<args>]
Options:
--config DIR Configuration direction to use. Default: ./con
浏览 0提问于2016-10-20得票数 2
我是hbase的新手，目前我正在使用hbase-1.2.6。我使用python脚本通过happybase包连接到hbase。我的问题是:谁能让我知道如何解码时间戳值，这是自动插入时，我们把任何记录在表中？
1.what is the exact interpretation of timestamp value in hbase?
2.can we convert this timestamp value to yy-mm-dd-hh:mm:ss format?
浏览 11提问于2017-11-22得票数 0
回答已采纳
1回答
我在azure中有两个集群，一个用于spark 2.0，另一个用于hbase。我可以完美地填充和使用hbase，现在我想将spark连接到hbase并进行一些计算。我想使用python，因为我不知道scala。
我的第一个问题是:做这件事的最好方法是什么？spark -> hive -> hbase还是spark直接到hbase？
我能有一个很好的插入和查询的例子吗？
谢谢?
浏览 0提问于2016-11-10得票数 0
3回答
Hadoop Hbase查询
、、、、
我有下面的设置
2节点hadoop/hbase集群，在hbase上运行第三层服务器。
Hbase有一个有1000万行的表。
我需要在hbase表上运行聚合查询(如sum() )，以便在web上显示它(图表目的)。
目前，我正在使用python(节俭客户端)获取数据集并进行显示。
我正在寻找数据库(Hbase)级别的聚合功能来使用在网络上。
有什么想法吗？
浏览 0提问于2012-09-25得票数 0
有没有可能在不使用Hive或Phoenix或Hortonworks提供的spark-Hbase连接器的情况下直接以Pyspark Dataframes的形式读取Hbase表？
我对Hbase比较陌生，找不到一个直接的Python示例来将Hbase表转换为Pyspark数据帧。我看到的大多数示例都是用Scala或Java编写的。
浏览 2提问于2017-10-05得票数 1
我使用python流(只有mapper函数实现)写了一段mapreduce代码，并使用happybase从Hbase读取数据。当我在5个节点的发行版中运行mapreduce代码时，由于python流代码具有从hbase读取记录并分布在整个集群中的扫描功能，因此所有创建的映射器实例都在从hbase提取/读取的相同数据集上进行处理。
示例：
for key, data in table.scan(row_start='1'):
Somecompute( key, data)
在这里，如果我在hbase中有100行，集群中产生的所有映射器实例都在处理来自hbase的相同的1
浏览 0提问于2014-09-29得票数 0
1回答
我可以连接我的hbase
connection = happybase.Connection(host='node-04',port=16000)
table = connection.table('test')
这两个命令工作正常，没有任何错误。但是当我运行下面的命令时，我得到了以下错误
print connection.tables()
error
Traceback (most recent call last)
<ipython
浏览 10提问于2016-05-26得票数 0
我的mapreduce作业程序是用python编写的，我想从HBase获取数据作为输入。有没有办法以MapReduce的方式扫描HBase表中的数据，比如原生Java实现中的TableMapper/Reducer。我了解到HappyBase可以提供一种与HBase交互的简单方法，但它只适用于客户端。
浏览 1提问于2013-04-03得票数 0
回答已采纳
1回答
似乎至少有两种方法可以从外部应用程序连接到HBase，并使用Java以外的语言(即Python)：
HBase破缺API
HBase星门(REST )
有人知道在什么情况下应该使用哪一种吗？也就是说，它们的主要区别是什么以及利弊？
浏览 0提问于2014-06-10得票数 3
为什么我无法在终端中获得完整的Hbase数据
host = 'localhost'
table = 'student'
conf = {"hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": table}
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.
浏览 0提问于2018-05-02得票数 0
我们使用的是HDP 3，我们试图将PDF文件插入到Hbase表中特定列家族的一个列中。开发环境是python3.6，而hbase连接器的and是1.1.0。
我们无法上传任何大于10 MB的PDF文件在hbase。
在hbase中，我们将参数设置如下：
我们得到以下错误：
IOError(message=b'org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException:失败1操作:大小为80941994的org.apache.hadoop.hbase.DoNotRetryIOException:
浏览 3提问于2019-02-26得票数 4
回答已采纳
我正在尝试将一些数据插入到带有气流BashOperator任务的Hbase表中。首先尝试调用hbase shell，然后将一些数据插入到我的表中：
logg_data_to_hbase = BashOperator(
task_id='data_to_hbase',
dag=test_dag,
bash_command="hbase shell && put 'tablename', 'rowname','columnvalue', 1000")
我收到一个错误，说错误- B
浏览 3提问于2022-01-06得票数 0
回答已采纳
2回答
从python写到hbase表
、、、、
我正在运行一个map-还原作业，现在我想在hbase中输入值。我从map中流值--在stdin上减少作业，并有一个python脚本在上插入(放置)行。
我遇到了不同类型的问题，从python中执行put操作。据我所知，最近的问题似乎与库的兼容性问题有关。错误日志显示迭代项的问题。引用了排序查询所需的额外python库，这不是从pythonVersion2.7开始(我正在运行2.7.6)所必需的。
有人遇到过类似的问题吗？它们能很容易地修复吗?或者您会推荐使用不同的界面吗？
更多细节
我已经安装了hadoop (2.6.0)和hbase (0.98.10-2/5/2015)，并在独立配置中运行。
浏览 8提问于2015-02-11得票数 2
1回答
我是Hbase的新手，我想通过一个python来与它结合在一起。为了在我的机器上正确地安装它，我遵循了这个，一切看起来都很好，然后我用以下命令生成了一个.thrift文件：
wget http://svn.apache.org/viewvc/hbase/trunk/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift\?view\=markup
-O hbase.thrift
然后，我尝试生成我的客户机，就像它显示了一样，但是我得到了以下错误消息：
[ERROR:/home/tests/hbas
浏览 3提问于2014-10-02得票数 0
回答已采纳
1回答
我正试图在一台远程机器(Ubuntu)上使用Hbase、thrift和python，它来自windows上的Eclise RSE。一切正常，但是当我尝试连接到本地主机时，我得到了一个错误：
thrift.transport.TTransport.TTransportException: Could not connect to localhost:9090
如果我在一台远程机器上通过ssh终端运行这段代码，它工作得很好。
下面是我的代码：
#!/usr/bin/env python
import sys, glob
sys.path.append('gen-py')
sys.
浏览 0提问于2015-02-24得票数 0
我在吡咯烷酮目录中有一个hbase.py文件。在REPL内部，我尝试重新加载它：
>>> reload(pyspark.hbase)
<module 'pyspark.hbase' from '/shared/hwspark2/python/pyspark/hbase.py'>
>>> from pyspark.hbase import *
>>> # run the code .. latest changes not apparent..
没有错误..。但是，没有更新类的定义-没有出现新的打印
浏览 1提问于2014-10-22得票数 2
回答已采纳
我正在构建一个Hadoop (0.20.1) mapreduce作业，它使用HBase (0.20.1)作为数据源和数据接收器。我想用Python编写作业，这需要我使用hadoop-0.20.1-streaming.jar来往于我的Python脚本流式传输数据。如果数据源/接收器是HDFS文件，则可以很好地工作。
Hadoop是否支持mapreduce的HBase流？
浏览 2提问于2009-11-10得票数 6
回答已采纳
我在python上建立了一个应用程序，它可以用节俭连接到hbase。这种节约连接使用kerberos作为服务帐户的身份验证，我需要python应用程序连接模拟用户，因为我的公司使用带有广告组的kerberos来限制对hbase上表的访问。
这是一个运行在linux上的python2.7烧瓶应用程序。
我看了一下kerberos默认库。
在第159行，我发现：
@param delegated: Optional server context containing delegated credentials
但我不太熟悉如何使用这个凭证。
我只是想能够连接到hbase使用模拟。谢谢。
P.S:I
浏览 6提问于2019-07-15得票数 0
回答已采纳
我已经安装了带有、和的hadoop
现在，我有了一个给定的python脚本，该脚本用于创建一些hbase表。当我运行py文件时，它给出了一个错误：
Traceback (most recent call last):
File "./createTables.py", line 9, in <module>
from hbase import Hbase
ImportError: No module named hbase
这个问题似乎也有同样的问题：
我尝试了那里给出的解决方案。我跑了
thrift --gen py Hbase.thrift
在Hba
浏览 2提问于2012-10-31得票数 1
1回答
有没有办法使用Hbase表作为Hadoop流作业的源？具体地说，我想运行一个用Python编写的Hadoop流作业。当输入被指定为HDFS上的文件夹时，这种方法效果很好。但是我找不到任何关于从Hbase表中读取数据的文档。
这是否受支持？或者我必须先写一段java代码，将数据从Hbase转移到HDFS，然后再运行流式作业？
我使用的是Cloudera的Hbase 0.94。
( 也有类似的问题。但它指向的是第三方解决方案，而不是积极贡献。我希望这能在Hbase中得到支持)。
浏览 2提问于2014-03-28得票数 1
1回答
我有以下TimeStamp值：Wed Jun 25 09:18:15 +0000 2014。
我正在用Python语言编写一个MapReduce程序，它从亚马逊S3位置读取JSON对象，并将其导出到本地CSV文件。然后，CSV文件将数据导出到MySQL和HBase数据库。我有大约2亿条记录(1TB)，因此我需要优化每个处理步骤。
我应该使用什么数据类型来存储Python、CSV、MySQL和HBase数据库中的TimeStamp值？我需要存储TimeStamp值的所有方面。我的模式在CSV文件、MySQL和HBase数据库表中有4列。
谢谢!
浏览 0提问于2015-03-10得票数 1
1回答
我们正在用pyspark构建数据管道，第一步是获取存储在HBase中的元数据(针对每个数据集)。此外，我们还有几个步骤在酝酿之中，并以Kafka事件的形式发布我们的日志。
我们在驱动程序中使用hbase-python来获取元数据还是使用spark.read.format("org.apache.hadoop.hbase.spark") -这是更有效的。
用于向kafka发布日志消息，我们是使用标准python--驱动程序中的kafka生产者还是使用df.write.format("kafka") --其中一种方法具有更好的性能。
浏览 4提问于2022-10-11得票数 0
2回答
我试着从PySpark的HBase中读取一个表格。
这是我的代码。
from pyspark.sql.types import *
host = 'localhost'
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
tes
浏览 1提问于2016-07-27得票数 1
1回答
我正在尝试从HDP 2.3中的pyspark访问hbase，现在我只是尝试使用以下命令执行spark目录中给出的示例程序：
spark-submit --driver-class-path /usr/hdp/current/spark-client/lib/spark-examples-1.3.1.2.3.0.0-2557-hadoop2.7.1.2.3.0.0-2557.jar --jars /root/{user}/hbase-0.94.0.jar /usr/hdp/current/spark-client/examples/src/main/python/hbase_inputforma
浏览 1提问于2015-09-21得票数 1
如果这是一个基本的问题，请提前道歉。我正在读一本关于hbase和学习的书，但书中(以及在线上)的大多数示例都倾向于使用java(我猜是因为hbase是java原生的)。有几个python示例，我知道我可以使用python访问hbase (使用thrift或其他模块)，但我想知道其他功能？
例如，hbase有一个“协处理器”功能，可以将数据推送到你进行计算的地方。这种类型是否适用于python或其他使用流式hadoop作业的应用程序？似乎在java中，它可以知道你在做什么，并相应地管理数据流，但这如何与流一起工作呢？如果它不工作，有没有办法获得这种类型的功能(通过流媒体而无需切换到另一种语言)？
浏览 0提问于2011-10-02得票数 3
回答已采纳
1回答
在此CDP7中，我将数据存储到CDP7中的pyspark的hbase表中，在此之后，使用的组件如下：
火花版本3.1.1
Scala版本2.12.10
shc-核-1.1.1-2.1-S_2.11.jar
我使用的命令：
spark3-submit --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/ --files /etc/hbase/conf/hbase-site.xml test-h
浏览 0提问于2021-08-02得票数 0
1回答
我创建了一个python应用程序的docker-container，其中的代码尝试连接到托管在Cloudera上的远程HBase集群。
Docker运行正常，只是它没有在远程HBase上进行读写操作。
这是docker-compose.yml文件中我的一部分
version: '2'
services:
app:
build: .
command: python3 app.py
networks:
- default
ports:
- "8007:8007"
欢迎提出建议。
浏览 35提问于2020-06-03得票数 0
回答已采纳
编辑:这个问题和答案适用于任何经历主题行中所述异常的人：TTransportException(type=4，message='TSocket 0字节‘)；不管是否涉及Cloudera和/或HappyBase。
根本问题(事实证明)是由于protocol和/或transport格式与server-side正在实现的格式不匹配，这在任何客户机/服务器解析中都可能发生。我的恰好是 Cloudera和HappyBase，但是您不必这样做，您可能会遇到同样的问题。
最近有人尝试使用happybase v1.1.0 (latest) Python包在Cloudera CDH v6.1.x
浏览 3提问于2019-02-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
