2回答
我有spark流作业，其中一些正在做一些聚合，现在我想将记录插入到HBase中，但这不是典型插入，我想做UPSERT，如果for rowkey可用，则应发生列值求和(newvalue+oldvalue)有没有人分享java中的伪代码?我该怎么做呢？
浏览 13提问于2016-08-09得票数 1
回答已采纳
upsert into test_Table(test_date) values('2013-11-30'); import org.apache.spark.rdd._ import org.apache.hadoop.<
浏览 29提问于2017-05-10得票数 0
我应该把菲尼克斯的数据读到pyspark里。编辑:我使用的是火花HBase转换器：port="2181"keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter{"hbase.zookeeper.property.clientPort":p
浏览 5提问于2015-09-15得票数 0
2回答
我正在尝试使用Phoenix连接器从PySpark读取和写入HBase。我已经看到中的示例代码复制了此处的示例代码，以便于参考： .format("org.apache.phoenix.spark") \ .option("table", "TABLE1") \
.option("zkUrl", "localhost:2181"
浏览 5提问于2018-01-06得票数 0
我有一个现有的HBase表，并且我正在使用phoenix-sqlline。 我向现有表添加了两个新列(让我们称它们为A和B)，到目前为止，它们的值都是NULL值。注意:有一种方法可以从Spark dataframe中的HBase表中读取数据，并对数据进行操作，然后将其重写回来，但我希望避免这种方式。 我尝试UPSERT只指定一列，但似乎不起作用。 谢谢
浏览 20提问于2020-10-16得票数 0
1回答
尝试将代码从Spark 1.6，Scala 2.10迁移到Spark 2.4，Scala 2.11。无法获取要编译的代码。下面显示了依赖项版本、最小示例和编译错误。"2.4.0", "org.apache.hbase" % "hbase-comm
浏览 35提问于2020-01-08得票数 0
回答已采纳
1回答
我已经使用twitter的流媒体用户api和火花流做了twitter流流。这在我的本地机器上成功运行。但是当我以本地模式在集群上运行这个程序时。这是第一次成功运行。稍后，它会给出以下异常。"Exception in thread "main" org.apache.spark.SparkException: Found both spark.executor.extraClassPathand SPARK_CLASSPATH.每次我必须创建一个新的检查点目录
浏览 2提问于2015-08-05得票数 0
回答已采纳
我目前有一个新的虚拟盒子的CDH5.1镜像，当我尝试使用spark shell连接到HBase时遇到了一个问题。以下是scala代码：import org.apache.hadoop.hbase.client.{HBaseAdmin,HTable,Put,Get}val conf =
浏览 1提问于2014-08-27得票数 0
我想处理星火上的数据并将它们插入到HBase中。我正在使用HBase (Apache HBase)库()。ClassLoader.java:424) at org.apache.hadoop.hbase.spark.JavaHBaseContext$Executor.execute(SparkExecutor.java:75)
at job.s
浏览 1提问于2018-10-05得票数 1
回答已采纳
我想通过Spark从HBase加载数据，我使用hbase-spark 并引发NullPointerExceptionname := "proj_1" "org.apache.spark" % "spark-sql_2.11" % "2.3.1",
"org.a
浏览 0提问于2018-09-17得票数 2
10映像版本)创建了一个新的dataproc集群，我升级了Spark和scala依赖项，使其低于spark和scala版本，并开始出现如下所示的问题。: Could not initialize class org.apache.hadoop.hbase.spark.HBaseConnectionCache$
at org.apache.hadoop.hbase.spark.HBaseContext.org$apache$hadoop$
浏览 5提问于2020-11-17得票数 2
回答已采纳
1回答
我在三个节点上安装了hbase。我正在尝试加载hbase通过火花与以下代码的帮助。:/usr/iop/4.3.0.0-0000/hbase/lib/hbase-protocol.jar:/usr/iop/4.3.0.0-0000/spark2/examples/jars/scopt_2.11-3.3.0.jar:/home/tanveer&
浏览 17提问于2017-07-09得票数 0
1回答
我对这个问题进行了搜索，得到了一些结论：Top.dir>1.6.0</ - hbase-spark. hbase-spark is provided:我访问了他们的，没有关于spark 2.0的信息。jar的名称是spark-hbase-connector_2.10，这告诉我们jar是由<
浏览 41提问于2017-02-14得票数 4
回答已采纳
但是，它告诉我关于htrace的CLASS_NOT_FOUND，因为我使用的是CDH5.4。我成功地找到了htrace jar文件，但我很难将其添加到path中。\--class org.apache.spark.examples.HBaseTest \
--driver-class-path /etc/hbase/conf:$SPARK_HOME/examples/lib/*.jar:/
浏览 1提问于2015-06-26得票数 1
我们正在使用Spark 2.3.0创建一个基于Spark的应用程序。我们的Spark作业与HBase交互。在创建JAR时，我们得到以下编译时异常异常: ERROR class file for org.apache.spark.Logging not found此异常发生在代码中，即从HBase表中读取数据>org.apache.spark</groupId>
<artifactId>s
浏览 1提问于2018-09-21得票数 0
谢谢你的帮忙!我试图设置-罐子和设置spark.sparkContext.addJar("./hbase-spark-1.0.0.jar")，，但它不起作用；我的sbt代码：
"org.apache.hbase.connectors.spark" % &quo
浏览 6提问于2021-09-10得票数 2
回答已采纳
2回答
我的环境如下：
libraryDependencies++= Seq( "org.apache.spark" % &quo
浏览 0提问于2018-11-02得票数 1
回答已采纳
1回答
丝上火花+固定hbase
、、、、
我提交了一个工作给纱线(在spark 2.1.1 + kafka 0.10.2.1)，它连接到一个安全的hbase集群。当我在“本地”模式(spark.master=local*)运行时，这个任务执行得很好。然而，一旦我以纱线的形式(并将部署模式作为客户端)提交该作业，我就会看到以下错误消息-我正在遵循hortonworks关于向
浏览 14提问于2017-05-30得票数 6
1回答
我可以通过HBASE项目提供的JAVA读写HBASE中的数据。但这样的读取操作将在火花驱动程序中进行处理，这似乎不是一种聪明的方法。是否有火花方式从HBASE读取数据，以便在不同的工人中完成阅读操作，以提高绩效？
浏览 3提问于2017-07-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
