2回答
我正在尝试学习spark + scala。我想从HBase中读取，但没有mapreduce。我创建了一个简单的测试表格-“HBase”，并在其中做了3个puts。我想通过spark来阅读它(没有使用mapreduce的HBaseTest )。我尝试在shell上运行以下命令 new Get(Bytes.toBytes("row1")),
new Get(Bytes.toBytes("row
浏览 0提问于2014-05-13得票数 2
我试图使用Spark在HBase中写入数据，但得到了异常Exception in thread "main" org.apache.spark.SparkException: Task not serializable我尝试使用以下代码片段打开每个工作节点上的连接： val tableName = args(1)
conf.set(TableInputFormat.I
浏览 16提问于2017-08-22得票数 0
回答已采纳
我在Spark / Scala REPL上尝试了一个简单的代码，得到了这个错误。如何解决这个问题。我想使用RDD.saveAsNewAPIHadoopDataset(conf)将RDD保存到HBaseimport org.apache.hadoop.hbase.util.Bytes
import org.apac
浏览 1提问于2016-03-06得票数 2
2回答
将Kafka中的流数据“导入”到HBase中的最佳实践是什么？
使用案例如下:将车辆传感器数据流式传输到Kafka。然后，必须对这些传感器数据进行转换(即，将protobuf反序列化为人类可读的数据)，并将其存储在HBase中。1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm --> HBase、Kafka --> Spa
浏览 1提问于2015-08-18得票数 6
3回答
我正在尝试从运行在纱线上的java应用程序访问HBase，但我需要一些关于如何做到这一点的线索。我已经在网上搜索过了，但是我找不到确切的答案。下面是它们：
(与前一个操作相关)使
浏览 0提问于2018-02-14得票数 1
使用Spark Structured Streaming。 我正在编写一段代码，其中我需要对数据进行大量查找。查找是非常复杂的，只是不能很好地转换为joins。例如，在表B中查找字段A并获取一个值，如果找到，则在另一个表中查找该值。如果未找到，则在表D中查找其他值C，然后依此类推。 我设法用HBase编写了这些查找，它在功能上运行得很好。我为这些查找中的每一个都编写了udf，例如，一个非常简单的可能是： val someColFunc= udf( (c
浏览 34提问于2020-07-26得票数 0
堆栈溢出上的几个帖子有一些响应，其中包含关于如何通过Spark作为JDBC分布式查询引擎访问RDD表的部分信息。因此，关于如何做到这一点，我想问以下问题以获得完整的信息：
在Spark应用程序中，我们需要使用HiveContext注册表吗？或者我们可以只使用SQL上下文吗？我们在哪里以及如何使用HiveThriftServer2.startWithContext？当我们运行start-thriftserver.s
浏览 2提问于2015-07-18得票数 6
回答已采纳
我需要让存储在hbase中的数据在R中进行分析，但我需要通过Spark来完成，因为数据不适合内存。有人知道如何通过Spark in R访问hbase中的数据吗？
我在网上都找过了，但是没有什么乐趣。我找到了一些页面，解释了如何从R访问hbase中的数据，但它们不是通过Spark来实现的。我看到的所有解释如何在R和Spar
浏览 0提问于2017-01-10得票数 0
我阅读了spark和hbase的文档：
我很困惑，为什么apidocs和HBase版本不匹配？我的目标是使用Spark和HBase (bulkGet，bulkPut..etc)。我如何知道这些函数是在哪个HBase版本中实现的？
如果有人有关于这方面的补充文档，那就太棒了。我在</e
浏览 5提问于2015-12-03得票数 5
我需要批量编辑HBase数据，为每一行编辑特定单元格的内容。通过HBase PUT/GET API不是一种选择，因为这会非常慢。我想设置一个Spark任务，它将HBase HFile加载到正确定义的DFs中，让我编辑特定列中的数据，然后将数据保存回HDFS，保持HFile格式。我找到了关于如何将HFile从Spark批量写入HDFS的几个指南，但是，我不确定如何从HDFS中获取数据。哪种类
浏览 0提问于2019-01-24得票数 1
回答已采纳
3回答
星火数据加入问题
、、
:由于阶段失败而中止的作业:56个任务(1024.4 MB)的序列化结果的总大小大于spark.driver.maxResultSize (1024.0 MB)
然后我添加了spark.driver.maxResultSize=5g，然后又出现了另一个错误，Java空间错误(在ThreadPoolExecutor.java上运行)。如果我在Manager中观察到内存的使用情况，我就会发现使用率一直在上升，直到达到50 up，此时发生OOM错误。因此，无
浏览 1提问于2019-03-10得票数 3
1回答
我使用以下代码导出HBase表并将输出保存到HDFS：MyHbaseTable1 hdfs://nameservice1，
'6.67|10|10|10|7.33|6.67|6.67|6.67|6.67|6.67|6.67|5.83|3.17|0|
浏览 1提问于2016-07-08得票数 3
回答已采纳
1回答
我正在尝试编写一个批处理作业，以处理目前位于HBase数据库(AWS中的EMR集群中)中的数百兆字节，所有这些数据都位于一个大表中。我的当前实现使用了一个Spark作业，该作业将输入表的分区分发给它的工作人员，其形状如下：hBaseConfig.set它们都需要访问查找表的所有部分，但它们的访问模式将从缓存中明显受益。
我认为不能使用
浏览 0提问于2019-07-28得票数 3
回答已采纳
整个世界野生网络中的一两个例子太老了。我想出了下面的错误，错误'Module not Found org.apache.phoenix.spark‘失败了，但是这个模块肯定是Jar的一部分。, warehouseLocation)
spark.conf().set("spark.testing.memory""encountercases.ECLoad" --jars phoenix-
浏览 0提问于2019-07-29得票数 1
如果我使用以下命令从HBase (或MapR-DB)表中读取一些数据
JavaPairRDD<ImmutableBytesWritable, Result> usersRDD = sc.newAPIHadoopRDD就像Spark抱怨的那样，使用usersRDD.repartition(10)这样的东西是不可行的，因为ImmutableBytesWritable是不可序列化的。有没有办法让Spark从HBase数据中创建一
浏览 1提问于2016-05-05得票数 2
2回答
我一直在试图理解spark streaming和hbase是如何连接在一起的，但一直没有成功。我正在尝试做的是给一个火花流，处理该流，并将结果存储在hbase表中。words = lines.map(_.split(","))ssc.start()
我目前在spark-shell中
浏览 1提问于2014-09-04得票数 1
我使用的是Spark 1.3、HBase 1.1和Phoenix 4.4。", SaveMode.Overwrite,在数据帧中，CREATED_DATE如果行已经存在于HBase中，我不希望更新该字段，但在其他字段中有更新。我可以使用HBase
浏览 2提问于2015-07-09得票数 0
2回答
我试着用火花放电从hbase上读和写。": "localhost", "hbase.mapreduce.inputtable": "posts"}
浏览 1提问于2017-02-02得票数 0
回答已采纳
我正在实现Lambda架构，分别为批处理层和速度层使用spark和spark streaming。到目前为止，我将批处理视图和实时视图都存储在HBase中，但存储在不同的表中。我被困在如何合并由batch视图生成的batch视图和由speed layer生成的实时视图，以便进行查询。怎样做才是正确的？我应该直接将它们转储到同一个HBase表中，然后客户端直接查询HBase<
浏览 0提问于2015-02-24得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
