当通过pyspark将数据帧写入hbase时，默认情况下，当将数据帧写入hbase表中将整数值转换为字节类型时，我们是否有任何选项将整数值转换为整数？cat2=json.dumps(catalog2)
df.write.option("catalog",cat2).option("newtable","5").format("org.apache.spark.sql.execution.datasources.hbase</e
浏览 2提问于2018-06-21得票数 0
1回答
度量收集和分析体系结构
、、、、
首先，不需要存储所有数据，因为用户只需要指定时间段的图表，因此需要一些聚合。什么样的数据库解决方案适合它？我相信没有RDMS会处理这么多的数据。那么，如何获取度量的平均数据来将其呈现给最终用户呢？AWS具有共享的时间序列数据处理架构：
很简单，我是这样想的：
度量标准每24小时存储在一个表中。在一天结束时，一些过程运
浏览 0提问于2018-11-26得票数 1
我正在尝试使用从HBase获取数据。import org.apache.spark.sql.execution.datasources.hbase._object hbase is not a member of packageorg.apache.spark.sql.execution.datasources
在我的本地.m2存储库中已经存在.jar of org.apache.hbase</em
浏览 0提问于2018-06-08得票数 1
回答已采纳
我需要让存储在hbase中的数据在R中进行分析，但我需要通过Spark来完成，因为数据不适合内存。有人知道如何通过Spark in R访问hbase中的数据吗？
我在网上都找过了，但是没有什么乐趣。我找到了一些页面，解释了如何从R访问hbase中的数据，但它们不是通过Spark来实现的。我看到的所有解释如何在R
浏览 0提问于2017-01-10得票数 0
3回答
我知道HBASE是一个柱状数据库，它将表的结构化数据按列而不是按行存储到HDFS中。我知道Spark可以从HDFS读/写，还有一些用于Spark的HBASE连接器现在也可以读写HBASE表。问题：
1)在HBASE之上分层火花而不是单独使用HBASE所带来的附加功能是什么？它只取决于程序员的能力，或者有任何性能原因来这样做？是否有星火所能做的事，而<em
浏览 4提问于2016-08-13得票数 9
回答已采纳
2回答
在我的项目中，我们使用Hadoop 2、Spark、Scala。Scala是编程语言，Spark在这里用于分析。我们同时使用Hive和HBase。我可以使用HDFS访问Hive的所有细节，如文件等。但我的困惑是-
HIVE 和 HBase**?**的功能是什么？如果我们只<
浏览 2提问于2016-12-29得票数 4
回答已采纳
1回答
我正在努力理解如何构建一个大数据解决方案。我有400 is的历史数据，每小时1GB的数据就会被插入。我的计划是使用hadoop +火花。但有人建议我使用HBase。阅读所有的文件
浏览 4提问于2015-03-16得票数 1
回答已采纳
我正在尝试查询存储在HBase中的数据，以便在AWS EMR中使用Spark ML。我应该将数据作为RDD提取(如下所示)，还是应该使用Phoenix将数据作为Dataframe进行查询？我已经尝试过通过HBase RDD和Phoenix将数据导入到Spark中。然而，我在使用这两种方法时都遇到了问题。org.
浏览 24提问于2019-06-21得票数 0
我已经在Azure中创建了HDInsight的Spark集群。现在，我希望将处理后的数据存储到HBASE中，并且我不想创建单独的HBASE HDInsight集群并使用VNET连接到Spark集群。我已经并且想要在我的Spark集群中使用所有的60个内核。因此，我想到了在HDInsight的spark Cluster中安装<em
浏览 3提问于2017-04-18得票数 2
1回答
我已经从一个有5亿行的DataFrame表(菲尼克斯)创建了一个HBase表。从DataFrame中，我创建了一个JavaBean的RDD，并使用它来连接文件中的数据。tableName);DataFrame df = sqlContext.read().format("org.apache.phoenix.spark是将整个表作为RDD加载到内存中，还是只有表<em
浏览 3提问于2016-05-18得票数 5
回答已采纳
2回答
所以我的项目流程是Kafka -> Spark Streaming ->HBase现在我不知道如何使用Spark Streaming从HBase</
浏览 30提问于2016-07-25得票数 1
回答已采纳
我对Hadoop、Spark和HBase都是新手。我试图用mvn clean package (Apache Maven 3.3.3)构建库。但我在构建过程中遇到了以下失败的测试：java.lang.NullPointerException:191)
at org.apache.spark.rdd.NewHadoopRDD.getPartitions(NewHadoopRDD.s
浏览 1提问于2015-09-29得票数 1
1回答
我们正在用pyspark构建数据管道，第一步是获取存储在HBase中的元数据(针对每个数据集)。此外，我们还有几个步骤在酝酿之中，并以Kafka事件的形式发布我们的日志。我们在驱动程序中使用hbase-python来获取元数据还是使用spark.read.format("org.apache.hadoop.hbase.
浏览 4提问于2022-10-11得票数 0
2回答
将Kafka中的流数据“导入”到HBase中的最佳实践是什么？
使用案例如下:将车辆传感器数据流式传输到Kafka。然后，必须对这些传感器数据进行转换(即，将protobuf反序列化为人类可读的数据)，并将其存储在HBase中。1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm -->
浏览 1提问于2015-08-18得票数 6
1回答
在Hbase数据迁移过程中，我遇到了一个java.lang.IllegalArgumentException: KeyValue size too large我需要将/etc/hbase/conf/hbase-site.xml中的属性/etc/hbase/conf/hbase-site.xml(从1048576增加到10485760)，但是我现
浏览 2提问于2020-02-04得票数 1
回答已采纳
我们正在使用Spark 2.3.0创建一个基于Spark的应用程序。我们的Spark作业与HBase交互。在创建JAR时，我们得到以下编译时异常异常: ERROR class file for org.apache.spark.Logging not found此异常发生在代码中，即从HBase表中读取数据使用下面的jar配置/版本，我们能够成功地将数据
浏览 1提问于2018-09-21得票数 0
谁能提供一些指导，为什么我们要使用Hadoop，而现在Spark是可用的？众所周知，Spark最初是为了解决Hadoop的局限性而创建的？
谢谢。
浏览 24提问于2020-05-26得票数 0
回答已采纳
0回答
我正在尝试以一种有效的方式将一个火花DataSet存储到HBase中。") );
函数persistMappingtoHBase使用HBase Java client (Put)存储在HBase中。I get an exception: Exception in thread "main" org.apache.spark.SparkException: Task not serial
浏览 9提问于2017-11-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
