使用Spark 2.2 我已经从spark程序中填充了一个拼图结构列，也填充了另一个拼图列结构数组 当它将其作为外部表从配置单元读取时；结构数组已正确填充，但结构(非数组类型)字段生成为NULL。注意:在拼图中，同时填充了struct和struct数组值。只有在蜂巢里我们才有问题，对此有什么想法吗？
浏览 7提问于2020-01-18得票数 0
2回答
我使用datastax + spark集成和spark SQL节俭服务器，这为我提供了一个Hive SQL接口来查询Cassandra中的表。我的数据库中的表是动态创建的，我想要做的是根据表名在表的每一列中获取空值的计数。我可以使用describe database.table获取列名，但是在hive中，如何在另一个select查询中使用它<em
浏览 7提问于2017-06-16得票数 8
1回答
使用spark作为hive上的执行引擎还是使用spark SQL访问hive表，哪个更好？为什么？
浏览 0提问于2020-06-13得票数 0
在Hive中定义的外部表Spark出现了一个奇怪的问题
CREATE EXTERNAL TABLE ... STORED AS PARQUET...")引用Spark中的表，就会得到正确的行计数，但是每个值都是空的。当我通过Beeline查询表时，我得到了正确的值。此外，如果我使用spark.read.parquet("hdfs:/&
浏览 1提问于2021-02-09得票数 0
一个关于星火结构流与HIVE表集成的查询。 val spark =SparkSession.builder().appName("StatsAnalyzer") .config("hive.exec.dynamic.partition", "true")
浏览 0提问于2018-12-28得票数 13
上表中每一行的每个值都返回空。数据存储在拼板中。。没有区别，尽管有些列不是null，但每一个列的值都是空的。该列是作为最后一列添加到表中的，因此大多数数据确实为空，但有些行不为空。该列最后列在目录中的</e
浏览 1提问于2018-09-13得票数 4
回答已采纳
问题是，它返回所有具有列名值的行。它正在返回正确的列名。只有行值不正确。这是我的密码 .appName("Python Spark SQL Hive integration
浏览 20提问于2020-12-17得票数 0
1回答
火花公子不能到达蜂巢
、、、
spark.catalog.listDatabases()只显示默认值，任何查询运行都不会显示在我的母版日志中。())
数据库(名称=u‘’default‘，description=u’‘default’，locationUri=u'hdfs://HdfsNameService/apps不管我是否将它设置为我在蜂巢站点中找到的值、
浏览 0提问于2018-12-19得票数 0
回答已采纳
在Spark中，为什么CountbyKey()是作为动作而不是转换来实现的。我认为它的功能类似于Reducebykey或combinebykey。有没有什么特别的原因让它实现为Action..
浏览 1提问于2019-04-12得票数 2
2回答
我从两个来源看到，现在你不能以任何有意义的方式与Spark的HIVE事务表进行交互。
我看到Databricks发布了一个名为的事务性功能。现在可以使用此功能读取配置单元事务性表吗？
浏览 0提问于2018-12-13得票数 2
当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建； a
浏览 3提问于2017-12-27得票数 0
回答已采纳
我有一个简单的Hive外部表，它是在S3之上创建的(文件是CSV格式的)。当我运行hive查询时，它会显示所有记录和分区。但是，当我在Spark中使用相同的表时( Spark在分区列上有一个where条件)，它不会显示应用了分区筛选器。然而，对于Hive托管表，Spark可以使用分区信息并应用分区筛选器。是否有任何标志或设置可以帮助我使用星火中的Hive外部表的分
浏览 0提问于2019-08-24得票数 3
2回答
我对蜂巢中的扣环有一个疑问。我已经创建了一个临时表，该表在列关键字上存储桶。当我检查这个表的基目录时，它显示了前缀为part_*的文件名。但是，当我通过另一个表手动将数据插入到这个表中时，我看到了以00000_*为前缀的文件。有人能帮帮忙吗。
谢谢,
浏览 1提问于2018-08-02得票数 5
我有n(large)数量的小尺寸的orc文件，我想合并成k(small)数量的大的orc文件。任何指针都会很棒。
浏览 36提问于2017-01-24得票数 3
我在HIVE中有一个示例表(Stuends1)，我想使用JDBC从Spark连接它(因为Hive在AWS中，而不是在同一个集群中)。().foreach(println)sqlDF.show(false)我尝试了多种方法，但总是只显示列名称的表结构。在spark中，jdbcDF.printSchema()也显示了正确的模式，所以我猜连接没有问题。
我使用的是sp
浏览 25提问于2017-08-24得票数 3
主要任务是连接Hive并使用spark rdd读取数据。 我已经尝试了下面的代码。连接和读取都成功，但是当我想修改self.jobUserProfile的值时，我失败了。然后我将这个值打印在三个位置(在#1，#2和#3中进行掩蔽)。在第一个位置，值是有效的，但是在第二个和第三个位置，dict是空的。似乎修改还没有分配到class属性中。我尝试过response = spark.sql('select use
浏览 9提问于2020-10-28得票数 0
2回答
(DataWritableWriter.java:64) at org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriteSupport.write(ParquetRecordWriterWrapper.java:124)
at org.apache.<e
浏览 93提问于2020-01-10得票数 5
2回答
因此，我们尝试使用以下语句创建一个ORC格式的Hive表，并为事务设置存储桶并启用该表该表是在Hive中创建的，并且还反映在Metastore和Spark SQL(我们已配置为在Hive
浏览 1提问于2015-11-23得票数 2
这是Windows上的Apache Spark。
使用winutils.exe修改权限时，\tmp\hive有什么需求？我可以将此路径更改为随机临时目录吗？
浏览 0提问于2018-03-07得票数 1
我正在尝试使用spark.sql(“")在spark shell上拉取hive表数据，但它给出了空值。配置单元表包含数据。即使我已经使用HiveContext对象编写了代码，但仍然存在相同的问题。
浏览 14提问于2019-05-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
