1回答
我正在尝试使用Spark .I来识别hive表中的分区列名。我可以使用show partitions，然后解析结果集来提取分区列.However，缺点是，如果一些tales中没有分区，show partition失败.Is有一种更有机的方法来识别hive表中的</em
浏览 94提问于2019-09-24得票数 2
6回答
我有一个示例应用程序可以从csv文件中读取数据。可以使用df.saveAsTable(tablename,mode)方法以拼花格式将数据存储到Hive表中。上面的代码工作正常，但是我每天都有这么多的数据，所以我想根据creationdate(表中的列)动态地划分hive表。
是否有任何方法来动态划分数据并将其存储到蜂窝仓库。希望避免使用hivesqlcontext
浏览 7提问于2015-07-10得票数 41
回答已采纳
3回答
我使用spark和scala来读取一个特定的Hive分区。分区是year、month、day、a和b。scala> spark.sql("select * from db.table where year=2019 and month=2 and day=28 and a='y' and b='z'")spark正在尝试读取一个不同的分区</e
浏览 2提问于2019-05-22得票数 14
回答已采纳
4回答
用星星之火覆盖蜂窝分区
、、、、
我正在使用AWS，我有使用Spark和Hive的工作流。我的数据是按日期划分的，所以每天我在S3存储中都有一个新的分区。我的问题是，当有一天加载数据失败时，我必须重新执行该分区。如果我使用SaveMode.Overwrite，完整的表将被删除，并且只保存分区。如果我使用SaveMode.Append，我可能有重
浏览 2提问于2018-04-23得票数 11
回答已采纳
我使用的是火花2.2.1和hive2.1。我正在尝试将多个分区插入到现有的分区单元格/分区表中。我有一个带有分区P1和P2的表“mytable”。它看起来像问题的套管(上下)。我在我的查询中尝试了这两种情况，但仍然不起作用。编辑：
Inse
浏览 1提问于2018-08-06得票数 0
我已经按存储在s3上的空间列(四键)数据进行了分区。假设将150个分区中的5000个文件加载到我的spark应用程序中时，我希望将数据分解为15,000个分区，但我希望保留已存在的分区。例如，通常我现在每个分区有200mb，所以我想将这些分区分解到50mb，对于已经少于50mb的分区，我希望保持原样。当然，这方
浏览 48提问于2020-03-25得票数 1
2回答
spark HWC无法写入现有表
、、、、
在HDP 3.1.0中，HWC hive-warehouse-connector-assembly-1.0.0.3.1.0.0-78.jar，i不能根据数据库追加(或覆盖)到现有的表。我在一个名为DSN的数据库上测试，它工作，但在另一个名为CLEAN_CRYPT的数据库上它失败了。两个数据库都是加密的+ kerberos
import com.hortonworks.spark.sql.hive.llap.HiveWarehouseS
浏览 2提问于2020-01-28得票数 2
1回答
我有一个复杂/嵌套的Hive-External表，它是在HDFS上创建的(文件采用avro格式)。当我运行配置单元查询时，它会显示所有记录和分区。但是，当我在Spark中使用相同的表时： val df = spark.format("avro").option("avroSchema",但是
浏览 15提问于2020-01-21得票数 0
2回答
我正在尝试使用不同的时间戳对hive表进行分区。我有一个带有时间戳的表，但是当我执行hive分区查询时，它告诉我它不是有效的分区列。18:39.824||3 |2019-06-12 17:18:39.824|spark.sql</e
浏览 0提问于2019-06-13得票数 3
上表中每一行的每个值都返回空。数据存储在拼板中。。
当我在AWS雅典娜/Presto或AWs红移谱上运行相同的SQL查询时，我将得到所有正确返回的列数据(大多数列值不是null)。上面的列不是分区的，但表是在其他列上分区的。我试着用修表，没什么用。.appName("Python Spark SQL<
浏览 1提问于2018-09-13得票数 4
回答已采纳
2回答
试图理解Hive分区是如何与Spark分区相关联的，最后提出了一个关于联接的问题。我有两个外部Hive表；这两个表都由S3桶支持，并由date分区；因此，在每个桶中都有带有名称格式date=<yyyy-MM-dd>/<filename>的键。分区等于S3中的对象数？假设这两个行类型有以
浏览 4提问于2018-04-25得票数 5
1回答
为了进行测试，我从基表中创建了一个虚拟表，如下所示：表: base.fact_table是基于dbsourceString的分区，当我检查虚拟表的DDL时，我可以看到分区列是正确定义的。PARTITIONED BY (
浏览 0提问于2019-07-05得票数 1
回答已采纳
我正在尝试一个简单的用例，将其插入到S3上的单元格分区表中。我正在齐柏林飞艇笔记本上运行我的代码，下面是我的代码以及命令输出的截图。我检查了hive表和dataframe的模式，列名没有大小写差异。import org.apache.spark.sql.hive.HiveContext
浏览 2提问于2020-10-07得票数 2
回答已采纳
2回答
我有一个配置单元分区表txnaggr_rt_fact，它有2个列分区txninterval和intervaltype。我正在尝试使用java从spark sql插入一条记录到这个表中。在插入过程中抛出异常。如果分区不存在，因为它必须创建一个新分区，并且创建失败，但是如果分区已经存在，则插入记录。分区表时异常如下
Exceptio
浏览 0提问于2018-08-20得票数 0
在部署之前，我正在EMR笔记本中测试一些pyspark代码，并且在使用Spark SQL时总是遇到这个奇怪的错误。我将我所有的表和元数据都集成到了AWS Glue目录中，这样我就可以通过spark对它们进行读写。') 然后我尝试使用Spark SQL访问这个表，但是当我运行像spark.sql('select * from <
浏览 26提问于2021-05-11得票数 1
Hive可以有自己的元数据，并在那里存储表、列、分区信息。如果我不想使用hive.Can，我们将为spark创建一个与hive相同的元数据。我想查询spark SQL (不使用dataframe)，就像Hive (select，from和where)一样，我们能做到吗？如果是，我们可以使用哪个关系数据库来存储元数据？
浏览 1提问于2018-12-18得票数 1
我正在尝试使用spark sql从pyspark dataframe创建一个hive paritioned表。下面是我正在执行的命令，但得到了一个错误。错误消息如下。df.createOrReplaceTempView(df_view)
spark.sql("create table if not exists tablename PARTITION (date)AS select * from df_view") 错误：pyspa
浏览 113提问于2021-09-19得票数 0
回答已采纳
1回答
我有两个表，它们都聚集在相同的列上，但是在连接聚集列上的两个表时，执行计划同时显示了交换和排序步骤。我希望在我的计划中避免排序和交换步骤，并且根据文档，存储桶的表应该避免排序
浏览 1提问于2019-06-12得票数 1
在我的工作中，最后一步是将执行的数据存储在Hive表中，并在"date“列上进行分区。有时，由于作业失败，我需要单独为特定分区重新运行作业。正如所观察到的，当我使用下面的代码时，spark在使用覆盖模式时覆盖了所有分区。Step 1: Enbable dynamic partition for overwrite mode
spark.
浏览 1提问于2020-03-18得票数 1
我有以下代码，其中我将数据插入到表txnaggr_rt_fact中，该表有2列，分别为分区的txninterval和intervaltype。我已经在spark sql中启用了动态分区。如果分区已经存在，则没有问题。
数据将被插入到表中，但是如果分区不存在，则会出现异常，但是如果分区已经存在，则不会出现问题。("<em
浏览 26提问于2018-09-06得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号