即使在使用enableHiveSupport()之后，也无法使用spark sql交换配置单元分区

、、、

我正在尝试将增量数据推送到基本配置单元表中。为此，我在我的临时数据库中准备了数据，并将其存储在一个表中，其中包含我的基表的确切ddl。为了将数据从暂存移动到基表，我尝试在spark.sql的配置子表上使用"Exchange分区“，如下所示。(vehicle='BIKE') WITH TABLE staging.stagingtable这看起来好像spark <

浏览 49提问于2019-07-06得票数 2

2回答

使用Spark SQL创建带有连接的配置单元表时使用的引擎

、、、

我不能从文档中确定当使用Spark中的HiveContext创建Hive表时，它是使用Spark引擎还是标准Hive mapreduce作业来执行任务？val sc = new SparkContext() CREATE TABLE db.new_table

浏览 0提问于2018-07-13得票数 0

1回答

使用Spark在Qubole metastore中设置分区位置

、、、

如何在Qubole metastore中为我的Hive表设置分区位置？我知道这是Spark，但是如何使用MySQL访问它并传递带有修复的SQL脚本呢？更新:问题是ALTER TABLE table_name PARTITION (partition_spec) SET LOCATION对于>1000个分区运行缓慢。

浏览 1提问于2018-04-11得票数 0

1回答

跳过spark中配置单元表中丢失的文件以避免FileNotFoundException

、

我正在使用spark.sql()读取表，然后尝试打印计数。但其中一些文件丢失或直接从HDFS中删除。table是一个外部的分区表。 .config("spark.sql.files.ignoreCorruptFiles"

浏览 38提问于2019-07-30得票数 2

回答已采纳

1回答

在Spark SQL中使用collect_list和collect_set

、、

根据的说法，collect_set和collect_list函数应该在Spark SQL中可用。但是，我不能让它工作。我正在使用运行Spark 1.6.0。我正尝试在Scala中做到这一点： .agg(collect_set("column2")) 并在运行时收到以下错误：

浏览 7提问于2016-02-21得票数 16

回答已采纳

2回答

当数据存储在对象存储中时，从Spark SQL访问配置单元表

、、

我使用spark dataframe编写器将数据写入IBM Cloud Object Storage中的内部hive表，格式为parquet。因此，我的配置单元元存储在HDP集群中，我正在从HDP集群运行spark作业。此spark作业将数据以parquet格式写入IBM COS。.config("hive.metastore.uris", "<thrift_url>")

浏览 40提问于2018-12-18得票数 0

2回答

我使用的火花2.0，我想知道，它有可能列出所有的文件为特定的蜂巢表？如果是这样的话，我可以直接使用spark sc.textFile("file.orc")增量地更新这些文件。如何向hive表中添加新的分区？有什么api的蜂巢亚稳态，我可以使用火花？有没有办法获得映射dataframe row => partition_path的内部单元函数？现在我发现的唯一方法是FULL OUTER JOIN SQL +SaveMode.Overwrite

浏览 2提问于2016-10-26得票数 6

回答已采纳

1回答

HiveContext vs spark sql

、、

我正在尝试比较spark sql和hive上下文，我可以知道有什么不同吗? hivecontext sql使用hive查询，而spark sql使用spark查询吗？下面是我的代码：sqlContext = HiveContext(sc) sqlContext.sql('select * from table')

浏览 11提问于2018-08-21得票数 0

2回答

删除Dataproc上的集群后，Apache检索表存储在gcs中

、、、、

我将数据存储在一个外部gcs桶中，使用pyspark作为spark数据data，并将其存储为一个分区表，使用"df.repartition(100).write.saveAsTable()“格式的”或c之后，我删除了我的集群并创建了一个新的集群。现在，我无法使用我的gcs桶使用pyspark加载分区表。我甚至将"spark.sql.warehouse.dir“<

浏览 1提问于2020-06-03得票数 2

1回答

在Python中以编程方式启动HiveThriftServer

、、、、

在spark-shell (scala)中，我们将为特定配置单元上下文以编程方式启动Hive Thrift服务器的org.apache.spark.sql.hive.thriftserver.我们如何使用python来做同样的事情呢？python上有没有用于导入HiveThriftServer的包/ api？如有任何其他想法/建议，欢迎光临。我们已经使用pyspark创建了一个数据帧拉维·纳拉亚南

浏览 0提问于2016-04-15得票数 3

2回答

如何通过Spark属性(Spark 1.6)启用或禁用spark-shell中的配置单元支持？

、、、

有没有什么配置属性，我们可以在spark 1.6中通过spark-shell显式地设置它来禁用/启用配置单元支持。我尝试使用以下命令获取所有sqlContext配置属性：但是，我不确定实际上需要哪个属性来禁用/启用配置单元支持。

浏览 3提问于2017-07-20得票数 6

回答已采纳

2回答

通过sparkSQL创建蜂窝

、、、

我已经创建了一个临时表，该表在列关键字上存储桶。有人能帮帮忙吗。谢谢,

浏览 1提问于2018-08-02得票数 5

1回答

将数据从未分区的hive表的子文件夹中获取到spark中的dataframe中

、、

配置单元中有一个外部表指向未分区的s3位置。该表指向s3中的一个文件夹，但数据位于该文件夹内的多个子文件夹中。即使没有对表进行分区，也可以通过在配置单元中设置一些属性来查询该表，如下所示：set hive.input.dir.recursive=true; set hive.mapred.supports.subdirectories=true; set hive.supports.subdirectories=true; set m

浏览 2提问于2017-10-16得票数 1

1回答

如果没有指定的分区路径，星火SQL将失败。

、、、、

我正在使用电子病历中的蜂巢Metastore。我能够通过HiveSQL手动查询表。但是当我在火花作业中使用相同的表时，它说输入路径不存在: s3:// 由: org.apache.hadoop.mapred.InvalidInputException:输入路径不存在引起的:s3:/我在s3://..中删除了上述分区路径。但是它仍然在我的蜂巢中工作，没有在表级别上丢弃分区。但无论如何它在火花放电中都不起

浏览 0提问于2017-12-21得票数 0

1回答

如何访问Hive中的现有表？

、、、

", "true") .getOrCreate() .getOrCreate() println("Start of SQL Session----------

浏览 1提问于2017-10-21得票数 3

1回答

从spark 2.3上的spark上下文中动态访问配置单元配置

、

我使用的是spark 2.3 (启用了配置单元支持)，我想在运行时访问和设置一些配置单元的值，例如"hive.exec.max.dynamic.partitions"。如果我尝试从spark.conf对象中获取这些分区，即使设置了它们，我也无法找到它们，因为我的代码稍后会失败，因为我会报告动态分区的最大数量设置为2000 (我在集群的配置<em

浏览 19提问于2018-12-27得票数 1

3回答