DF.coalesce(1).write.partitionBy("run_date","dataset_name").mode("overwrite").csv("/target/path") 但是它只用_SUCCESS文件写入空白输出。我在spark会话中设置了以下配置。.config("spark.sql.sources.partitionOverwriteMode","
浏览 19提问于2020-09-10得票数 0
我在sparkSession对象上设置了以下内容："hive.exec.dynamic.partition.mode"="nonstrictcontains data from multiple partitions. i.e. multiple values for P1 and P2 in data.
spark.sql("insert
浏览 1提问于2018-08-06得票数 0
现在，当我运行一个只需要使用下面一行覆盖特定分区的spark脚本时，让我们假设year=2020和month=1的分区和日期=2020-01-01和2020-01-02：上面的行删除所有其他分区，并返回仅存在于最后的我还将覆盖
浏览 0提问于2020-01-24得票数 1
3回答
val spark = SparkSession.builder().config(conf).master("yarn").enableHiveSupport().config("hive.exec.dynamic.partition)
val allColsOrdered = yearDF.columns.diff(partition_columns) ++ partition_columns</
浏览 0提问于2018-10-02得票数 14
回答已采纳
1回答
columns FROM MULTIPLE TABLES WHERE period_id=$current_Period_Id""") }由于select语句被执行了两次，所以这种方法需要很长时间才能完成= new SparkContext
浏览 1提问于2017-02-24得票数 1
回答已采纳
我知道这是Spark，但是如何使用MySQL访问它并传递带有修复的SQL脚本呢？更新:问题是ALTER TABLE table_name PARTITION (partition_spec) SET LOCATION对于>1000个分区运行缓慢。
浏览 1提问于2018-04-11得票数 0
splitColumns:List[String], textList: ListBuffer[String], allColumns:String, dataMapper:Map[String, String], partition_columns) val allCols,
浏览 0提问于2018-09-23得票数 0
0回答
= SparkSession.builder().enableHiveSupport().config("hive.exec.dynamic.partition.mode", "nonstrict") val
浏览 1提问于2017-06-14得票数 0
我正在齐柏林飞艇笔记本上运行我的代码，下面是我的代码以及命令输出的截图。我检查了hive表和dataframe的模式，列名没有大小写差异。我得到了下面提到的例外。import org.apache.spark.sql.hive.HiveContextval hiveContext = new HiveContext(sc)
hiveC
浏览 2提问于2020-10-07得票数 2
回答已采纳
1回答
使用Spark，我将在一个蜂巢表中保存一个parquet格式的星星之火df。问题是，这个操作总是生成大约200个3 MBs的部分-*文件。如何在处理过程中控制输出文件的数量和分区的数量？据我所知，每个分区生成一个部件-*文件。
我用spark.read.parquet("")从蜂窝亚稳态的一个表中读取了一个分区。我用spark.sql(" insert overwrite partition(
浏览 1提问于2018-03-15得票数 3
dataMapper) prepareHiveTableSchema(hiveDataTypes, partition_columns) val allCols, spark</em
浏览 0提问于2018-09-21得票数 2
回答已采纳
3回答
我通过Spark使用hive。在我的spark代码中，我有一个Insert Insert my table查询。输入数据为200+gb格式。当Spark写入分区表时，它会生成非常小的文件(以kb为单位的文件)。因此，现在输出分区表文件夹中有5000+小kb文件。我想把这些合并成几个大的MB文件，可能是几个200mb的文件。'val result7A = hiveContext.sql("set hive.exec.dynamic.partition=
浏览 6提问于2015-06-24得票数 8
回答已采纳
上下文:在我们的数据管道中，我们使用spark运行来自最终用户的大量查询，这些查询作为文本文件提供，然后我们将其参数化。Situation：INSERT OVERWRITE TABLE ... PARTITION (...)试图修复(不起作用)INSERT OVERWRITE TABLEPARTITION (...)SELECT F
浏览 0提问于2017-10-25得票数 1
我有一个pyspark数据帧spark = SparkSession.builder.getOrCreate()
vals = [ (2, 0, 1)df = spark.createDataFrame(vals, co
浏览 2提问于2018-10-07得票数 17
回答已采纳
我有一个爬虫程序，它爬行包含CSV的目录并生成表。= glueContext.spark_sessionjob.init(args['JOB_NAME'], args)datasource0 = glueContext.create_
浏览 1提问于2018-09-14得票数 0
我已经尝试将输出转换为Int。我尝试过select.collect，但也遇到了错误。我对PySpark非常陌生，所以非常感谢您的帮助。from pyspark.conf import SparkConfspark.conf.set("hive.exec.dynami
浏览 28提问于2020-10-13得票数 0
>--conf spark.yarn.queue=${queuename_nonp} --conf spark.ui.port=5050</spark-opts> <okto="EMAIL_SUCCESS"/></action>
一旦Oozie作业失败，我就用Oozie<
浏览 0提问于2019-06-20得票数 0
1回答
我有两个脚本，一个在R中，另一个在pyspark中，它使用输出。为了简单起见，我试图将该功能复制到第一个脚本中。第二个脚本非常简单--读取一堆csv文件，并将它们作为分区块发出： .repartition(partition_column).write \ .parq
浏览 0提问于2019-06-13得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
