我想知道这两个命令在性能(在读取时)是否有差异？： df.write.format('parquet').partitionBy(xx).save('/.../xx.parquet') df.write.format('parquet').partitionBy(xx).saveAsTable('...')我知道，对于bucketing，这个问题不会出现，因为它只用于托管表(saveAsTable<
浏览 146提问于2021-01-11得票数 3
我正在使用saveAsTable方法保存Spark DataFrame，并编写以下代码。但是当我再使用一个属性bucketby(5，bucketted_column)时 .partitionBy("partitioncolumn(hiveTable)
它正试图将其保存在spark 'default‘数据库中，而不是hive数据库中。有人能告诉我为什么b
浏览 3提问于2020-05-26得票数 0
我有一个数据帧，我正试着将它保存为我的hive表。我已经尝试了所有可能的方法，但无法将其保存为HDP 3.0中的表。我正在使用下面的代码。d2.write.format("orc").mode("append").saveAsTable("testdb.test_2")
//test_2 table is already created//but
浏览 3提问于2020-05-17得票数 0
1回答
我需要保存DataFrame的CSV或拼板格式(作为一个单一的文件)，然后再打开它。数据量不会超过60 is，因此一个文件是合理的解决方案。这个简单的任务让我头疼.这就是我试过的：df = sqlContext
.read.parquet("s3n://bucket/myTest.parquet", "va
浏览 1提问于2016-11-20得票数 1
回答已采纳
我知道有两种方法可以将DF保存到Pyspark中的表中： spark.sql("CREATE TABLE MyDatabase.MyTable as select * from TempView")
在大型分布式数据集中运行时，使用"saveAsT
浏览 3提问于2020-05-08得票数 4
当使用saveAsTable附加到配置单元托管表时，不完整的saveAsTable所做的工作是否会回滚，或者部分信息是否会保留？
浏览 0提问于2018-05-24得票数 3
2回答
当我在没有指定保存模式的情况下将数据帧写入现有位置时，它会返回一个错误。df.write.partitionBy("column").option("path", <EXISTING PATH>).format("parquet").save
但是，当我只使用saveAsTable选项执行相同的命令时，如果表不存在，Spark似乎会覆盖数据。df.write.pa
浏览 3提问于2019-11-26得票数 0
2回答
在蜂巢中无法访问通过火花加载的表
、、、、
df.write.format("orc").mode("overwrite").saveAsTable("db.table")
浏览 1提问于2018-10-11得票数 7
回答已采纳
11回答
有没有可能将spark中的DataFrame直接保存到Hive？
我尝试过将DataFrame转换为Rdd，然后保存为文本文件，然后加载到hive中。但是我想知道我能不能直接把dataframe保存到hive
浏览 1提问于2015-06-05得票数 93
我使用的是spark 1.6.1，我正在尝试将数据帧保存为orc格式。dt.write.format("orc").mode("append").partitionBy("dt").save(path)
我尝试使用save
浏览 0提问于2016-07-23得票数 2
我正在尝试将数据帧保存为外部表，该表将同时使用spark和可能的hive进行查询，但不知何故，我无法使用hive查询或查看任何数据。它在spark中工作。以下是如何重现该问题的方法：hive
scala> spark.conf.set&
浏览 3提问于2019-08-02得票数 0
我有两个大的地板Dataframes，我想加入他们的userId。我应该怎么做才能获得高性能：
在阅读方面，使用RDD还是DataFrame更好？
浏览 3提问于2017-07-25得票数 1
1回答
我想通过在一个Databricks中创建全局配置单元元存储，从其他Databricks环境中访问一个Databricks环境增量表。有没有可能，请告诉我。
浏览 7提问于2021-07-23得票数 2
无论是开发人员还是API文档都没有提供任何关于可以在DataFrame.saveAsTable或DataFrameWriter.options中传递哪些选项的参考，它们会影响Hive表的保存。我希望，在这个问题的答案中，我们可以聚合信息，这将有助于星火开发商谁想要更多地控制星火如何保存表，也许，也许，为改进星火的文档提供基础。
浏览 3提问于2015-07-18得票数 26
回答已采纳
1回答
我正在尝试使用存储技术对火花作业进行一些性能优化。我正在读取.parquet和.csv文件并进行一些转换。之后，我做了水桶和加入两个DataFrames。resultDF .coalesce(1) .write .mode(SaveMode.Overwrite) .parquet(输出)
当我使用ssh在命令行中启动火花作业时，我得到了正确的结果，即使用Hive可以看到的~500Mb拼板文件。如果我使用oozie工作流运行相同
浏览 0提问于2019-06-19得票数 3
回答已采纳
2回答
我通过在我的数据帧上调用.saveAsTable创建了一个Spark SQL表。该命令完全成功。但是，现在当我查询表时，拼图文件似乎已损坏。java.io.IOException: hdfs://ip:8020/user/hive/warehouse/people/part-r-00001.parquet not a SequenceFile"scala >
浏览 3提问于2016-01-20得票数 1
在Spark中加入大型数据格式时，我得到了与相同的错误。建议设置MEMORY_AND_DISK和/或spark.shuffle.memoryFraction 0。但是，在Spark 1.6.0中不推荐使用spark.shuffle.memoryFraction，如果我没有缓存任何>=或Dataframe，那么设置MEMORY_AND_DISK就不会有帮助了，对吧更具体的问题是：
如何调整执行程序<
浏览 2提问于2016-06-23得票数 12
回答已采纳
我正在尝试使用将数据帧保存为表，它工作得很好，但我想将表保存到非默认数据库，有人知道是否有方法设置要使用的数据库吗？我尝试使用hiveContext.sql(“使用db_name")，但这似乎不起作用。有一个接受某些选项的。有没有一种方法可以让我用选项来做呢？
浏览 0提问于2015-04-21得票数 2
1回答
我有以下Java代码，可以从HDFS读取JSON文件，并使用Spark将其输出为配置单元视图。org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark.sql.SparkSession;p
浏览 14提问于2018-01-23得票数 0
回答已采纳
2回答
我有一个DataFrame，我正在尝试partitionBy一个列，按该列对其排序，并使用以下命令将其保存为parquet格式： .partitionBy("dynamic_col") .save("test.parquet");reason: User class threw exception: org.apache.<em
浏览 2提问于2018-10-14得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
