在这种情况下，可以对spark中拼图文件使用解压缩编解码器
在这种情况下，可以对Spark中的拼图文件使用解压缩编解码器。拼图文件是Spark中用于存储数据的一种文件格式，通常用于存储大规模数据集。解压缩编解码器是一种用于压缩和解压缩数据的工具，可以有效地减小数据的存储空间，并提高数据传输的效率。
解压缩编解码器在Spark中的应用场景包括：
- 数据压缩：对于大规模数据集，使用解压缩编解码器可以减小数据的存储空间，节省存储成本。
- 数据传输：在数据传输过程中，使用解压缩编解码器可以减小数据的传输量，提高传输效率，减少网络带宽的占用。
腾讯云提供了一系列与Spark相关的产品和服务，可以帮助用户进行大数据处理和分析。其中，推荐的腾讯云产品是腾讯云数据仓库（TencentDB），它是一种高性能、可扩展的云数据库服务，支持Spark等大数据处理框架。您可以通过以下链接了解更多关于腾讯云数据仓库的信息：
https://cloud.tencent.com/product/tcdb
请注意，以上答案仅供参考，具体的解压缩编解码器选择和腾讯云产品推荐应根据实际需求进行评估和决策。
相关·内容
我正在使用Spark SQL读拼图和写拼图文件。
但在某些情况下，我需要将DataFrame编写为文本文件，而不是Json或Parquet。
是否支持任何默认方法，或者我必须将该DataFrame转换为RDD，然后使用saveAsTextFile()方法？
浏览 1提问于2016-03-15得票数 11
回答已采纳
1回答
我们在单个AWS EC2实例上以本地模式运行Spark，使用
"local[*]"
然而，使用New工具和一个简单的“top”进行分析表明，我们16台核心机器中只有一个CPU核心用于我们编写的三个不同的Java火花作业(我们也尝试过不同的AWS实例，但只有一个内核曾经被使用过)。
Runtime.getRuntime().availableProcessors()报告16个处理器，sparkContext.defaultParallelism()报告16个。
我看过各种Stackoverflow本地模式问题，但似乎没有一个解决了这个问题。
任何建议都很感激。
谢谢
编辑:过程
浏览 2提问于2016-10-31得票数 6
回答已采纳
2回答
什么是lz4拆分限制？
、、、、
告诉我们，lz4压缩格式是可拆分的，适合在hdfs中使用。好的，我已经将1.5 Gb的数据压缩成300Mb的lz4文件。如果我尝试通过spark读取这个文件-它可以创建多少个工作进程数来并行读取文件？可拆分的片段是否计入取决于lz4压缩级别？
浏览 28提问于2018-03-15得票数 1
2回答
我已经从https://censys.io/下载了一个xxxx.json.lz4文件，但是，当我尝试使用以下行读取该文件时，我没有得到数据输出/计数为0。
metadata_lz4 = spark.read.json("s3n://file.json.lz4")
它不返回任何结果，尽管手动解压缩可以很好地工作，并可以导入到Spark。
我也试过
val metadata_lz4_2 = spark.sparkContext.newAPIHadoopFile("s3n://file.json.lz4", classOf[TextInputFormat], clas
浏览 2提问于2017-04-05得票数 3
4回答
我有一个来自s3的大型(大约85 GB压缩)压缩文件，我正试图在AWS上使用Spark (现在有一个m4.xLarge主实例和两个m4.10xLargecore实例，每个实例都有一个100 GB的EBS卷)。我知道gzip是一种不可拆分的文件格式， 认为应该重新划分压缩文件，因为Spark最初给出了一个带有一个分区的RDD。但是，在做完之后
scala> val raw = spark.read.format("com.databricks.spark.csv").
| options(Map("delimiter" -> "\
浏览 5提问于2016-11-08得票数 17
回答已采纳
在使用Python 3.6的Amazon EMR集群(1个主服务器，2个节点)上运行Spark 2.4.2
我正在读取亚马逊s3中的对象，以拼图格式压缩它们，并将它们添加(附加)到现有的拼图数据存储中。当我在pyspark shell中运行我的代码时，我能够读取/压缩对象并将新的拼图文件添加到现有的拼图文件中，并且，当我对拼图数据运行查询时，它显示所有数据都在拼图文件夹中。但是，当我在EMR集群上的某个步骤中运行代码时，现有的拼图文件会被新文件覆盖。相同的查询将显示只有新数据在那里，而包含地块数据的s3文件夹只有新数据。
以下是该步骤的关键代码：
spark = SparkSessio
浏览 17提问于2019-07-10得票数 1
回答已采纳
2回答
我正在尝试使用spark将拼图文件从我的本地机器读写到S3。但是我似乎无法正确地配置我的spark会话来做到这一点。显然，需要进行一些配置，但我找不到关于如何进行配置的明确参考。
目前，我的spark会话读取本地拼图模拟，定义如下：
val sparkSession = SparkSession.builder.master("local").appName("spark session example").getOrCreate()
浏览 6提问于2017-12-05得票数 4
回答已采纳
3回答
我有一个以竖线分隔的文本文件，大小为360 is，压缩(gzip)。该文件位于S3存储桶中。这是我第一次使用Spark。我知道，您可以对文件进行分区，以便允许多个工作节点对数据进行操作，这会带来巨大的性能提升。但是，我正在尝试找到一种有效的方法来将我的一个360‘m的文件转换为分区文件。有没有办法使用多个spark worker节点来处理我的一个压缩文件，以便对其进行分区？不幸的是，我无法控制我只是得到了一个很大的文件。我可以自己解压缩文件并将其分解成许多文件(比如360个1 1GB的文件)，但我只使用一台机器来做这件事，速度会相当慢。我需要使用Spark在数据上运行一些昂贵的转换，所以我认为
浏览 1提问于2017-10-25得票数 4
1回答
我有一个巨大的表，其中包含数十亿(20)条记录，我的源文件作为输入是Target Target文件。
每天我都会收到一个增量传入文件，用于更新Target文件夹中的现有记录并追加新数据。
使用spark SQL dataframe，有没有办法读取和更新拼图文件的特定分区？
浏览 12提问于2018-09-07得票数 0
4回答
Hadoop gzip压缩文件
、、、、
我是hadoop新手，正在尝试处理wikipedia转储。它是一个6.7 GB的gzip压缩xml文件。我读到hadoop支持gzip压缩文件，但只能由单个作业上的映射器处理，因为只有一个映射器可以解压缩它。这似乎对处理过程施加了限制。有没有别的选择？比如将xml文件解压缩和拆分成多个块，然后用gzip重新压缩它们。
我从上读到有关hadoop gzip的内容。
谢谢你的帮助。
浏览 16提问于2011-04-12得票数 19
2回答
我有一些spark历史服务器的问题，因此尝试手动解压缩lz4日志。我安装了liblz4-tool并下载了应用程序日志application_1510049252849_0303.lz4。但是当我用lz4 ~/application_1510049252849_0303.lz4解压它时，我得到了以下错误：
Error 44 : Unrecognized header : file cannot be decoded
这是我为每个火花历史lz4文件准备的。解决方案是什么？有没有办法手动打开它？
浏览 82提问于2017-11-09得票数 3
2回答
我有一个月的数据存储在HDFS中。31个文件夹，每个文件夹以yyyy-mm-dd格式按日期表示。举例: 2020-01-30 每隔5分钟我们将获得数据，我们将使用spark append mode将数据保存为拼图文件。一小时12个文件，一天288个文件。因此每个文件夹包含大约288个拼图文件。因此，对于一月份，它是关于8928(31*288)拼图文件的。 我将使用spark读取数据。 读取这么多文件会导致性能问题吗？ 另外，如果我每天都维护一个文件。假设每一天只包含一个拼图文件，对于一月份，包含31拼图文件。 如果我这样做，性能会有什么提高吗？
浏览 41提问于2020-01-31得票数 1
2回答
实例类型默认分区差异
、、、
我的理解是，spark会根据文件的大小，或者如果它是许多拼图文件的并集，部分的数量，来选择分区的“默认”数量。
然而，在读入一组大的拼图文件时，我发现具有单个d2.2xlarge的EMR集群的默认分区数是~1200。然而，在2个r3.8xlarge的集群中，我得到了大约4700的默认分区。
Spark使用什么指标来确定默认分区？
EMR 5.5.0
浏览 1提问于2017-08-08得票数 0
1回答
我在谷歌云存储上有一个文件夹，里面有几个拼图文件。我安装在我的VM pyspark中，现在我想读取拼图文件。下面是我的代码： from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.config("spark.driver.maxResultSize", "40g") \
.config('spark.sql.shuffle.partitions', '2001') \
.conf
浏览 26提问于2019-12-11得票数 0
我从Apache Kafka读取json消息，然后使用Apache Spark将拼图文件写入Azure blob存储中。我使用方法partitionBy将这些拼图文件写入嵌套文件夹中。我的代码是这样的：
val sourceDF = spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", brokerList)
.option("subscribe", sourceTopic)
.option("startin
浏览 1提问于2020-10-26得票数 2
我正在使用spark streaming来创建实时数据管道。我正在从Kafka获取实时数据，并使用Spark处理这些数据。
但是当我用来自S3的新数据更新S3上现有的拼图文件时，它的性能就不好了。因为我必须从S3中获取现有的分区拼图文件，并用来自Kafka的新记录替换旧记录，然后在S3上覆盖完整的分区拼图文件。
因为这个表需要频繁更新，所以需要花费很多时间。
你能给我推荐一种更好的方法来在spark streaming中执行更新操作吗？
提前谢谢。
浏览 18提问于2019-11-03得票数 0
3回答
我用Version1模式生成了一年多的拼图文件。对于最近的模式更改，较新的parquet文件具有Version2模式额外的列。
因此，当我从旧版本和新版本一起加载拼图文件，并尝试过滤更改的列时，我得到了一个异常。
我想让spark读取旧文件和新文件，并在列不是present.Is的地方填充空值。有没有解决方法，当找不到列时，spark填充空值？
浏览 3提问于2017-04-28得票数 2
1回答
我有1000个拼图文件，我想要一个执行者在每个文件在中间阶段的工作。有没有一种可能的方法让我们手动分配这个属性？默认情况下，spark最终会为作业创建34个任务，最终会出现偏差
浏览 11提问于2019-11-05得票数 0
我有Spark(Scala)应用程序，它将SFTP中的特定数据存储为.txt文件。应用程序生成的文件有时达到20 by；这是消费者无法下载的文件。我想我可以压缩这个文件，这样我们就可以缩小文件的大小(特别是它是一个我们期望有很好的压缩比的文本文件)。
我需要在Spark中使用(导入)任何引用或库来提供压缩文件吗？
提前谢谢。
浏览 1提问于2020-01-23得票数 0
我需要使用Spark将一个巨大的未压缩文本文件(>20 to )读取到RDD中。文件中的每条记录都跨越多行(每条记录不超过20行)，所以我不能使用sc.textFile。我正在考虑使用带有自定义分隔符的SparkContext.newAPIHadoopFile。然而，由于文件相当大，我很好奇读取和解析是分布在多个Spark executors上，还是只在一个节点上发生？
文件内容如下：
record A
content for record A
content for record A
content for record A
record B
content for record B
浏览 29提问于2019-08-06得票数 0
1回答
自动控制镶木地板文件大小
、、、
我有一个(scala/spark) DataFrame df，我想将它保存到拼图上，每个拼图文件大约128MB。根据该模式，我粗略地估计了一行的大小。我的策略是使用生成“超大”分区的值对数据帧进行重新分区。然后，我利用选项maxRecordsPerFile来获得我想要的拼图文件大小：
val countLines = df.count
val estimatedSize = countLines * 250 / (1024 * 1024) // one line is around 250 Bytes
val repartitionEstimate = (esti
浏览 0提问于2020-11-17得票数 0
1回答
我想用dask将具有不同方案的多个拼图文件读取到pandas dataframe，并能够合并这些方案。当我谈到不同的方案时，我的意思是，在所有这些文件中都有公共列，但在一些文件中有其他文件中没有的列。 不幸的是，当我用 dd.read_parquet(my_parquet_files, engine="fastparquet") 我只有普通的列可读。我知道在spark中有一个读取选项mergeSchema，我想知道在dask中是否有一个简单的方法来做同样的事情？
浏览 40提问于2019-09-04得票数 0
我有一个包含拼图文件的文件夹。如下所示：
scala> val df = sc.parallelize(List(1,2,3,4)).toDF()
df: org.apache.spark.sql.DataFrame = [value: int]
scala> df.write.parquet("/tmp/test/df/1.parquet")
scala> val df = sc.parallelize(List(5,6,7,8)).toDF()
df: org.apache.spark.sql.DataFrame = [value: int]
sca
浏览 0提问于2017-03-27得票数 13
回答已采纳
我正在尝试将文件作为数据集加载到Azure ML Studio的GUI中。这些拼图文件是通过Spark创建的。 在我的文件夹中，Spark会创建诸如"_SUCCESS“或"_committed_8998000”之类的文件。 Azure ML Studio无法读取它们或忽略它们，并告诉我： The provided file(s) have invalid byte(s) for the specified file encoding.
{
"message": " "
} 我选择了“忽略不匹配的文件路径”，但它仍然不起作用。 如果我删除&#
浏览 22提问于2020-09-30得票数 2
回答已采纳
1回答
我有一个需要将拼图文件从Lambda保存到S3的用例。我需要在append模式下存储Lambda函数中触发的事件。
我尝试使用Avro，但它不允许将数据以append模式存储在相同的拼图文件中。
到目前为止，我发现spark允许以附加模式将数据存储在拼图文件中……然后，我可以使用Lambda提交一个存储数据的spark作业。你对这个可行的解决方案有什么看法？
然而，如果不使用spark，真的不存在解决方案吗？提前感谢
浏览 4提问于2017-04-30得票数 1
4回答
我使用python压缩了一个文件，并将它放在我的hdfs存储中。我现在正试着像这样读它，但是我得到了下面的回溯。我找不到一个如何读取文件的例子，所以我可以处理它。我可以读取文本文件(未压缩)版本很好。我应该使用sc.sequenceFile吗？谢谢!
I first compressed the file and pushed it to hdfs
python-snappy -m snappy -c gene_regions.vcf gene_regions.vcf.snappy
hdfs dfs -put gene_regions.vcf.snappy /
I then added t
浏览 2提问于2015-04-25得票数 6
回答已采纳
从Azure Data Factory生成拼图文件(复制活动-从Azure SQL复制到数据湖中的拼图)。当我尝试从蜂窝中读取相同的拼图时，它给出了错误，因为org.apache.parquet.io.ParquetDecodingException:无法读取块中0的值。
如果你使用Spark生成拼图，那么你可以设置Spark.sql.parquet.writeLegacyFormat=true，但是如何在Azure Data Factory中处理同样的事情。
十进制转换的问题即将到来
浏览 0提问于2021-07-02得票数 0
如何使用Spark Core API读取拼图文件？
我知道使用Spark SQL有一些读取拼图文件的方法。但是我们不能在我们的项目中使用Spark SQL。
我们必须在JavaSparkContext上使用newAPIHadoopFile方法来做这件事吗？
我正在使用Java来实现Spark Job。
浏览 2提问于2015-09-02得票数 6
似乎在Spark 2.1.0中，保存空的Parquet文件被破坏了，因为无法再次读取它们(由于错误的模式推断)。
我发现，从Spark2.0开始，在编写拼图文件时，默认情况下禁用_metadata文件的写入。但是我找不到配置设置来重新打开它。
我尝试了以下几种方法：
spark_session = SparkSession.builder \
.master(url) \
.appName(name) \
.config('spark.hado
浏览 52提问于2017-01-25得票数 3
回答已采纳
我是R和spark的新手。我想用下面的代码读取一个拼图文件。有人知道如何在那里指定模式吗？
library(sparklyr)
sc <- spark_connect(master = "yarn",
appname = "test")
df <- spark_read_parquet(sc,
"name",
"path/to/the/file",
浏览 0提问于2018-03-17得票数 0
有没有可能在不使用Apache Spark的情况下从Scala中读取拼图文件？
我发现了一个项目，它允许我们使用普通的scala读写avro文件。
然而，我找不到一种方法来读写拼图文件使用普通的scala程序而不使用Spark？
浏览 0提问于2016-02-06得票数 22
回答已采纳
2回答
我很难找到这个问题的答案。假设我向parquet编写了一个数据帧，并结合使用repartition和partitionBy来获得一个分区良好的parquet文件。如下所示：
df.repartition(col("DATE")).write.partitionBy("DATE").parquet("/path/to/parquet/file")
现在，稍后我想要读取拼图文件，所以我这样做：
val df = spark.read.parquet("/path/to/parquet/file")
数据帧是否按"DATE
浏览 5提问于2018-06-13得票数 15
2回答
当我尝试读取用lz4压缩的Spark 2.4.4 eventLog时，我得到一个空的DataFrame：
cd /opt/spark-2.4.4-bin-hadoop2.7
bin/spark-shell --master=local --conf spark.eventLog.enabled=true --conf spark.eventLog.compress=true --conf spark.io.compression.codec=lz4 --driver-memory 4G --driver-library-path=/opt/hadoop-2.7.1/lib/native/
/
浏览 45提问于2020-05-11得票数 3
1回答
使用spark读取数据框后，我正在尝试创建拼图文件格式的配置单元表格- spark-sql .Table已在hive中以顺序文件格式创建，而不是拼图文件format.But在表格路径中，我可以看到拼图文件已创建。我无法从hive.This查询此文件是我使用的代码。 df.write.option("path","/user/hive/warehouse/test/normal").format("parquet").mode("Overwrite").saveAsTable("test.people") 我正在使
浏览 37提问于2019-08-29得票数 0
这里是Spark的新用户。我通过Spark找不到任何关于同一个dataFrame的JSON和拼图输出的文件大小比较的信息。
现在用一个非常小的数据集进行测试，执行一个df.toJSON().collect()，然后写入磁盘创建一个15kb的文件。但是执行df.write.parquet会创建105个文件，每个文件的大小约为1.1kb。为什么在这种情况下，使用parquet的总文件大小要比使用JSON大得多？
提前感谢
浏览 20提问于2018-08-14得票数 2
1回答
有没有办法计算出在snappy中压缩的拼图文件的未压缩文件大小是多少？我在HDFS目录中有很多拼图文件，我想知道如果数据是解压缩的，有没有办法计算文件大小。
浏览 2提问于2015-11-20得票数 3
1回答
我已经使用SparkSQL从拼图文件中加载了rdd
data_rdd = sqlContext.read.parquet(filename).rdd
我注意到，一旦有一些聚合函数触发spark作业，实际的文件读取操作就会执行。
我需要测量作业的计算时间，而不需要花费时间从文件中读取数据。(即与输入rdd(数据帧)相同)已经存在，因为它是从sparkSQL创建的)
有没有什么函数可以触发加载executors内存中的文件？
我尝试过.cache()，但它似乎仍在触发读取操作作为其工作的一部分。
浏览 13提问于2017-08-20得票数 1
回答已采纳
我有这三个文件file_1.csv，file_2.csv，file_3.json里面的tar.gz文件。我想在spark数据帧中读取file_1.csv
如下所示：
df = spark.read.csv("s3://my_bucket/key/my_file_.tar.gz/file_1.csv")
浏览 0提问于2019-06-07得票数 0
我正在运行Spark Notebook，将DataFrame保存为Bluemix对象存储中的拼图文件。
当重新运行Notebook时，我想覆盖拼图文件。但实际上，它只是添加数据。
下面是iPython代码的示例：
df = sqlContext.sql("SELECT * FROM table")
df.write.parquet("swift://my-container.spark/simdata.parquet", mode="overwrite")
浏览 0提问于2016-05-12得票数 0
当我对拼图文件进行计数时，我得到了下面的错误， java.lang.NoSuchMethodError: org.apache.parquet.schema.Types$MessageTypeBuilder.addFields([Lorg/apache/parquet/schema/Type;)Lorg/apache/parquet/schema/Types$GroupBuilder;
at org.apache.spark.sql.execution.datasources.parquet.CatalystReadSupport$.clipParquetSchema(Catalys
浏览 19提问于2021-08-06得票数 1
我已经追踪这个问题有一段时间了，我已经别无选择了。我正在加载一个拼图文件，其中的行如下：
RFS,FOI,1209591006000,64.0000,1209591007000,Y,1209591007000,04/30/2008 17:30:07,1209591007000,UPDATER
无济于事的是，spark抛出了一个错误，告诉我DecimalType的精度大于38 (这是极限)。下面是相关的堆栈跟踪：
19/07/09 20:24:02 WARN TaskSetManager: Lost task 0.0 in stage 4.0 (TID 203, ip-10-230-246-23
浏览 15提问于2019-07-10得票数 0
我使用spark-structured-streaming作为消费者从kafka获取数据，按照指南参考https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html 然后将数据保存到hdfs作为拼图文件。 这是我的问题:程序运行良好，但一些容器很少失败(但它确实发生了)，导致了一些损坏的拼接文件。它将导致错误，如不是拼图文件(长度太小: 4)或[.parquet不是拼图文件。期望的幻数在尾部80，65，82，49，但在读取它们时发现56，52，53，51]。我必须将它们移动到其他目录，并确保hi
浏览 20提问于2019-05-25得票数 0
1回答
我有单个交易的交易信息(例如，客户代码、产品、产品组、价格等)
我现在已经将其分区到每个year_month的拼图文件中
这在报告产品组等的聚合等时非常有效。
但是，如果我想跨月检索特定客户的信息，这并不是非常有效/快速。
我尝试按year_month & customer_code进行分区，但是有很多磁盘i/o，因为现在每个分区都是一个包含一行数据的客户代码。
有没有一种方法可以提高性能，比如在一个分区中容纳10000个客户？或者，如果拼图文件大小为64Mb或类似大小，则分区到下一组。
在Spark中的逻辑是，它在拼图文件中的每个属性都有最小最大值，我希望性能会有所提高，但我对spa
浏览 4提问于2015-10-20得票数 0
使用HDinsight运行spark和一个scala脚本。我正在使用intellij中的Azure插件提供的示例脚本。
它为我提供了以下代码：
val conf = new SparkConf().setAppName("MyApp")
val sc = new SparkContext(conf)
当然可以。我可以做这样的事情：
val rdd = sc.textFile("wasb:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")
我可以保存文件：
rdd1.saveAsTextFile(&#
浏览 12提问于2021-03-09得票数 0
5回答
我正在尝试将拼图文件作为数据帧读取，它将定期更新(路径为/folder_name。每当有新数据到来时，旧的地块文件路径(/folder_name)将被重命名为临时路径，然后我们合并新数据和旧数据并将其存储在旧路径(/folder_name)中。
发生的情况是，假设我们在更新之前有一个拼图文件作为hdfs://folder_name/part-xxxx-xxx.snappy.parquet，然后在更新之后将其更改为hdfs://folder_name/part-00000-yyyy-yyy.snappy.parquet
当我尝试在更新过程中读取拼图文件时，会出现问题
sparksession.r
浏览 1提问于2019-11-08得票数 4
2回答
如何解压拼图文件？
、、、、
我有一个大小约为60MB的test.parquet文件。使用下面的脚本，我发现拼图文件的列压缩是GZIP。 import pyarrow.parquet as pq
parquet_file = pq.ParquetFile("C://Users/path/test.parquet")
print(parquet_file.metadata.row_group(0).column(0)) 输出 <pyarrow._parquet.ColumnChunkMetaData object at 0x0000017E6AC9FBD8>
file_offset: 4
浏览 29提问于2021-07-02得票数 1
1回答
我有一个Spark应用程序，可以读取CSV和写入Parquet文件。
在某些情况下(分配的内存太少，丢失的执行器)，拼图任务可能会失败并重试；在这种情况下，我注意到有重复的记录，即一些CSV在重试时多次写入拼图文件。
避免这种重复的最新技术是什么？我已经在使用--conf spark.yarn.maxAppAttempts=1了，但它只适用于作业，不适用于任务。如果一个阶段失败，应用程序是否会失败，或者有没有回滚的方法？
浏览 1提问于2018-07-24得票数 3
2回答
当Spark将dateframe数据写入拼图文件时，Spark将创建一个包含多个独立拼图文件的目录。保存代码：
term_freq_df.write
.mode("overwrite")
.option("header", "true")
.parquet("dir/to/save/to")
我需要使用pandas从这个目录中读取数据：
term_freq_df = pd.read_parquet("dir/to/save/to")
错误：
浏览 30提问于2019-08-07得票数 1
回答已采纳
我正在尝试将DataFrame保存到路径中作为拼图文件。问题是: display()函数在"Prop_0“中显示了一堆结果，但每当我试图保存它们时，只有第一个结果被转换并转到路径。
我使用的代码是：
dbutils.fs.rm(Path_1, True)
avroFile = spark.read.format('com.databricks.spark.avro').load(Path_1)
avroFile.write.mode("overwrite").save(Path_2, format="parquet")
浏览 5提问于2020-03-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
