col3|col4||null|null|1 |a |我尝试将此数据帧作为JSON文件写入HDFS，但Spark这可以理解为spark.write.option("ignoreNullFields", "false").json(...)或
spark.write.option("ignoreNullFields", false).
浏览 50提问于2020-02-27得票数 3
我有一份3.25天的工作，它在将数据文件写入DBFS时失败了。更新:我有第二份长期工作(也是3+天)以同样的方式失败。我可以使用这个集群来处理没有问题的较小的作业，看起来只会影响长作业。=ignoreNullFields) at org.apache.spark.sql.DataFrameWriter.runCommand(DataFrameWriter.scala:959)
at org.apache.
浏览 5提问于2022-04-27得票数 0
4回答
我正在尝试使用spark编写一个JSON文件。有一些键的值是null。这些键在DataSet中显示得很好，但是当我写文件时，键就掉了。我如何确保它们被保留？
浏览 5提问于2017-05-31得票数 10
1回答
从Spark-Shell运行时，相同的写入块工作正常。在使用sqlContext写入拼图文件时，我需要添加任何额外的依赖项吗？)
at org.apache.spark.sql.DataFrameWriter$$anonfun$runCommand$1.apply(DataFrameWriter.scala:676)org.apache.spark.sql.DataFrameWriter.runCommand(DataFrameWriter.s
浏览 101提问于2020-12-11得票数 0
2回答
将拼图文件写入s3时出现奇怪错误
、、、、
有时工作做得很好，有时会失败。:80) at org.apache.spark.sql.DataFrameWriter.saveToV1Source(DataFrameWriter.scala:276)
浏览 10提问于2019-10-23得票数 3
我正在使用Google Cloud Dataproc做spark工作，我的编辑器是Zepplin。我正在尝试将json数据写入gcp存储桶。当我尝试10MB文件时，它成功了。5个具有相同配置的工作进程。我猜它应该能够处理10 it的数据。(DataFrameWriter.scala:656) at o
浏览 4提问于2019-04-08得票数 11
回答已采纳
org.apache.spark.sql.DataFrameWriter$$anonfun$runCommand$1.apply(DataFrameWriter.scala:664) at org.apache.spark.sql.DataFrameWriter$.withNewExecutionId(SQLExecution.scala:77) at org.apache.spark.sql.DataFrameWriter.runCommand(DataFra
浏览 16提问于2021-04-13得票数 0
1回答
Apache文档说"Hudi与Spark-2.x版本一起工作“环境详细信息如下：我使用下面的星火:80)
at org.apache.spark.sql.DataFrameWriter$$anonfun$runCommand$1.apply(DataFrameWriter.scala:654)at org.apache.spark.sql.Data
浏览 0提问于2020-12-27得票数 0
回答已采纳
:80) at org.apache.spark.sql.DataFrameWriter(SQLExecution.scala:73) at org.apach
浏览 107提问于2020-02-19得票数 0
回答已采纳
我想通过spark作业导出一个DSE图形，按照SparkSession spark = SparkSession .appName") DseGraphFrame dseGraphF
浏览 4提问于2019-08-19得票数 1
我正在努力微调性能，这是一个火花作业，它将处理过的数据集(在集群上)的结果写入HDFS和关系数据库。我分别使用dataset.write()、.jdbc()和dataset.write().csv()方法。我想知道这些方法是否会导致将所有行收集到驱动节点，从而影响作业的性能？
浏览 0提问于2017-12-06得票数 1
回答已采纳
在我正在使用的集群中，我们使用的是Spark 2.3.0，没有立即升级的计划。想要检查是否有任何方法可以让Hudi 0.7.0与Spark 2.3.0一起工作？at org.apache.spark.sql.execution.QueryExecution.toRdd(QueryExecution.scala:80)
at org.apache.spark.sql.DataFrameWriter$$anonfun$runCommand$1.apply(DataFram
浏览 54提问于2021-02-22得票数 0
:81) at org.apache.spark.sql.DataFrameWriter$$anonfun$runCommand$1.apply(DataFrameWriter.scala:676)org.apache.spark.sql.DataFrameW
浏览 1提问于2020-04-29得票数 0
" %% "spark-core" % "1.6.1"libraryDependencies$.apply(ResolvedDataSource.scala:219)
at org.apache.spark.sql.DataFrameWriter.save
浏览 2提问于2016-06-03得票数 1
回答已采纳
当我不使用bucketBy()时，saveAsTable()方法可以正常工作。当我使用它的时候，我会得到UnknownHostException at org.apache.spark.sql.DataFrameWriter$$anonfun$runCommand$1.apply(DataFrameWriter.scala:676)at org.apache.spark.sql.DataFrameWriter$$anonfun$runComman
浏览 0提问于2019-08-28得票数 0
我正在寻找一种使spark_write_csv只将一个文件上传到S3的方法，因为我希望将回归结果保存在S3上。我想知道options是否有定义分区数量的参数。我在文件里找不到它。
浏览 3提问于2017-05-19得票数 4
我遇到的问题是:虽然它工作正常，但仍然抛出异常下面。$$anonfun$runCommand$1.apply(DataFrameWriter.scala:668) at org.apache.spark.sql.DataFrameWriter.runCommand(DataFrameWriter.scala:668)
浏览 1提问于2019-01-30得票数 5
1回答
数据库作业失败
、、
我在中有一个工作，当它在azure datalake中保存数据时，会给我一个超时错误。该作业从path1读取新数据。:157) at org.apache.spark.sql.DataFrameWriter</em
浏览 3提问于2022-09-06得票数 0
它对中型数据源(约20G数据)、G1x DPU、执行时间40分钟的20名工作人员没有问题。org.apache.spark.sql.DataFrameWriter.runCommand(DataFrameWriter.scala:676) at org.apache.spark</em
浏览 4提问于2021-08-07得票数 1
1回答
:80) at org.apache.spark.sql.DataFrameWriter$$anonfun$runCommand$1.apply(DataFrameWriter.scala:654)org.apache.spark.sql.DataFrameW
浏览 0提问于2019-06-12得票数 0
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
