文章/答案/技术大牛

发布

社区首页 >问答首页 >使用Spark 2.4识别空JSON文件

问使用Spark 2.4识别空JSON文件
EN

Stack Overflow用户

提问于 2019-11-05 19:57:46

回答 1查看 234关注 0票数 0

我希望避免处理空的JSON文件。我得到的一些空JSON文件只包含左方括号和右方括号，比如：[]。仅包含该文件的文件应理解为空文件。

使用Spark 2.2，下面的行将返回true：

spark.read.json(pathToFile).isEmpty

但在Spark 2.4中，它返回false。

当使用Spark 2.4时，我如何识别这种类型的文件为空？

scala

apache-spark

apache-spark-sql

json

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-11-05 22:39:48

查看列

val stuff = spark.read.json("hdfs:///user/me/empty.json")

scala> stuff.columns
res6: Array[String] = Array()

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/58710893

复制

相似问题

问使用Spark 2.4识别空JSON文件
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Spark 2.4识别空JSON文件EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Spark 2.4识别空JSON文件
EN