1回答
在文件1中，JSON元素"image“是嵌套的。正确地推断出了结果模式：df1.printSchema
|-- id:：
val df2 = spark.read.json("/xxx/xxx/xxx/nested2.<em
浏览 0提问于2017-10-29得票数 1
回答已采纳
我正在使用下面的查询读取JSON文件，但得到重复的列错误，即使没有重复的列。我可以使用其他工具和JSON验证器来读取它，也可以使用数据流，但不能在PySpark中读取。PySpark查询如下： spark.read.option("multiline", "true") .load(
"abfss://<Container>]@<
浏览 3提问于2021-11-25得票数 0
1回答
我在ADLS中有多个文件，我想将它们转换为单个csv，但不使用Pandas。是否有可能用火花放电来转换它们呢？这些文件来自有225 000条记录的API。我正在使用此脚本将其转换为csv。
浏览 4提问于2022-11-13得票数 1
我有一个嵌套的json文件，我将其读取为Spark DataFrame，并且希望在使用自己的转换时替换某些值。现在，让我们假设它看起来如下所示(遵循this) import org.apache.spark.sql.DataFrameimport org.apache.spark.sql.types._
// Convenience function for turning J
浏览 16提问于2020-08-12得票数 0
我想将我的嵌套json转换为csv，我使用但它可以使用普通的json，但不能使用嵌套的json。无论如何，我可以将我的嵌套json转换成csv?我将感谢帮助，谢谢！
浏览 0提问于2016-09-22得票数 0
我之所以觉得这不是的翻版：
之前，我不知道json模式是什么，因此需要推断它。spark.read.json似乎是推断模式的最佳案例，但我遇到的所有示例都从文件中加载了json。在我的用例中，json包含在dataframe的列中。
浏览 1提问于2019-01-10得票数 3
我是spark的新手，正在尝试探索Spark结构化流媒体。我将使用来自Kafka(嵌套的JSON)的消息，根据JSON属性上的特定条件过滤这些消息。我已经阅读了关于spark Cassandra连接器https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.htmlhost2:port2")
.option("
浏览 17提问于2019-04-12得票数 0
"c2": "foo", "update_ts": 1663920002000}
我的json
浏览 10提问于2022-09-23得票数 0
回答已采纳
2回答
at org.apache.spark.rdd.RDD.iterator(RDD.scala:277) at org.apache.spark.rdd.MapPartitionsRDD.computeat org.apache.spark.rdd.RDD.iterator(RDD.scala:
浏览 0提问于2018-06-21得票数 2
1回答
我所要做的就是阅读嵌套的jsons，并根据一定的条件对它们进行分组。例如:如果json包含像他的城市和邮政编码这样的人的详细信息。我想把属于同一个城市和邮政编码的人分组。我嵌套的JSON格式是 "entity": { "id": 31 "hierarchy": {
"state": "TN","city
浏览 4提问于2017-12-07得票数 0
回答已采纳
1回答
我需要从Server中的表生成以下JSON有效负载(缩写)。请注意属性名称中的点。这是一种名为OData的特殊语法。{ "new_cluster": { "spark.master":"local[0]",[new_cluster.spark_conf.spark.master]
FOR <em
浏览 11提问于2022-06-13得票数 3
1回答
我们嵌套了json消息，但无法解析相同的消息： {"Name"："Rohit"，"Salary"："29292"，"EmpID"：12，"Projects"：{"ProjectID"："9191"，"ProjectName
浏览 19提问于2021-04-06得票数 1
回答已采纳
我从第三方获得了大量的JSON文件。它们都有相同的模式，除非嵌套元素为空，否则它被表示为空数组。{ }因此，这是一个有效的JSON，"survey_data“元素是一个struct_type，但是具有非常复杂的嵌套结构(子元素比这个简化的示例中要多){
....当我希望将这些JSON文件以单个数据格式加载到spark中时，<em
浏览 0提问于2018-10-31得票数 3
我想知道是否有可能使用Spark创建自定义的JSON
或Apache提供的任何其他功能。我知道我可以使用join()方法连接两个Dataset的JSON，但是我希望创建自定义JSON，其中Dataset 2即警告，在我的示例中，它将作为一个具有“警报”键的JSON对象添加到Dataset.json("C:\\Users\\phyadavi\\LearningAndDevelopment\\\\CDXJSONMergeJob\\data1\\inventory.json<
浏览 0提问于2018-03-30得票数 0
回答已采纳
Status1287, 2, notfinal#Create SparkSession
spark = SparkSession.builder.master("yarn").appName().enableHiveSupport().config("spark.some.config.option", "some-value"
浏览 0提问于2020-09-22得票数 0
我正在将spark数据帧保存到hive表中。spark dataframe是一个嵌套的json数据结构。我可以将数据帧另存为文件，但它在上面创建了一个配置单元表时失败了，上面写着org.apache.spark.SparkException: Cannot recognize hive type string我不能先创建一个hive表模式，然后再将其插入其中，因为数据框由数百个嵌套列组成。
浏览 1提问于2018-08-11得票数 2
我在BigQuery中有一个表，我正在使用spark阅读它。但是，当我尝试访问列嵌套的JSON值时，我无法使用from_json。PersonalEmailAddress":"email@gmail.com","LastName":"Doe","AccountName":"AccountName","AccountNumber":12345}}
然后创建嵌套的结构类型，我使用w
浏览 3提问于2022-10-12得票数 1
回答已采纳
我在下面嵌套了列不明确的JSON。Delivery": { "address": "Chennai", }] val sparkSparkSession.builder.master("local")
.appName("dealWithAmbigousC
浏览 16提问于2020-09-27得票数 0
回答已采纳
2回答
我正在尝试访问存储在表(拼图)中的json文件的嵌套属性。我可以通过select * from test来访问表中的所有记录；import org.apache.spark.SparkContext._
import org.apache.spark.s
浏览 0提问于2016-04-24得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
