我使用Spark/Scala来发出API请求，并将响应解析为dataframe。下面是用于测试目的的示例JSON响应：
但是，我尝试使用下面的来转换为JSON，但是嵌套的字段没有被处理。是否有任何方法将JSON字符串转换为带有列的dataframe？
浏览 16提问于2022-08-22得票数 0
当配置单元表有像映射或数组这样的值时，如果你在配置单元客户端选择它，它们会显示为JSON，例如：{"a":1,"b":1}或[1,2,2]。在Spark中选择这些对象时，它们是DataFrame中的贴图/数组对象。当我使用Spark的HiveContext时，我想使用与Hive客户端相同的格式。
我该怎么做呢？
浏览 1提问于2018-07-20得票数 0
我想在scala spark中从CSV/DataFrame创建一个嵌套的XML。我使用Databricks spark-XML库将DataFrame转换为XML格式。我尝试创建如下所示的输出，但无法实现<row></row>
<
浏览 15提问于2018-02-23得票数 0
回答已采纳
4回答
我遵循星火流指南，并能够使用sqlContext.read.json(rdd)获取json数据的sql上下文。问题是，json字段之一是我希望解析的JSON字符串本身。是否有一种方法可以在spark中完成这一任务，或者使用ObjectMapper解析字符串并将其连接到其他数据中会更容易吗？为了澄清，JSON的一个值是一个字符串，其中包含带有转义内部引号的JSON数
浏览 12提问于2016-01-04得票数 4
回答已采纳
sc <- spark_connect(master = "local", config = conf, version = '2.2.0')sdf_schema_viewer(sample_tbl
浏览 0提问于2018-09-10得票数 1
我有一个嵌套的JSON，其中我需要转换为扁平化的DataFrame，而不需要在其中定义或分解任何列名。val df = sqlCtx.read.option("multiLine",true).json("test.json") 我的数据看起来是这样的： [ "symbol": “TEST3
浏览 30提问于2019-05-08得票数 0
我正在尝试将JSON字符串jsonStr转换为Scala中的。为此目的使用InteliJ。spark.sparkContextvar df = spark.read.json(Seq(jsonStr).toDS)在使用错误：(243，29)重载方法值json：( org.apache.spark</e
浏览 3提问于2020-05-22得票数 0
回答已采纳
下面的语句满足了我的需要，但它只能在spark-shell中运行，而不能在scala程序中运行。spark.read.json(dataframe.select("col_name").as[String]).schema输出。
我有一个解决方案，
浏览 14提问于2020-03-12得票数 0
如何从包含XML代码的字符串构建Spark dataframe？"xml") .load(xml_file_name))
但是，如前所述，我必须从包含常规XML的字符串构建数据帧
浏览 1提问于2020-04-21得票数 0
我试图在Dataframe中转换json文件，但我被困在基于数组的字段中。我使用的是Spark 1.6和Java。当我读取嵌套的Json并转换为Dataframe时，我可以读取一些字段，但当我尝试输入特定路径时，会显示错误。DataFrame df = spark.read().json(sc.wholeTextFiles("PATH&
浏览 29提问于2019-09-11得票数 0
1回答
摧毁星火DataFrame
、、、、
我使用的是火花和Scala。Spark版本的1.5和我正试图将具有名称值组合的输入数据name转换为一个新的数据name，其中所有的名称都被转换为列，并将值转换为行。I/P DataFrame：1 Country US 2 State NY
3 Country UK4
浏览 10提问于2016-03-02得票数 5
我正在尝试将下面的dataframe: chunkMeta转换为scala中的映射： tablename Codetable2 567
table3如果我打印上面的地图，我可以看到数据： scala> dataMap.foreach(println) => (table1,432)(table2,567)(table3,987) 但是当我把同样的scalaVersion := "2.11.8"
浏览 42提问于2019-03-12得票数 1
回答已采纳
我有一个包含两列的dataframe，一个pk和一个xml字符串。我需要将xml字符串转换为此数据框中的列。需要将其转换为-05-01|8|
&#
浏览 0提问于2019-07-24得票数 1
1回答
我们嵌套了json消息，但无法解析相同的消息： {"Name"："Rohit"，"Salary"："29292"，"EmpID"：12，"Projects"：{"ProjectID"："9191"，"ProjectName"："abc"，"Duration"："79"}，{"ProjectID&
浏览 19提问于2021-04-06得票数 1
回答已采纳
我希望将这个api的结果转换为一个dataframe在上面的代码中，我不能只调用结果。是否有任何方法将结果转换为dataframe？
浏览 4提问于2017-11-01得票数 0
有没有一种简单的方法可以将给定的Row对象转换为json？ 找到了关于将整个数据帧转换为json输出的内容：Spark Row to JSON 但我只想把one Row转换成json。下面是我想要做的伪代码。 更准确地说，我将json读取为Dataframe中的输入。我正在生成一个新的输出，它
浏览 150提问于2017-01-12得票数 10
回答已采纳
我使用spark/scala本地将json文件转换为dataframe。
我当前的dataframe有一个列‘男性’和‘女性’值，如下所示。我想将dataframe中的‘男性’更改为'M'，以及使用Spark-sql<code>E 215</code>将‘where’更改为'
浏览 5提问于2021-07-19得票数 1
Dataframe是使用scala创建的。val someDF = spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )PySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。
浏览 1提问于2020-04-05得票数 0
回答已采纳
我正在尝试使用Spark将普通文本文件加载到配置单元表格中。我使用的是Spark版本2.0.2。我已经在Spark version: 1.6.0中成功地做到了这一点，我正在尝试在version 2x中做同样的事情，我执行了以下步骤：val partfile =
浏览 62提问于2017-07-03得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
