2回答
从pyspark.sql查询中获取有效json文档的最佳方式是什么？但我找不到一种好的方法将其转换为json文档。我对它调用了'collect()‘，但它没有返回有效的json，而且似乎不是将dataframe转换为json的最有效的方法。
浏览 19提问于2019-08-23得票数 0
回答已采纳
1回答
我想爆炸一个嵌套的json到CSV文件。希望将嵌套的json解析为行和列。from pyspark.sql import SparkSessionfrom pyspark.sql.types import*from pyspark.sql import Row
df=spark.read.option("mul
浏览 7提问于2021-11-18得票数 0
回答已采纳
我有一个python spark文件：from pyspark.sql import SparkSessionimport pyspark.sql.functions as psf .builder").map(lambda l: json.loads(l))
ratings.re
浏览 0提问于2017-10-17得票数 0
我对pyspark和json解析还是个新手，我被困在了某些特定的场景中。让我先解释一下我要做什么，我有一个json文件，其中有一个数据元素，这个数据元素是一个包含另外两个json对象的数组。, "postal_code":null ]
现在我要做的是一个接一个地迭代那个数据数组:意思是迭代到json的第一个对象，将其存储到一个da
浏览 142提问于2019-06-05得票数 0
回答已采纳
1回答
我想通过火花流从文件夹位置读取json数据。我假设我的json数据是我希望Spark表中的输出为：--
transactionId
浏览 4提问于2017-07-22得票数 2
1回答
我有一个编写的pyspark代码，它读取三个JSON文件并将JSON文件转换为DataFrames，而DataFrames被转换为执行SQL查询的表。import pyspark.sql from pyspark.sql import SQLContextfrom pyspark.sql import * im
浏览 6提问于2017-11-15得票数 0
回答已采纳
我正在生成一系列嵌套在json中的数据，并希望将这些文件自动附加到databricks中的一个表中。我没有她的图式。这些数据将存储到azure存储中。# !/usr/bin/pythonfrom pyspark.sql.functionsCREATE TEMPORARY TABLE vsts OPTIONS (p
浏览 22提问于2020-02-18得票数 1
我正在尝试读取嵌套的JSON文件。我无法分解嵌套列并正确读取JSON文件。My Json file
"Univerity": "JNTU", "DepartmentID": "101", }
浏览 174提问于2021-07-09得票数 0
我有一个数据帧 import os, sysimport pyodbc from pyspark.sql.functions import explode, col, from_json, litfrom pyspark.sql import Sp
浏览 28提问于2020-10-06得票数 0
回答已采纳
我想用Python (PySpark)实现从Kafka源代码到MariaDB (PySpark)的Spark结构化流(Spark2.4.x)。from pyspark.sql import SparkSessionfrom pyspark.sql.typesimport StructField, StructType, StringType, DoubleType, TimestampType
from pyspa
浏览 3提问于2019-11-08得票数 7
回答已采纳
我正在使用pyspark读取下面的json文件： "data": { "indicatr": {我写了下面的python代码：from pyspark.sql.types import *
frompyspark.sql.type
浏览 22提问于2019-11-28得票数 0
2回答
希望在不使用Python模式的情况下，从json字符串中创建。json是多层嵌套的，可以包含数组。我曾在下面使用过创建数据格式，但获得“无法推断架构”我尝试使用下面的文件加载相同的json。spark.read.option("multiline", "true").json("/path")有类似的方法从json变量加载数据
浏览 6提问于2022-03-29得票数 0
from pyspark.streaming import StreamingContextfrom pyspark.sqlimport SparkSessionfrom pyspark.sql import Rowglobal gspark nf
浏览 3提问于2017-07-30得票数 0
1回答
JSON中的无效字符
、、、、
我有一个字符串格式的结构类型数组的JSON。当我试图在一个json文件中写同样的东西时，我得到了下面的错误。我使用此输出文件进行模式验证，但由于特殊字符而导致失败。from pyspark.sql import Rowfrom pyspark.sql.types import *
importactivity":"test","activityValue":"1"},{"a
浏览 14提问于2019-08-03得票数 0
我正在尝试读取一个包含多个JSON的文本文件，格式类似于以下格式-
{"availableDocks": 32, "totalDocks": 39, "city": "", "altitude": ""latitude": 40.71911552, "statusKey": 1, "availableBikes": 30, "id": 79, "location": &
浏览 3提问于2017-04-25得票数 0
我有这个PySpark脚本： from pyspark.sql import HiveContextfrom pyspark import这是我的LogFunction.py： import loggingfrom pyspark.sqlimport HiveContextfrom
浏览 8提问于2019-04-30得票数 2
在内部，这个字符串是json/tuple。我希望每个json都以json格式存储为字符串。就像下面。{“开斋节”：“1”，“理由”：“null”}，{“开胃”：‘2’，“理由”：“高兴”}
浏览 6提问于2022-06-13得票数 0
1回答
这个JSON必须每天运行，因此如果它再次找到相同的一对(类型，kwarg)，它应该给出相同的args_id值。到目前为止，我已经写了这段代码-from pyspark.sql import functions as FcheckResultsDF.printSchema()
现在，在我的代码中，我总是以递增的顺序获得args_id，这对于第一次运
浏览 4提问于2021-03-30得票数 0
如何使用PySpark读取下面的JSON结构来触发数据帧？我的JSON结构我已经尝试过了：我希望输出a，b，c作为列，值作为
浏览 5提问于2018-03-21得票数 4
回答已采纳
模块中类中的一个方法如下(简化) self.df = spark.read.format("json").load(f"{self.base_savepath}/{self.resource}/{self.resource}*.json")
当我在databricks笔记本中执行这个特定的方法时，它会给我一个没有定义“星星之火”的NameError。
浏览 3提问于2022-07-21得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号