我正在尝试创建一个spark作业，它可以读取1000个json文件并执行一些操作，然后再次写入文件(s3)。 这需要很长时间，而且我一直在耗尽内存。但是，模式因文件而异，这取决于许多不重要的因素。在所有文件中大约有100个'core‘列，这些是我唯一想要的。 是否可以使用pyspark编写一个只将我想要的特定字段读取到spark中的部分模式？
浏览 35提问于2020-08-21得票数 0
使用Python时，我需要通过读取JSON文件来提取所有API (只是API端点名称)端点。下面是示例JSON代码， { "info": { "description": "some thing overhere sample content\n",
浏览 31提问于2019-07-04得票数 0
回答已采纳
1回答
我正在尝试从python中的一个特定的json对象中获取值。我有一个csv文件，我使用json.dumps将其转换为JSON，输出如下所示：{}{
"name": "Alice","
浏览 0提问于2018-10-24得票数 0
我需要在多个json文件中提取key ' text‘的值，并将该值以UTF-8格式写入单独的文本文件。有2,900个json文件，我已经将json，os，glob导入到我运行Python3.764位W10的环境中，将当前工作目录设置为json文件所在的文件夹 这成功地将密钥' text‘值从一个json文件'j_ne
浏览 24提问于2019-10-04得票数 0
回答已采纳
我试图从通过API调用生成的json文件中提取任何给定JSON对象中的多个JSON键值数据，只用于在密钥值对中包含特定值的JSON对象；密钥值对中的这个特定值是通过迭代列表获得的。很难表达，所以让我告诉你：mylist = [
浏览 1提问于2019-08-14得票数 0
回答已采纳
我只知道我的输入是json。我需要从其中提取一个src和目标路径。 des = json_dict[0]一开始我使用json.loads，有人能帮上忙吗？<em
浏览 1提问于2022-10-19得票数 -1
回答已采纳
1回答
我有一个python后端，我从前端向其发送一个xml或h5文件。这些xml\h5是关于病人的大量数据列表。我需要提取特定的数据点(对象的子字段)，以满足这个管道中的下一件事情，但不知道如何操作python中的“请求”文件，以便它与熟悉的json对象非常接近。我尝试过xmltodict库将xml转换为json。比方说，这或多或少是POSTed文件的
浏览 1提问于2019-05-10得票数 0
回答已采纳
我希望从网页中提取多个独立的JSON对象和相关密钥。所谓“独立嵌套”，我的意思是每个JSON对象都嵌套在一个script type = "application/ld+json元素中。我目前正在使用、和来尝试完成这一任务，但我无法让它开始工作。我读过类似的文章(例如、和)，但没有一个能解决这个问题。具体来说，如何同时提取多个独立嵌套的JSON对象</em
浏览 1提问于2020-01-31得票数 1
回答已采纳
1回答
我有一个名为data.json的文件，并使用mongoexport解压缩，其结构如下：{"id":"81{"id":"682","course":"1242","name":"Guia d
浏览 4提问于2016-02-03得票数 0
回答已采纳
，我得到了这个错误，我不知道问题是什么： File "C:/Python34/Scripts/ddg.py", line 8,in <module> File "C:\Python34\lib\json\__init__.py", line 312, in loads__name__))
TypeError: the
浏览 1提问于2016-02-09得票数 5
回答已采纳
我有一个包含数千个文档的大型json文件： { "fields": [ ... ] {"_id": "document2", },]
我想分割这个json文件，以便每个json文件包含一个
浏览 4提问于2017-10-02得票数 2
我做了一些检查，但不太理解如何从json：字符串中提取特定值JSONObject objectArray = new JSONObject(profile);
并且它没有抛出任何错误
浏览 0提问于2017-02-25得票数 0
我试图使用Python (2.7)从JSON文件中提取特定的ID。以下是我的JSON数据的样子："user_id": "78900","comment": "hello""user_id": "67732","user_ids
浏览 3提问于2017-04-15得票数 0
回答已采纳
1回答
我希望从json对象中提取特定的值。请看下面的json身体。fields": { "Endtermin": 11021990 }我只想在表表单中从列表中打印申请= 1，2
我试过用python，但是出错了。'TypeE
浏览 5提问于2021-03-16得票数 1
回答已采纳
目前使用VSCode和朱庇特笔记本，我使用一个get请求到一个HTTP，我能够获得数据并打印在控制台，我如何提取我想要的对象并打印它们？import requestsrequests.urllib3.disable_warnings()
response_API##
pretty_response = json.dumps(response_API.json(
浏览 3提问于2022-07-27得票数 1
回答已采纳
我有一个带有.txt json对象的70+k文件，它是通过从70+k中提取数据并通过以下方法将数据转储到文件中获得的： f.write("\n") import json</e
浏览 0提问于2017-07-19得票数 1
回答已采纳
我还在学习python，我正在编写一个经典的密码管理应用程序。它使用外部JSON文件存储数据："info": [ "website_url": "1", "password{ "username&
浏览 1提问于2022-10-23得票数 0
我想从一个巨大的文本文件中提取一个叫做“视觉损伤”的关键字。我知道这可能是一个非常小的问题，但我仍然是Python的新手，所以请帮助我:)
文本文件示例：{‘感官与沟通’：{‘视障’：‘否’，‘听力障碍’：'YesMild'，‘沟通’：'YesVerbal'}
浏览 2提问于2018-10-18得票数 0
我已经下载了我的twitter数据存档，并提供了一个.js文件。我的理解是这是一个JavaScript文件，而不是JSON文件(对吗？)。如何将其转换为JSON文件(这样我就可以将其转换为Pandas df)？或者我如何将其导入Python并将其转换为Pandas df？我可以找到描述如何导入JSON数据并将其转换为Pandas df的帖子，但没有找到任何关于导入.js文件的内容。
浏览 0提问于2020-06-28得票数 0
我已经从Cassandra导出了JSON消息，我希望将其作为结构化文档加载到弹性文档中： "correlationId": "fb8f855a0eac8985d430896d",
"leg"com.vordel.circuit.net.ReflectFilter\", \"status\": \"Pass\", \"filterTime\": 1518702587006, \"execTim
浏览 1提问于2018-02-15得票数 3
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号