将大型json文件流式传输到csv

文章/答案/技术大牛

发布

2回答

json、stream、jq

我有一个很大的JSON文件，其中包含如下对象的列表： { "_type":"address", "_id":"jf808cdawi46z",Bùi Quốc Khánh, Chánh Nghĩa, Bình Dương, Việt Nam",10.959882,106.66307 我使用的是以下代码： cat pelias_minify.jsonkeys)

浏览 55提问于2021-09-13得票数 0

回答已采纳

1回答

从sql server通过WCF传输到客户端的大数据

sql-server、wcf、streaming、large-files

使用SQL数据库存储大型数据文件( CSV文件约1 GB)，并使用WCF将数据从数据库流式传输到客户端(而无需在内存中获取完整数据)，有哪些可能的方法？

浏览 1提问于2016-02-01得票数 1

2回答

用于csv文件/数据帧的Postgresql批插入(在GCP上)

sql、pandas、postgresql、google-cloud-platform、batch-processing

我有一个包含两列[key, chunk]的csv文件，需要将其插入到SQL db表中。(放大信息-托管在GCP上的Postgresql数据库，我可以很好地选择和执行其他数据库操作。)我的csv文件有1000多万行。因此，我很好奇，针对Postgresql语法，我可以使用的最佳批处理插入选项是什么？将csv文件作为pandas数据帧打开会有帮助吗？由于文件的大小，我希望避免迭代行插入。

浏览 2提问于2021-05-28得票数 0

1回答

如何使用PySpark向MySQL数据库流式传输数据？

python、mysql、flask、pyspark、spark-streaming

我目前正在开发一个单页面web应用程序，它允许用户将大型CSV文件(目前正在测试一个~7 7GB的文件)上传到flask服务器，然后将该数据集流式传输到数据库。上传大约需要一分钟，文件将完全保存到flask服务器上的临时文件中。现在，我需要能够流式传输此文件并将其存储到数据库中。Spark 说数据必须通过Kafka、Flume、TCP socets等源获取，所以我想知道是否必须使用

浏览 1提问于2018-11-13得票数 1

1回答

如何将Csv文件流式传输到BigQuery？

python、streaming、google-bigquery

到目前为止，我发现的示例是将json流式传输到BQ，例如 insert_all_data = { 'json

浏览 2提问于2016-08-23得票数 3

1回答

如何在django中流式传输动态生成的大响应(~200mb)？

django、csv、django-rest-framework、large-data

我必须从一个大型数据集生成csv响应。csv数据是使用djangorestframework-csv动态生成和呈现的。将文件作为附件发送也无济于事我需要以某种方式将此响应流式传输到</

浏览 1提问于2018-01-27得票数 0

1回答

koa-write做什么？

javascript、node.js、stream、koa、koa2

我的项目使用Koa框架，我正在寻找一种方法来取代Express的res.write，以将大型数据集流式传输到csv中。 ctx.response.set('Content-Type', 'text/csv'); ctx.respons

浏览 42提问于2020-05-06得票数 0

2回答

如何在Mule 4中将大型CSV文件写入SFTP

mule、mule-studio、mulesoft、mule4

我正在尝试将一个大的CSV文件写入SFTP。用于每个拆分记录并使用SFTP连接器写入。但是文件不能到达SFTP。我在这里做错了什么？matcher="filename-regex-filter" doc:id="bbfb12df-96a4-443f-a137-ef90c74e7de1" outputMimeType="application/csv

浏览 18提问于2021-08-26得票数 0

1回答

使用airflow将文件流式传输到kafka

python、apache-airflow

使用airflow将CSV文件流式传输到kafka主题的最佳方法是什么？为airflow编写自定义运算符？

浏览 9提问于2017-10-17得票数 11

1回答

如何在xls中下载play 1.2.7后台生成的html表的内容

html、excel、playframework、download、playframework-1.x

我已经使用play的#{list}标签生成了一个表，并获得了相当不错的结果。现在，我需要能够生成和下载表的xls版本，而不知道该做什么。任何的指针都将非常感谢。

浏览 1提问于2013-11-05得票数 2

1回答

在python中为各个键:值对将.csv格式化为json

python、json、csv

我尝试使用json.dump()将单个键:值对从csv文档格式化为JSON。虽然它似乎在很大程度上运行良好，但它将整数转换为字符串(或者可能我需要将字符串转换为整数，这取决于它的查看方式)，这是我不想要的，而且我还需要一个键:值对才能成为JSON数组。目前我的代码基本上是这样的：import json json

浏览 30提问于2014-06-03得票数 1

回答已采纳

1回答

在Kafka-Python中流式传输CSV数据

apache-kafka、kafka-producer-api、kafka-python

我使用Kafka-Python将CSV数据发送到Kafka topic。消费者收发数据成功。现在我正在尝试连续流式传输csv文件，任何添加到该文件的新条目都会自动发送到Kafka主题。任何建议都会对CSV文件的连续流式传输有所帮助下面是我的现有代码， from kafka import KafkaProducer from jsonimport dumps, load

浏览 138提问于2020-06-17得票数 0

3回答

将Postgres \i输入的输出放到文件中？

sql、postgresql

：如果我使用\i将一个输入文件提供给psql，我是否可以获得查询的输出以保存到一个文件中？如果是这样的话，是怎么做的？谢谢！！

浏览 2提问于2010-10-15得票数 6

回答已采纳

2回答

如何逐个构建zip/tar归档文件并将其流式传输到客户端？

python、zip、wsgi、zipfile

我知道，在将zip/tar归档文件发送到浏览器时，可以“动态”地构建它们；可以发送头部，然后压缩每个文件，并将这些部分流式传输到浏览器，这有助于在服务器内存有限的情况下构建大型归档文件。

浏览 1提问于2012-09-11得票数 1

2回答

在Android文件中读写大JSONObject

android、json

我正在尝试在文件中写入/读取json对象。json结构很复杂，并且是动态生成的。如何将JSONObject直接流式传输到文件，以及如何从文件直接流式传回JSONObject？

浏览 2提问于2016-06-22得票数 0

1回答

烧瓶发送大型csv到angularJS前端下载

python、angularjs、flask

我有一个Flask应用程序对数据库执行API查询，它返回一个典型的大型JSON文件(约20-50MB)。我的意图是将此JSON响应转换为csv数据，并将其返回到前端，这将提示用户下载该文件。我已经处理过的转换部分，但是将这个CSV文件传输到客户端供下载的最佳方法是什么？我应该流它以避免浏览器上的内存超载吗？如有任何建议，将不胜感激。

浏览 1提问于2014-06-16得票数 0

回答已采纳

1回答

如何用MongoDB Java驱动程序将Bson序列写入文件

java、mongodb、bson

使用bson Java驱动程序库，有一种方法可以将bson对象的写入流式传输到文件，然后再从该文件中流式读取bson对象。查看文档时，我没有看到任何关于如何将bson对象序列编码到文件中的内容，类似于在文件中具有json对象序列。

浏览 0提问于2018-01-30得票数 9

1回答

将数据流式传输到文本文件

console、streaming、windows-xp

我可以在Windows控制台中流式传输可视数据，也可以使用以下命令将数据流式传输到文本文件中只要数据是流式传输的，这个文本文件的大小就会继续增长。是否可以结束流式传输到初始文本文件，并开始流式传输到第二个文本文件？也许在10分钟后？

浏览 2提问于2011-02-10得票数 0

1回答

使用JavaScript将大量数据转储到csv文件

javascript、jquery、csv

使用JavaScript时，我需要将数据放入csv文件中。我的代码： quotes: false,}); a.href = 'data:attachment/csv,' + escape(csv); a

浏览 0提问于2015-01-05得票数 0

2回答

Python Django打开巨大文件

python、json、django、memory

我想用python构建一个json服务。程序将读取一个json文件，然后返回。我的文件大小为1 GB。当我运行这个程序时，我发现错误是"MemoryError“。我的代码是； file = open("file.json") return JsonResponse(json_file) 有人能

浏览 0提问于2018-01-12得票数 0

点击加载更多