因此，我正在尝试编写一个airflow Dag，以便1)从本地桌面读取几个不同的PostgresQL，2)创建不同的CSV表，3)将文件加载到各自的表中。当我运行DAG时，第二步似乎失败了。逻辑运算符代码： AIRFLOW_HOME = os.getenv('AIRFLOW_HOME')
listings = pd.read_csv= pd.read_csv</e
浏览 21提问于2021-05-11得票数 0
我检查了一些链接如何将数据从excel文件加载到PostgreSQL表中。解决办法如下：
将excel保存到.CSV文件并使用.CSV命令。使用脚本读取并插入数据到Postgresql.。由于excel文件的格式，我无法将它保存为CSV文件。我们是否有内置的函数PostgreSQL来读取excel文件中的数据？
浏览 8提问于2019-12-24得票数 0
1回答
我一直在测试Azure上的地板文件，而不是将数据加载到PostgreSQL表中，因为我对熊猫做了很多提取/转换步骤，并且可能很快就会发现火花。最终，我将存储原始文件(csv、json和xlsx)。我用熊猫或pyarrow阅读了这些文件，添加了一些元数据列，然后保存了一个经过改进/转换的拼花文件(星火风味，快速压缩)。然后，我用pyarrow (可能最终是Spark )读取这些转换后的文件，并执行一些聚合或其他的可视
浏览 1提问于2019-09-15得票数 3
如何加载大量的csv.gz文件到Postgresql而不解压到csv文件，因为我尝试管道命令(mkfifo )，但它对我不起作用。有没有其他的解决方案来解决这个问题？我尝试使用以下命令将其从本地加载到postgresql : zcat file.csv.gz | psql -U用户名-d数据库；需要:我想加载一个大尺寸的csv.gz (大约15+GB)文件从centos到p
浏览 5提问于2018-09-04得票数 4
4回答
我是新的气流，并试图设置气流运行ETL管道。我能安装
sql_alchemy_conn = postgresql</e
浏览 13提问于2017-04-20得票数 10
1回答
当我试图将csv文件加载到postgresql中时。我使用以下命令。,);
DELIMITER ',' CSV HEADER;
然后我得到以下错误。错误:无法打开用于读取的</em
浏览 1提问于2016-02-08得票数 0
3回答
我在CloudSQL中有一个大表，需要每小时更新一次，我正在考虑将气流作为一种潜在的解决方案。从气流中更新CloudSQL数据库中大量数据的最佳方法是什么？我的一些想法是：
在内存中加载数据，将其分解为块，并运行一个多线程进程
浏览 0提问于2019-07-31得票数 0
1回答
源:位于共享驱动器中的CSV文件(在Prem服务器上)。使用安全组控制对此共享驱动器和文件夹的访问。
将这些数据加载到GBQ表的最佳方
浏览 4提问于2022-10-09得票数 3
2回答
我正在学习如何使用气流建造机器学习管道。from datetime import datetimeimport numpy as np
import lightgbmcatchup=False, tags=['
浏览 0提问于2021-11-06得票数 7
回答已采纳
1回答
我想在我的数据库中获取印度共同基金的历史数据，有没有办法做到这一点，而不必单独下载所有基金的数据。我试着从AMFI网站下载数据，但是数据太大了，每一只基金都要花很多时间才能把数据直接放到我的数据库中。
浏览 4提问于2022-11-11得票数 0
1回答
我很难理解如何获取json中每个对象的两个“属性”，并将它们输出到csv中。这两个属性是"name“和"jobtitle”，我想应该有一种方法来提取它们。
浏览 18提问于2016-09-14得票数 0
回答已采纳
4回答
我希望在Amazon上的数据库中复制数据。在此之前，为了分析目的，我将数据从Redshift数据库复制到托管在EC2实例上的EC2。我有一个ruby脚本，可以使用dblink扩展来完成它。但是现在由于数据在PostgreSQL实例上是不可管理的，我们已经决定将数据复制到一个单独的数据库中，在同一个Redshift集群中。如果没有其他方法，我应该使用数据管
浏览 9提问于2015-06-01得票数 6
回答已采纳
我需要处理来自MongoDb的数百万条记录，并将一个ETL管道插入到PostgreSQL数据库中。但是，在我尝试过的所有方法中，我总是得到内存堆空间异常。我已经试过了-
尝试使用tMongoDBInput连接到MongoDB，并放置一个tMap来处理记录，并使用到PostgreSQL的连接输出记录。tMap无法处理这件事。试图将数据加载到JSON文件中，然后从文件中读取到PostgreSQL。数据被
浏览 2提问于2020-11-16得票数 0
我正在创建一个气流管道，其中我使用BigQueryOperator查询我的BigQuery表，并使用BigQueryToCloudStorageOperator将结果表导出为GCS。我需要将csv移动到mysql数据库，在那里它应该作为表存储在mysql数据库中。
我能得到任何关于如何实现这一点的建议或想法吗？谢谢!
浏览 1提问于2021-02-05得票数 0
我有一个需要大量CSV数据定期转换的项目。这些数据将存储在S3中，我使用运行UbuntuServer16.04的EC2实例对数据执行编辑，并使用Apache气流对数据进行路由。下载这些数据并将其重新上传到S3非常昂贵，有什么方法可以在内存中编辑这些CSV数据而不将文件下载到Ubuntu实例上的本地存储中？
提前谢谢你
浏览 2提问于2019-11-20得票数 1
回答已采纳
将数据加载到数据库中的表(在中)的最佳方法是什么？
上下文:我正在处理 (ETL) -提取平面文件并生成(csv的类似表)。我希望将CSV文件加载到PostgreSQL表中。
浏览 4提问于2015-03-02得票数 1
回答已采纳
我有一个csv文件，我正在通过pyspark读取并加载到postgresql中。它的一个字段包含字符串，字符串中包含coma和双引号。就像下面的例子- 1.这会引起问题，因为当我将数据加载到postgresql中时，它会将值/列混为一谈，并且脚本失败。 1. '\"RACER \"\"K\"\"'
2. '\"JENIS, B. S.\"\&q
浏览 105提问于2020-08-27得票数 0
我有一个数据流作业，它有一个扇形的步骤，每个步骤都将结果写入GCS上的一个不同的文件夹。在批处理作业执行期间，每个文件夹都会写入数百个文件。我想确定何时完成FileIO步骤，以便运行将文件夹的全部内容加载到BigQuery表的java代码。我知道我可以用completion和PubSub通知来完成每个编写的文件，但我更喜欢在完成整个文件夹时才这样做一次。
谢谢!
浏览 4提问于2020-05-25得票数 0
回答已采纳
1回答
我试图找出将CSV文件导入PostgreSQL的工程。要求：CSV文件有Y个动态字段TenantCode，DomainCode，PersonCode，ExtraField1，ExtraField2，ExtraFieldN"CUST1"，"C0001"，"Donald"，"Duck"，"M“
"CUST1"，"C0002&quo
浏览 0提问于2018-08-16得票数 2
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号