└── setup.py 我在etllib/scripts中有一个名为"etl_imperva“的脚本。/usr/bin/python3from etllib.etl.etl_imperva import ETL
ETL.startup(sys.argv) 如果我安装这个包(Etll
浏览 17提问于2021-01-22得票数 0
我试图修改ETL，但我发现老开发人员直接在连接上执行他的命令( ETL已经运行了几年)。当我尝试自己做这件事时，我得到了一个错误(因为我的编译器希望我从游标中做这件事)。from etl.utils.logging import infofrom etl.mysql.operations\Python39\lib\runpy.py", line 197, i
浏览 18提问于2021-06-28得票数 0
2回答
我有一个python应用程序，它以编程方式查询BigQuery应用程序接口。这个应用程序会给我所需的响应，这取决于我查询的是什么。我想围绕python应用程序构建一个类似于ETL流程的东西。例如，我每天都运行etl进程，该进程运行python应用程序并将数据导出到集群。最终，这个ETL过程应该放在Jenkins上，并且应该能够在生产系统上运行。我该怎么做，有什么建议吗？我
浏览 1提问于2015-01-14得票数 2
/data/etl:/app/etl_pipeline_1 | File "/usr/local/lib/python3.7/site-packages/neo4j/__init**config)
etl_pipeline_1 | File "&#x
浏览 36提问于2020-11-12得票数 1
6回答
我们目前每天使用Datastage ETL从15个表(3个不同的模式)导出包含数据的CSV/文本文件。
我想知道是否有一种更简单的方法来完成这一点，而不是使用ETL。我试过斯克里泰拉。它看起来简单/快速，但它又是一个ETL。请建议..
浏览 18提问于2011-02-24得票数 4
回答已采纳
我正在尝试使用docker-compose在一个容器中运行python脚本，该容器填充另一个容器中的数据库。我的问题是，脚本在数据库准备好接受连接之前就启动了。下面是docker-compose.yml文件： build: ./etl - mysql image: mariadb MYSQL_DATABASE: my_dbdocker run --name mariadb -e
浏览 0提问于2015-11-16得票数 2
我被告知要找到一种将Python脚本集成到数据库中的方法，这样就可以通过python编程而不是手动输入日志(因为手动需要花费大量的时间)。Pycharm被指定为将要使用的编程工具，过去几天我已经做了一些研究，但是还没有找到任何可行的方法来完成这个任务，python连接器似乎无法与Pycharm一起工作。有什么建议吗？
浏览 3提问于2017-06-02得票数 0
回答已采纳
DAG文件如下所示：from datetime import datetime, timedelta import argparse
rows = (p | 'read r
浏览 3提问于2019-11-05得票数 2
回答已采纳
4回答
如果有一个“更容易”的过程，我可以通过Python完成一切(我只使用Redshift，因为这似乎是最好的选择)，那么导出到Spark或类似的程序也是受欢迎的。
浏览 11提问于2017-09-04得票数 2
一直使用aws胶水python shell作业来构建简单的数据etl作业，对于spark作业，只使用过一两次用于在JDBC数据上转换为orc格式或执行星火sql。一些文档说python作业适用于简单的工作，而火花则适用于更复杂的作业，对吗？你能分享更多这方面的经验吗？
非常感谢
浏览 8提问于2020-02-07得票数 6
回答已采纳
=dtype) File "/home/ec2-user/python-virtual-environments/etl/local/li
浏览 256提问于2017-01-05得票数 22
project_dir/ etl/ etl_1.py config/ utils/test/setup.pyrequirements.txtpython test_
浏览 2提问于2020-06-03得票数 0
我只想知道如何使用python代码保存DML(受影响的行)的值。
假设一个DML正在影响10行，那么我将如何使用python打印它。db = psycopg2.connect(dbname=ETL_DB, host=ETL_HOST, port=ETL_PORT, user=ETL_USER, password=ETL_PASSWORD
浏览 0提问于2022-09-27得票数 -1
回答已采纳
1回答
def ETL_function():
print("OUTPUT LOG : ETL skipped due to empty data, Skipping ETL .Data found")
print("OUTPUT LOG : ETL continued due data available
浏览 9提问于2020-05-15得票数 3
回答已采纳
: etl: handler: etl/lambda_functions/etl_lambda_function.lambda_handler package:/etl 项目结构： etl
浏览 45提问于2020-10-13得票数 0
回答已采纳
1回答
Pandas条件
、、、、
我有一个来自CSV文件的数据文件，格式如下："etl_A";6.13e-05"etl_B";0.001...我在其他语言中使用相应的groupBy方法和regex表达式来提取基准名，但是我对Python还是新手。根据我的理解，Pandas groupBy函
浏览 5提问于2020-06-15得票数 1
回答已采纳
").getOrCreate()source_data_file = "C:\Python_pgms\apache-spark-etl-pipeline-example-master\apache-spark-etl-pipeline-example-master\data\20160104\*"
print("Fetching") 面临以下问题： Traceback (mostrecent
浏览 20提问于2020-12-02得票数 0
我正在尝试用开源框架来做ETL，我听说过两件事，Apache Beam和Apache Airflow，这两件事最适合整个ETL或ELT，比如Talend、Azure Data Factory等，事实上，我正在尝试用云数据仓库(redshift、azure数据仓库、雪花等)来做所有的事情。
浏览 35提问于2019-07-09得票数 0
1回答
但我无法理解在基于python的实现上使用dl4j的基本原理。那么，有谁能请您澄清一下以下几个项目呢？ETL利用预先训练的模型/转移学习处理大容量数据(图像、时间序列数据、传感器data..etc)后期生产培训(细菌或实时/在线)
移动应用程序开发
浏览 0提问于2019-12-02得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
