2回答
我正在尝试使用Dataflow模板和Python将CSV文件处理成字典。我所需要的就是能够提取这个文本/csv文件的第一行，然后我就可以在DictReader中使用这个数据作为字段名。如果我使用拆分行，它将在列表中
浏览 6提问于2018-07-31得票数 0
回答已采纳
我是GCP新手，需要一些帮助来解决我的问题。
我正在创建CSV文件，json文件和java脚本文件，并上传到GCP存储桶中。创建“云存储上的文本文件到大查询”数据流模板以将数据填充到bigquery中。我需要一些帮助转换的日期格式从DD-MM-YYYY到YYYY-MM-DD在大查询中使用‘文本文件在云存储到大查询’数据流
浏览 12提问于2021-06-12得票数 0
1回答
触发云存储-数据流
、、、、
我现在开始工作，我需要一些帮助，我有一个自定义模型，我使用apache beam创建了一个管道，该管道从存储桶内的文件夹中获取来自csv文件的数据，然后将数据抛到bigquery表中，这个表已经按照我的要求工作，但是由于它是一个批处理管道，它只在我运行数据流时运行，所以我想自动化这个函数，条件是当加载一个新文件时，这个作业自行运行，我怎么做呢？模板数据流impo
浏览 7提问于2022-04-28得票数 1
读取csv文件并通过数据流将其加载到bigquery -为此使用python编码，而不是模板-如何使用terraform(GCP)帮助执行此任务
我试着去做，但不知道我应该为它写什么地形脚本。
浏览 14提问于2022-11-13得票数 0
2回答
我的渠道是IoTCore ->发布/订阅->数据流-> BigQuery。最初，我得到的数据是Json格式的，管道工作正常。现在我需要转到csv，问题是我使用的Google定义的数据流模板使用Json输入而不是csv。有没有一种简单的方法通过数据流将csv数据从发布/订阅传输到bigquery。模板可能可以更
浏览 27提问于2021-01-03得票数 0
回答已采纳
我需要一些帮助来转换xslx，csv，它们位于azure存储区(删除某些行，重命名某个列名)，并保存在adls中。有人能给我一些关于如何完成这一任务的一些想法或步骤，这将是非常有帮助的。谢谢你的帮助，真的很感激
P.S :我是最近从开发到云的全新的，对adf，管道，活动，blob和一些基本的东西有一些基本的想法。
浏览 2提问于2021-09-29得票数 1
回答已采纳
1回答
我想更新目标csv文件(位于Azure中)，每天更新增量记录(delta文件位于blob中)。如果已存在的记录已更新，那么我希望在目标文件中更新相同的记录，或者如果增量记录是新的记录，则希望将该记录附加到蔚蓝数据湖存储中的Target文件中。我想用Azure数据工厂来实现这一点，最好是使用ADF数据流。
我正在尝试使用Azure Data数据流任务来完成这个任务，但我注意到可以创建
浏览 2提问于2019-07-26得票数 3
回答已采纳
2回答
我有一个函数，它获取磁盘上的CSV文件，使用csv.DictReader对象打开它，删除三个键，从磁盘删除文件，然后返回数据：/usr/local/lib/
浏览 0提问于2021-05-26得票数 1
我正在使用python dataflow.projects().templates().launch()函数启动数据流模板，以启动从jdbc到bigquery模板的数据流作业。如何在这个python函数中传递"--autoscaling_algorithm=NONE“标志？
浏览 1提问于2020-11-19得票数 0
1回答
GCP数据流自定义模板创建
、、、、
我试图在数据流中创建一个自定义模板，这样我就可以使用composer的DAG在设定的频率上运行。我知道我需要先部署我的数据流模板，然后再部署DAG。我使用了这个例子- - python3 -m job.process_file \ --project project \
--staging_locationoutput_bucket gs://c
浏览 2提问于2022-02-16得票数 0
1回答
动态创建数据流作业
、、、
我是新的谷歌云和数据流。我想要做的是创建一个工具来检测和恢复(大型) csv文件中的错误。然而，在设计时，并不是每个应该处理的错误都已经知道。因此，我需要一种简单的方法来添加处理特定错误的新函数。该工具应该类似于基于用户选择自动创建数据流模板的框架。我已经想到了一个可以工作的工作流，但正如前面提到的，我对此完全陌生，所以请随意提出一个更好
浏览 7提问于2020-10-27得票数 1
1回答
我有一个关于Apache光束的问题，特别是关于数据流的问题。但是，当我部署到Dataflow时，通过Airflow触发它(我们有airflow作为调度程序)，它生成的文件名总是使用相同的时间戳。即使我多次运行，时间戳也是
浏览 3提问于2020-08-19得票数 0
2回答
我有一个文件夹，里面有几个CSV文件。这些文件都包含框绘图双垂直和水平作为分隔符。我正在尝试将所有这些文件导入到python中，将分隔符更改为管道，然后将新文件保存到另一个位置。import osdirlist = os.listdir(directory)x= 0
for filen
浏览 68提问于2019-02-28得票数 1
然后使用GCP数据流将数据流式传输到BigQuery中。我正在使用Java进行数据流。目前，我正在将字符串格式的消息发送到PubSub (这里使用Python )。但是数据流中的模板只接受JSON消息。python库不允许我发布JSON消息。有没有人能给我一个建议，把J
浏览 18提问于2018-02-21得票数 0
我想将我的查询结果导出到Google Sheets。有没有什么方法可以直接做，或者使用谷歌工作表中的AppScript。
浏览 2提问于2018-12-20得票数 0
我有一个100 GB的表，我正试图加载到google bigquery中。它在GCS上存储为一个100 GCS的avro文件。当前，我的bq load作业失败，并显示一条无用的错误消息：我在考虑尝试一种不同的格式。我知道bigquery支持几种格式(AVRO、JS
浏览 0提问于2019-04-02得票数 3
1回答
我想使用PYTHON执行模板。实际上，我一直在使用Dataflow REST API或Cloud Functions集成执行数据流模板。这是我在邮递员中的数据流模板执行： "outputLo
浏览 0提问于2018-09-18得票数 2
回答已采纳
需要将表模式(使用描述\列表列)提取到.txt或.csv文件中，然后使用python将这些文件转换为.avsc(avro )文件。
浏览 4提问于2018-10-16得票数 0
回答已采纳
我是云作曲家的新手。我的用例是: GCS中有几个文件类型，如json、csv、txt、..但是我只想选择csv文件，使用Python中的Dataflow来转换它们(例如重命名字段，.)当一个新的csv文件导入到GCS时，主要的要求是使用气流传感器来触发它们。有没有人知道如何使用 Composer气流传感器(这里没有云功能)编写它: GCS (只有csv</
浏览 6提问于2022-09-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
