我已经使用apache beam (Dataflow Runner)编写了mongodb到bigquery数据管道的python代码。Mongodb有两列(id和name)的类似mysql的简单表，没有复杂的structure.My代码，如下所示。##### p = beam.Pipeline(options=options) p | ReadFromMongoDB(uri='mongodb它从mong
浏览 11提问于2021-01-15得票数 1
回答已采纳
2回答
我正在执行Mysql到bigquery的数据迁移，使用jdbc到数据流中的bigquery模板。但在mysql上执行"select * from teable1“命令时，由于某种原因，我也想将选中的数据插入到同一数据库中的另一个表中。 如何在数据流模板中同时执行select和insert查询？在两个查询之间使用
浏览 46提问于2020-11-11得票数 0
我正在使用python dataflow.projects().templates().launch()函数启动数据流模板，以启动从jdbc到bigquery模板的数据流作业。如何在这个python函数中传递"--autoscaling_algorithm=NONE“标志？
浏览 1提问于2020-11-19得票数 0
3回答
将数据从托管在mlab中的MongoDB导出到google bigquery的最佳方式是什么？最初，我尝试从MongoDB到bigquery的一次性加载，后来我考虑使用发布/订阅实时数据流到BigQuery。
我需要帮助第一次从mongodb加载到bigquery。
浏览 0提问于2017-02-11得票数 14
回答已采纳
我正在从mongodb集合中提取数据，并使用Spark python代码将其写入bigquery表。下面是我的代码片段： .format("com.mongodb.spark.sql.DefaultSource")\
.option("uri","mongodb_url但我只想提取满足条件的文档(如sql查询中的where条件<
浏览 1提问于2021-02-18得票数 0
我正在使用PubSub来捕获实时数据。然后使用GCP数据流将数据流式传输到BigQuery中。我正在使用Java进行数据流。目前，我正在将字符串格式的消息发送到PubSub (这里使用Python )。但是数据流中的
浏览 18提问于2018-02-21得票数 0
我在数据流中使用Pub/Sub订阅BigQuery模板。Pub/Sub订阅中的消息数据是csv格式，如下所示
这将在加载到BigQuery如何在模板中将CSV数据转换为JSON？
浏览 0提问于2021-03-10得票数 0
我们正在编写一个数据流作业，将数据从存储桶中的JSON写入到BigQuery数据集。存储桶和BigQuery数据集都位于区域X中。但是，在区域X中无法使用数据流端点。最近的区域是Y。因此，所有的计算实例都是在区域X中旋转的。但是，数据流作业仍然失败，错误如下：
临时位置和临时位置存储桶都被设置为区域x。所使用的光束版本是2.17，S
浏览 4提问于2020-03-05得票数 0
1回答
当我要从一个bigquery表中读取数据并将其写入到另一个bigquery表中时，使用批处理数据流，使用apache beam和java。我在google云中使用批量数据流，使用模板创建。 如果有人遇到这样的问题，请回复。
浏览 12提问于2019-12-11得票数 0
背景：发布/订阅消息中的一些字段名包含破折号(-)，我无法控制这些破折号，并且数据流模板似乎期望在目标BigQuery表中使用完全相同的字段名。B
浏览 0提问于2019-08-01得票数 0
我使用Airflow DataflowTemplateOperator()将数据从Mssql迁移到Bigquery，使用JDBC to Bigquery数据流模板。默认情况下，它会将数据追加到目标Bigquery表中。是否有默认参数可将数据流/ DataflowTemplateOperator设置从追加更改为覆盖？
浏览 2提问于2020-12-02得票数 0
我正在创建CSV文件，json文件和java脚本文件，并上传到GCP存储桶中。创建“云存储上的文本文件到大查询”数据流模板以将数据填充到bigquery中。我需要一些帮助转换的日期格式从DD-MM-YYYY到YYYY-MM-DD在大查询中使用‘文本文件在云存储到大查询’数据流模板在GCP中。
浏览 12提问于2021-06-12得票数 0
我正在使用数据流kafka到bigquery模板。启动数据流作业后，它会在队列中停留一段时间，然后失败，出现以下错误：在应聘工作时，我提供了以下参数：
kafka主题名引导服务器ip和端口(私有ip)bigquery<
浏览 3提问于2020-12-07得票数 0
我想要实现的：每次我上传一个文件到云存储，它将自动被写入BigQuery。但是他们不一起工作。如何让云函数触发来激活数据流部分？这是一个脚本，还是只是一些设置，我错过了？
缺少一些东西把它们连接起来。
浏览 7提问于2021-03-03得票数 0
回答已采纳
我正在为我的公司设计一种新的方法来从多个MongoDB数据库中流式传输数据，执行一些任意的初始转换，并将它们汇聚到BigQuery中。我们使用数据流基本上做到了这一点： MongoDB -> Dataflow (Apache Beam, Python) -> BigQuery 我们基本上只需要等待collection.watch()调用作为输入，但从文档和现有研究来看，这可能是不可能的， 目前，MongoDB连接器是有界的
浏览 20提问于2020-01-02得票数 3
2回答
我使用一个模板创建了一个数据流作业(Datastream到BigQuery)。一切运行良好，但当我打开“数据流职务”页面时，在“横向作业信息”窗格中，会提醒您：
我该怎么做呢？
浏览 9提问于2022-05-04得票数 2
回答已采纳
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题和烧烤细节，然后使用具有不同订阅和烧烤细节的gcloud命令运行模板。数据流作业不会被新的订阅表或BQ表覆
浏览 0提问于2019-07-16得票数 0
在谷歌云数据流/光束中，我们可以使用这个Metrics API收集应用程序指标，并且可以使用另一个API在应用程序中查询它。但我需要将这些指标持久化到Bigquery/Prometheus中，以实现实时监控和警报机制。请建议如何在谷歌云数据流中实现这一点。
浏览 33提问于2020-01-14得票数 0
回答已采纳
3回答
可以将来自主题的Kafka数据流、消费和摄入到BigQuery/Cloud存储中的选项有哪些。GCP附带了基于模型的Dataflow。可以将Kafka数据推送到云发布子中，然后放到BigQuery表中。卡夫卡流/火花作业，将被排除在GCP之外，也可以使用。
如果数据完全托管在(GCP)上，那么在设计决策过程中需要考虑哪些因素？
浏览 1提问于2019-01-07得票数 3
回答已采纳
1回答
我正在构建一个基础架构，在这个基础架构中，我希望分别接收热数据和冷数据。对于热数据，我将我的数据写入Cloud Spanner，而对于冷数据，我希望将我的数据写入更持久的东西，如BigQuery。我正在使用来自流媒体服务的数据，但我想利用BigQuery的缓存机制-如果我经常将冷数据流式传输到BigQuery中，这将是不可能的。我的问题是，我是否可以将流管道分支到批处理管道中，并将流管道连接到扳手，将批处理管道连接到
浏览 0提问于2020-08-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
