1回答
我想使用Cloud Dataflow、PubSub和Bigquery将tableRow写入发布订阅消息，然后将它们写入Bigquery。我希望表名、项目id和数据集id是动态的。
浏览 0提问于2018-07-15得票数 0
当尝试在apache的google数据流中初始化python BigQuery Client()时，它给出了一个类型错误：我在apache数据流中使用Python3.7，我必须初始化客户机并手动写入BigQuery，而不是使用ptransform，因为我想使用通过运行时参数传递的动态表<
浏览 1提问于2019-06-04得票数 1
回答已采纳
1回答
设计
、
我们需要您对以下场景的数据流设计提供指导。
需求:我们需要构建一个数据流作业来读取数据流MS数据库并写入Bigquery。我们需要数据流作业作为输入“表名列表”(源表和目标表名称)来读取和写入数据。问题:在每天的日程安排中，数据流是否可以将表列表(即50个表名)作为输入，并将数据从源复制到目标，还是将其设计为50个独立的
浏览 4提问于2021-12-13得票数 -1
出于报告的目的，我正在考虑将我们的购物数据移动到BigQuery。我通过shopify API对customers端点进行分页，并获得所有客户级数据。然后我将其导出为csv，然后将其存储在google云存储上，然后导入到BigQuery。我的问题是，考虑到当前customer datamart上的一些条目(例如，总订单数)可能已经更改，并且自上次表更新以来可能已经创建了一些新客户，那么处理增量数据加载的最佳方法是什么。任何关于设计模式的</em
浏览 0提问于2021-03-06得票数 1
基本上，我们希望根据特定列(而不是日期)的值，将一个大的(数十亿行) bigquery表拆分成大量(可以是100k左右)较小的表。我不知道如何在bigquery中高效地完成这项工作，所以我在考虑使用数据流。所以在这个操作之后，我们有了( PCollection，记录)的键。然后我们需要将PCollection写回bigquery表，表名可以是key_table。，
浏览 9提问于2017-07-13得票数 0
下面是我的输入文件的样子：{"Id": 2, "Address": {"City":"Id": 4}
{"Id": 5, "PhoneNumber": 12345678, "Address"
浏览 1提问于2018-02-21得票数 1
回答已采纳
1回答
我将CSV文件添加到GCS存储桶中，每天或每周，每个文件名都包含(日期+特定参数)我们尝试了云函数(我们可以从文件名中获取日期和特定参数值)
浏览 0提问于2020-12-15得票数 0
我写了一个包来做以下事情：
根据每个文件的枚举(works)为每个.csv创建一个表。将数据导入到他们自己的表中的sql服务器中，文件名是作为表名创建的，而不是OLE DB目标(不起作用)。如果所有东西都有目标文件夹，它就能工作，但是当我使用table变量时，它不能工作。我所做的
浏览 1提问于2016-03-29得票数 0
我正在使用composer为到达到BigQuery的GCS文件编排ETL。我有一个云函数，它在文件到达时触发进程，云函数将文件名/位置传递给DAG。在我的DAG中，我有两个任务：
1)使用DataflowPythonOperator运行数据流作业，该作业读取GCS中的文本中的数据，并将其转换为BQ，2)根据作业失败或成功与否将文件移动到失败/成功桶每个文件都有一个文件ID，它是bigque
浏览 0提问于2019-01-09得票数 3
回答已采纳
在我们的数据流管道(streaming管道，batch load We --我们正在使用批处理以实现成本效益的目的)中，我们一直面临着一个热点问题：因此，BigQuery摄入是使用动态目的地。
关键
浏览 6提问于2022-01-06得票数 0
我试图处理我的数据流作业试图动态写入BigQuery表目的地的错误。我想指出以下例外情况：
以创建数据集，然后重试写入BigQuery。是否有可能以这种方式捕获异常，如果有，您知道我需要在代码中添加try/catch逻辑吗？
浏览 1提问于2020-03-03得票数 1
我知道数据流可以使用BigQuery表(或BigQuery表的SQL式查询)进行输入，但是是否可以将保存的视图作为数据流的输入？
浏览 10提问于2017-07-12得票数 2
我正在尝试测量数据流管道的持续时间，数据流管道从发布/订阅中提取消息并将其加载到BigQuery表中。我找不到如何在BigQuery表中获取行的最后修改时间，尽管有表的最后修改日期时间。谁知道如何将上次修改的日期时间设置为BigQuery表的行？
浏览 2提问于2018-11-07得票数 0
我使用Airflow DataflowTemplateOperator()将数据从Mssql迁移到Bigquery，使用JDBC to Bigquery数据流模板。默认情况下，它会将数据追加到目标Bigquery表中。是否有默认参数可将数据流/ DataflowTemplateOperator设置从追加更改为覆盖？
浏览 2提问于2020-12-02得票数 0
1回答
复制多个表
、、、、
我有200多个MSSQL表，希望将数据传输到Azure。我考虑的一种方法是在动态数据流中使用SSIS，即创建表名变量并对表名执行foreach循环，并对每个表运行数据流。然而，这种方法似乎是错误的，尽管在Data存储中创建的文件具有正确的方案，但由于映射错误，不会传输数据。是否有任何通用的方法来创建一个动态数据流</em
浏览 2提问于2017-11-18得票数 2
回答已采纳
需要创建将使用作为参数提供的主题的POST端点。消息必须以kafka主题为属性，以消息内容为主体，在公共子主题上发送。
这是一个很高的要求。我看过以了解如何实现这一目标。但是，如果有人实时地实现了这一功能，即从Azure事件中心到google的事件，或者曾经进行过类似的实现，请提供帮助。
浏览 1提问于2021-06-03得票数 1
回答已采纳
我正在尝试创建一个数据流(批处理)，它每小时从读取一个文件，解析它并在BigQuery表中写入一个条目。文件是一个.json，在女巫中，每一行都有一个复杂的json。但是，当文件增加时，数据流会花费更多的时间(15分钟，200到300 Mb)或者没有完成并以失败结束(超过1.5GB和350 K行)。我做了一些测试，当我在函数解析中创建一个json示例时，但没有使用input_elem，数据流工作得很好，并在7-8分钟
浏览 4提问于2020-08-21得票数 0
回答已采纳
我有一个BigQuery数据库，我想要创建动态表。table_20170609 -如果日期是2017年6月9日每天我会得到一些excel数据，我必须上传到上面动态创建的表excel中的数据不是按日计算的，它将从开始日期到今天的日期。
我知道将bigquery连接到tableau并运行查询。是否有任何自动方
浏览 3提问于2017-06-09得票数 0
我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。当我尝试将联邦BigQuery表作为Dataflow管道的源读取时，它会引发以下错误：
1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator- Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7
浏览 5提问于2016-03-24得票数 4
回答已采纳
我已经在Firebase控制台中启用了BigQuery集成，并对此有一些问题：
Firebase分析数据将被导出到BigQuery多长时间？我有从Firebase到BigQuery的集成，不知怎么的，Firebase数据导出被某人禁用了。我昨天在17:00左右启用了它，到目前为止还没有在BigQuery中更新数据。
浏览 9提问于2020-05-08得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
