我的表名格式：tableName_YYYYMMDD。我正在尝试从流式数据流管道写入此表。我想每天写入一个新表的原因是因为我想在30天后过期，并且只想一次保留一个包含30个表的窗口。.withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_APPEND));
我确实意识到上面的代码不会滚动到新
浏览 19提问于2017-08-05得票数 0
我想要将一个大型csv导入到一个bigquery分区表中，该表具有一个timestamp类型的列，该列实际上是某个事务的日期，问题是当我加载数据时，它会将所有内容都导入到今天日期的一个分区中。是否可以使用我自己的时间戳值对其进行分区？我怎么能做到这一点。
浏览 0提问于2016-07-05得票数 1
1回答
我有几个表是由GCP DataFlow流媒体应用程序填充的，作为某些数据管道的一部分(它是DataFlow的事实在这里并不重要，除了它是在流模式下半定期填充的事实之外)。遵循BQ文档建议()，我打算以AVRO格式将当前表导出到GCS，然后基于新的向后兼容模式创建一个新表*，最后在覆盖原始表之前将AVRO导出加载到新表中。无论如何
浏览 0提问于2019-09-19得票数 1
我们使用DataFlow读取一组PubSub主题，并将数据写入BigQuery。我们当前为每个主题使用一个DataFlow作业，并将它们写入相关的BigQuery表。是否可以为此编写一个数据流作业？我在这里看到了关于多个源到一个输出的文档：文档和我对
浏览 10提问于2017-03-04得票数 0
是否有一个易于遵循的示例，如何配置流模式Dataflow管道，以便将每个窗口写入一个单独的BigQuery表(必要时创建一个)？
即- table_20160701、table_20160702等。
浏览 3提问于2016-07-07得票数 1
回答已采纳
1回答
我试图从Dataflow管道中将一些数据写入BigQuery表，但是在堆栈驱动程序中，以下错误消息导致写入失败： "error": { { } "code": 401,
"message&quo
浏览 0提问于2018-10-02得票数 0
我们想转移到BigQuery，所以我的第一个步骤是第五个工作，它读取最终的Avro文件并输出到BigQuery，基本上与当前Cloud输出作业平行。根据"DateOfService“字段按日划分数据
我看到这样做的唯一方法是由customer和DateOfService创建单独的RDDs，并将它们分别写入适当的数据集和表分区。剩下的只是与Google示例相同的所有配置，除了我<em
浏览 0提问于2016-11-08得票数 0
2回答
我正在尝试使用数据流来流到BQ分区表中。文件说：
在将行插入日期分区表中时，我可以看到这种情况。是否有一种方法可以设置要插入的行的分区时间，以便BigQuery可以推断正确的分区？
浏览 1提问于2016-07-28得票数 1
回答已采纳
0回答
我有日志，我正在尝试推送到谷歌BigQuery。我正在尝试使用google dataflow构建整个管道。日志结构不同，可以分为四种不同的类型。在我的管道中，我从PubSub读取日志，对其进行解析，然后写入BigQuery表。日志需要写入的表取决于日志中的一个参数。问题是我被困在了如何在运行时为BigQuery
浏览 0提问于2016-12-28得票数 2
回答已采纳
从文档中看不清楚这一点，但看起来执行了流写入，这反过来又是？如果没有，那么将大行导入BigQuery的推荐工作流程是
浏览 1提问于2015-04-14得票数 2
在浏览时，我看到了Dataflow SQL。它和beamSQL有什么不同吗？
浏览 12提问于2020-02-17得票数 1
回答已采纳
1回答
我在Google BigQuery有一张桌子。这张桌子上装着丹麦文。街道名称："Bakkevej"，Housenumber："23“，Zip："4305”。由于我需要将数据与另一个包含通用(丹麦语) adress in的表(称为DAWAID )相匹配，所以我需要再次查找该adress，并将该adress的DAWAID添加到称为DAWAID的行中的一个单独字段中API放在：上，并以JSON
浏览 0提问于2018-09-21得票数 0
回答已采纳
2回答
我有一个成功的管道，使用在计算实例上运行的云dataflow将数据从pub/sub传输到bigquery，而不是在实际的dataflow运行器上运行。今天我已经更新了BQ表模式，似乎没有发生新的插入。我可以查看机器上的日志，一切正常- dataflow没有报告任何错误。
有没有办法从bigquery访问流日志以检查错误
浏览 22提问于2019-11-22得票数 2
回答已采纳
我已经设置了一个GCloud数据流管道，它使用来自Pub/Sub订阅的消息，将它们转换为表行，并将这些行写入相应的BigQuery表。表目的地是根据Pub/Sub消息的内容确定的，偶尔会导致表还不存在，必须先创建表的情况。为此，我使用create CREATE_IF_NEEDED，它工作得很好。但是，我注意到，如果在数据流作业
浏览 1提问于2020-03-21得票数 0
回答已采纳
我需要使用Dataflow从BigQuery表中提取数据，然后写到GCS。
数据流是使用apache (Java)构建的。数据流从BigQuery中提取出来，第一次完美地写入到GCS中。但是，当第二个数据流在第一个管道成功执行后从同一表中提取数据时，它并不是从Big Query中提取任何数据。我在堆栈驱动程序日志中看到的
浏览 0提问于2020-01-12得票数 1
回答已采纳
也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。但是，我已经尝试过通过数据流将数据转储到BQ中，并且在作
浏览 6提问于2016-08-05得票数 1
回答已采纳
我正在使用Google Dataflow1.9将数据保存到BigQuery表中。我正在寻找一种方法来控制(PCollection)元素写入的表名，基于该元素中的一些值。在我们的例子中，元素包含一个user-id，我们希望将每个元素动态地写入到它自己的用户表中。
浏览 9提问于2017-07-10得票数 0
我正在提交一个数据流作业，该作业从BigQuery数据集和表中读取并写入。Dataflow作业似乎工作正常。在执行Dataflow作业期间，Dataflow UI告诉我，我可以通过使用BigQuery工具运行命令来检查bq导出作业的状态。当我运行该命令时，我会收到一条消息，表示我无权查看该状态。这与提交Dataflow作业的经过身份验证的</e
浏览 1提问于2017-04-25得票数 0
回答已采纳
1回答
我对GAE并不熟悉，我正试图快速找到一种方法来检索DataStore中的日志，将它们清除到我的规范中，然后将它们保存到一个表中，以便稍后在我的应用程序中调用报表视图。我正在考虑使用Google数据流并创建批作业(app是python/Django)，但是文档似乎不适合我的用例，所以也许数据流不是答案。我可以用BigQuery创建一个python脚本，并通过CRON进行调度
浏览 0提问于2017-11-09得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
