我在表行中有一个表名和模式为TableRow的PCollection，如下所示 ? 我需要使用BigQueryIO.writeTableRows()将col1、col2和col3值插入到使用架构的表中。我们可以使用lambda从行中访问表名，如下BigQueryIO.writeTableRows().to(tablerow->tablerow.get("Table")
浏览 14提问于2020-12-18得票数 0
回答已采纳
我使用BigQueryIO.readTableRows().fromQuery(...)从BigQuery读取行，然后使用BigQueryIO.writeTableRows()将TableRow写回BigQuery我已经创建了具有正确模式的表，因此使用CreateDisposition.CREATE_NEVER，并且不必在Beam中设置模式。问题是，所有Record字段都在查询结果中被平放(下划线附加)，并且不匹配表的架构，该表不是扁
浏览 2提问于2018-06-15得票数 0
回答已采纳
当PCollection<TableRow>头和表模式都没有定义时，将BigQuery导出为.csv表或导出为.csv文件的最佳方式是什么？它们是未知的，因为PCollection<TableRow>是BigQueryIO.Read查询的结果(不返回架构)，但是，可以从查询中使用的字符串解析得到的表行的列名(解决办法)。FROM Dataset.Table
浏览 0提问于2016-01-04得票数 0
1回答
我使用数据流/ bigquery已经有一段时间了，但是我仍然无法理解一些基本的事情，即什么时候使用某种类型的方法来查询表。使用BigQueryIO.Read的单行查询选项是：
这使得导出到(1) .csv文件的难度这又有其优点和缺点：
返回查询结果的表<
浏览 2提问于2016-01-03得票数 0
回答已采纳
我有一个信息流进来，想要将它们记录在BigQuery中，但问题是用户可以在启动apache_beam作业之前定义一个新的表名。此外，流中的架构可以更改超时。我想知道是否有人使用Python实现了流apache_beam作业的自动表创建和模式更改。
浏览 12提问于2022-09-27得票数 0
，定义为： .apply(new MyTransform()) .withSchema() .withMethod(BigQueryIO.Write.Method.STORAGE_WRITE_API但是，MyTransform<
浏览 13提问于2022-06-07得票数 0
如何使用管道从表中提取数据，并将其作为csv存储在GS中？到目前为止，我只能以简单的文本格式提取数据，方法是提取每个字段，将其连接成字符串，然后将其输出。
有谁知道解决这个问题的方法吗？谢谢。
浏览 0提问于2017-07-11得票数 0
2回答
是否有一种使用Apache Beam BigQueryIO创建日期分区表的方法，换句话说，对于尚未创建的表是否有使用分区装饰器的方法？我知道我首先可以创建一个表，然后我可以在代码中使用分区装饰器，但是由于我从行的字段中动态地确定了TableDestination，所以我不能预先创建这些表。我的代码是这样的：
浏览 3提问于2017-06-06得票数 2
回答已采纳
因此，我使用数据流的管道和ParDo转换器(返回TableRow以将其应用于BigQueryIO)，并为转换创建了StringToRowConverter()。在这里，实际的问题开始了-我被迫为目标表指定模式，尽管我不想创建一个新的表，如果它不存在-只是试图加载数据。因此，我不想手动设置TableRow的列名，因为我有大约600列。TableRow();
row.set("DO NOT KNOW THE COLUMN NAME&qu
浏览 4提问于2017-08-18得票数 13
回答已采纳
是否有方法在使用Dataflow的接收器时在BigQuery表上设置BigQueryIO.Write时间？例如，我想要这样的东西(参见最后一行)：mainResults.apply(BigQueryIO.Writedataset.table") .wit
浏览 4提问于2016-01-05得票数 1
回答已采纳
在创建多个表期间，这些表的名称在管道执行过程中正在更改。我的数据流管道在欧盟运行。我在选项中添加了以下设置：我使用BigQueryIO.Write将数据保存到GBQ，使用以下代码： .to(DynamicTableName.of(...))
.withCreateDisposition(BigQueryIO.
浏览 4提问于2016-12-07得票数 0
回答已采纳
假设我创建了两个输出PCollections，这是SideOutputs的结果，根据某些条件，我只想将其中的一个写入BigQuery。怎么做？基本上，我的用例是，我试图使Write_Append和Write_Truncate变得动态。我从我在BigQuery中维护的配置表中获取信息(追加/截断)。因此，根据配置表中的内容，我必须应用“截断”或“追加”。
因此，使用SideOutputs，我能够创建两个PCollections(分别为追加和截断)，其中一个将为空
浏览 1提问于2017-10-18得票数 0
1回答
视图可以访问它引用的所有数据集。Dataflow/GCE服务帐户可以访问视图，但不能访问其基础数据集(这不应该是问题)。当我试图运行一个查询授权视图的作业时，会得到如下错误：
java.lang.RuntimeException: java.io.IOException: Unable to get table: test
浏览 2提问于2020-08-12得票数 2
回答已采纳
我正在开发一个Dataflow管道，它使用BigQuery流插入将数据从Pub/Sub主题加载到表中。插入的代码片段如下： .writeTableRows() .withCreateDispositionwithWriteDisposition(WriteDisposition.WRITE_APPEND) .withMethod(BigQuer
浏览 4提问于2022-11-04得票数 0
2回答
)PCollection<KV<String, TableRow>>tableRowMap // OPTION 2
另外，我正在创建
浏览 3提问于2016-08-05得票数 0
是否有任何表单可以动态地写入BigQuery，指定目标表的名称？现在我有：.apply(BigQueryIO.Write .to("project_name:dataset_name.table_name") .withCreateDisposition(BigQueryIO.Write.CreateDi
浏览 1提问于2015-06-05得票数 1
回答已采纳
我尝试连接两个表并将其写入带有嵌套列的bigquery表中。使用CoGroupByKey连接两个表，但在此之后，我无法将值转换为嵌套的表行。我发现了一个类型转换错误。如何将元组集合转换为用于编写bigquery的表行。下面是我尝试过的全部代码： BQOptions op
浏览 1提问于2018-11-01得票数 0
回答已采纳
在我们的数据流管道(streaming管道，batch load We --我们正在使用批处理以实现成本效益的目的)中，我们一直面临着一个热点问题：因此，BigQuery摄入是使用动态目的地。
关键是数据的目标表规范。我们的管道是一条
浏览 6提问于2022-01-06得票数 0
我的场景与这里讨论的方案不同：这个是可能的吗？如果是的话，最好的方法是什么？我目前的最佳猜测是通过一个侧输出将模式读入PCollection中，然后使用该输出在将数据传递给BigQueryIO
浏览 1提问于2015-06-06得票数 0
回答已采纳
1回答
我正在从jdbc连接读取数据，将其转换为表，然后使用以下代码将数据上传到bigquery。 我期望的数据有多列，其中一列称为“电话号码”。如果我想将此电话号码长度小于8位的行存储在另一个表中，请删除它们，并将两个表(一个包含无效电话号码，另一个包含剩余数据，包含正确的电话号码)写入bigquery。TableRow via RowMapper * 3) Append TableRow to
浏览 11提问于2021-07-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
