BigQueryIO.write()使用SQL函数
BigQueryIO.write()是Google Cloud Dataflow中的一个函数，用于将数据写入Google BigQuery。它是一个用于数据处理和分析的强大工具，可以处理大规模数据集并提供快速的查询性能。
BigQueryIO.write()函数使用SQL函数来处理数据。SQL函数是一组在SQL查询中使用的内置函数，用于对数据进行转换、聚合和计算。这些函数可以用于处理和转换数据，以满足特定的业务需求。
使用BigQueryIO.write()函数和SQL函数，可以实现以下功能：
- 数据转换和清洗：使用SQL函数可以对数据进行转换和清洗，例如字符串处理、日期格式化、数值计算等。
- 聚合和统计：SQL函数可以用于对数据进行聚合和统计分析，例如计算平均值、求和、计数等。
- 数据筛选和过滤：SQL函数可以用于筛选和过滤数据，例如根据条件进行数据筛选、去重等。
- 数据计算和推导：SQL函数可以用于计算和推导数据，例如计算百分比、计算增长率等。
BigQueryIO.write()函数的应用场景包括但不限于：
- 数据仓库和分析：将数据写入BigQuery，使用SQL函数进行数据转换和分析，以支持数据仓库和分析需求。
- 实时数据处理：将实时数据写入BigQuery，使用SQL函数进行实时计算和分析，以支持实时数据处理需求。
- 数据导入和导出：将数据从其他数据源导入BigQuery，使用SQL函数进行数据转换和清洗，以支持数据导入和导出需求。
推荐的腾讯云相关产品和产品介绍链接地址：
腾讯云数据仓库 ClickHouse：https://cloud.tencent.com/product/ch
腾讯云数据仓库 TDSQL-C：https://cloud.tencent.com/product/tdsqlc
腾讯云数据仓库 TDSQL-MariaDB：https://cloud.tencent.com/product/tdsqlmariadb
腾讯云数据仓库 TDSQL-MySQL：https://cloud.tencent.com/product/tdsqlmysql
腾讯云数据仓库 TDSQL-PostgreSQL：https://cloud.tencent.com/product/tdsqlpostgresql
腾讯云数据仓库 TDSQL-SQLServer：https://cloud.tencent.com/product/tdsqlsqlserver
请注意，以上推荐的产品仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
1回答
我有一个数据流的工作。我正在使用BigqueryIO.write库在BigQuery表中插入行。BQ表中有一列，它应该存储行创建时间戳。我需要使用SQL函数"CURRENT_TIMESTAMP()“来更新该列的值。 我不能使用java的任何库(比如Instant.now())来获取当前的时间戳。因为这将在作业执行期间派生该值。我正在使用一个BigQuery加载作业，它的触发频率是10分钟。因此，如果我使用任何java库来派生时间戳，那么它将不会返回预期的输出。 我在接受任何BigqueryIO.write函数作为输入的SQL中找不到任何方法。那么这个问题的解决方案是什么呢？
浏览 21提问于2021-08-10得票数 0
我试图将beamSql数据写入BigQuery，如下所示：
final_out1.apply(BigQueryIO.<TableRow>Write
.named("Write")
.to("my-project:data_id1.tables_test")
.withSchema(schema)
.withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE))
.withCreateDisposition(BigQueryIO.Wr
浏览 1提问于2018-03-12得票数 0
回答已采纳
我们有一个非常简单的管道，从GCS读取，执行一个简单的ParDo，然后将结果写入BigQuery。这是自动标度多达50个VM，运行在GCP上，不做任何花哨的事情。
从GCS (~10B records & ~700+GB)读取所有数据并对其进行转换，所有这些都发生得相对较快(前7-10分钟)。
但是，当它到达BigQuery写(使用BigQueryIO)时，它就会慢下来--尽管它只需要写大约100万条记录(~60 1M )。单是这一步就需要20米。
除了对BigQuery的缓慢写入之外，图表还显示该步骤是“停止”的，尽管它是成功的(尽管非常慢)。对于一个简单的BigQuery写操作来说
浏览 4提问于2017-08-25得票数 2
1回答
我想在PCollection分区中传递一个sideInput，在此基础上，我需要划分我的PCollection是他们的……
PCollectionList<TableRow> part = merged.apply(Partition.of(Pcollection Count Function Called, new PartitionFn<TableRow>(){
@Override
public int p
浏览 2提问于2017-11-15得票数 1
我在运行一条数据流管道。在创建多个表期间，这些表的名称在管道执行过程中正在更改。我的数据流管道在欧盟运行。我在选项中添加了以下设置：
options.setZone("europe-west1-b");
我使用BigQueryIO.Write将数据保存到GBQ，使用以下代码：
BigQueryIO.Write
.named(...)
.to(DynamicTableName.of(...))
.withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED)
.w
浏览 4提问于2016-12-07得票数 0
回答已采纳
下面的代码用于Dataflow 1.9SDK，迁移到2.X
PCollection<TableRow> tableRow = ...
tableRow.apply(BigQueryIO.Write()
.to(String.format("%1$s:%2$s.%3$s",projectId, bqDataSet, bqTable))
.withSchema(schema)
.withWriteDisposition(BigQueryIO.Write.WriteDispo
浏览 8提问于2017-11-16得票数 0
回答已采纳
我正在将google数据流作业从dataflow javaSDK1.8升级到2.4版本，然后尝试使用--update和-transformNameMapping参数更新其在google云上的现有数据流作业，但我想不出如何正确地编写transformNameMappings，以便升级成功并通过兼容性检查。
我的代码在与错误：Workflow failed. Causes: The new job is not compatible with 2018-04-06_13_48_04-12999941762965935736. The original job has not been aborte
浏览 0提问于2018-04-06得票数 0
我的工作流程: KAFKA ->数据流-> BigQuery
考虑到低延迟在我的例子中并不重要，我使用FILE_LOADS来降低成本。我使用BigQueryIO.Write和一个DynamicDestination (每小时一个新表，以当前小时作为后缀)。
此BigQueryIO.Write配置如下：
.withCreateDisposition(CreateDisposition.CREATE_IF_NEEDED)
.withMethod(Method.FILE_LOADS)
.withTriggeringFrequency(triggeringFrequency)
.withN
浏览 1提问于2018-03-12得票数 6
有没有办法知道程序中的BigQueryIO.write()操作是否已经成功完成？它返回WriteResult，但在其中找不到任何相关的方法。还是真的有？
浏览 3提问于2017-10-09得票数 2
我正在使用BigQueryIO write using loads。我的负载触发器设置为18小时。我正在通过固定的每日窗口从Kafka获取数据。
基于，当一个窗格中至少有500k记录时，预期的行为似乎是将行卸载到文件系统
我设法生成了大约600K条记录，并等待了大约2个小时，以查看行是否已上载到gcs，但是，那里什么都没有。我注意到"BatchLoads“中的"GroupByDestination”步骤在“输出集合”大小下显示为0。
当我使用一个较小的负载触发器时，一切似乎都很好。不应该触发AfterPane.elementCountAtLeast(FILE_TRIGGERIN
浏览 6提问于2018-02-19得票数 0
回答已采纳
在构建管道(源为BigQueryIO.Read )时，您将得到一组要处理的TableRow对象。
实际上，我希望对这些TableRow对象做一些小的更改，然后使用BigQueryIO.Write将对象输出到新的表中。
但是，我遇到了一个问题，即TableRow实际上与原始表结构不匹配。它有带"_“的键，而不是"."，而且也是完全平坦的。(因此与原始模式不匹配)。
我是否遗漏了一个步骤，使TableRow行为正确？
这似乎是一个相当简单的工作流程，所以当我遇到这个问题时，我感到有点惊讶。
目标：BigQueryIO.Read -> TableRow -> Bi
浏览 6提问于2016-07-05得票数 3
回答已采纳
我在google-cloud-dataflow上运行了一个App-engine进程。它监听通过pubsub发送的消息和流向big-query的流。
我更新了我的代码，我试图重新运行应用程序。
但我收到了这个错误：
Exception in thread "main" java.lang.IllegalArgumentException: BigQuery table is not empty
是否在不删除表的情况下更新数据流？因为我的代码可能经常更改，所以我不想删除表中的数据。
这是我的代码：
public class MyPipline {
private stati
浏览 2提问于2016-11-03得票数 0
回答已采纳
在BigQueryIO.Write转换成功完成后，有没有办法运行一些代码？即类似于方法的东西。
我知道，但这需要启动管道的应用程序处于运行状态。
浏览 0提问于2017-03-02得票数 0
我正在尝试使用给BigQuery写信。但是数据是损坏的，因为我试图在BigQuery表的列中写入的数据与该列的数据类型不匹配。因此，作业日志显示的错误如下所示：
BigQuery作业"dataflow_ job _6154554826811450962-B“在项目”analytics-repo“中以错误结束: errorResult: JSON表遇到了太多错误，放弃了。行: 1951；错误: 1.，错误: JSON表遇到太多错误，放弃。行: 1951；错误: 1.，错误:从文件位置32470424514开始的行中的JSON解析错误: gs://abhishek_bucket/stag
浏览 2提问于2016-08-21得票数 1
回答已采纳
1回答
我从文档和中都了解到，可以动态确定表目的。我使用了与下面完全相似的方法：
PCollection<Foo> foos = ...;
foos.apply(BigQueryIO.write().to(new SerializableFunction<ValueInSingleWindow<Foo>, TableDestination>() {
@Override
public TableDestination apply(ValueInSingleWindow<Foo> value) {
Foo foo = value.getV
浏览 0提问于2017-05-31得票数 0
我想使用允许我在执行加载作业时更新BigQuery模式的。
我使用的是数据流和软件开发工具包中的内置BigQueryIO.write。
我看到使用来自BigQuery应用编程接口的JobConfigurationLoad.setSchemaUpdateOptions(ALLOW_FIELD_ADDITION)是可能的，但是我找不到使用BigQueryIO的等价物。
它是否存在于某个地方，或者我是否可以重写BigQueryIO中的某个部分来执行此操作？
非常感谢,
浏览 4提问于2017-07-27得票数 0
回答已采纳
我有许多文本文件，我想从运行在批处理模式的BigQuery表中导入数据到日期分区的DataflowPipelineRunner表中。与其在运行时插入当前的分区，不如根据每行中提到的日期将其插入到分区中。(不幸的是，我不能使用bq命令行工具直接导入文本文件，因为我需要转换一些值。)
我试图插入，方法是从ParDo函数中输出一个时间戳，该时间戳被窗口加到days中，然后应用该窗口并输出以$和相应日期为后缀的表名。
BigQueryIO.Write.to(new SerializableFunction<BoundedWindow, String>() {
public String
浏览 2提问于2016-09-30得票数 2
是否有任何表单可以动态地写入BigQuery，指定目标表的名称？
现在我有：
bigQueryRQ
.apply(BigQueryIO.Write
.named("Write")
.to("project_name:dataset_name.table_name")
.withSchema(Table.create_auditedTableSchema())
.withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED)
.withWr
浏览 1提问于2015-06-05得票数 1
回答已采纳
是否有可能将确认延迟到子图(PubSubIO.Read以下的所有内容)被成功处理为止？
例如，我们是流从google订阅中读取，然后将一个文件写入GCS，而在另一个分支中，我们使用BigQueryIO.Write写入BigQuery .
我们确实看到，如果出现异常，它将无限期地重试，因为我们处于流模式。但是，如果取消作业并使用代码更改重新部署，则不会重新处理消息。
浏览 4提问于2016-03-15得票数 1
回答已采纳
我需要根据SCollection元素的时间戳将它们保存到不同的每小时BigQuery表中。我试过以下方法-
按(TableName, Iterable[TableRow])对元素进行分组，然后使用BigQueryClient实例将每个Iterable[TableRow]保存到各自的表中。这是不工作的，因为BigQueryClient是不可序列化的。
创建一个SCollection[TableName, PCollection[TableRow]]，然后使用BigQueryIO.Write将每个PCollection[TableRow]保存到各自的BigQuery表中。要创建PColle
浏览 0提问于2017-06-19得票数 0
1回答
我有一个场景，需要执行以下操作：
从GCS中存储的文件中读取数据
将多个转换应用于数据。
在Google中持久化PCollection。
当步骤3成功时，将PCollection写到一个卡夫卡主题。
我的问题是如何在Apache中实现它。我的主要要求是，只有在“插入大查询”成功的情况下，我才能写信给Kafka。
我发现了类似的东西：
其中的数据被写入到全球控制系统和烧烤。但我的要求是，只有在写到BQ成功之后，才能给卡夫卡写信。有没有人知道这是可能的，我是如何做到的？
浏览 4提问于2022-07-06得票数 0
1回答
我使用这段代码从读取数据：
pubsubmessage := pubsubio.Read(s, project, *input, &pubsubio.ReadOptions{Subscription: sub.ID()})
这段代码将写入我的bigquery数据集：
bigqueryio.Write(s, project, *output, pubsubmessage)
我得到以下错误：
panic: schema type must be struct: []uint8
unable to convert []uint8/byte to schema type must be str
浏览 9提问于2022-09-14得票数 2
1回答
我们有一些数据流作业，它最终将结果写入BigQueryIO。
我们希望为数据流作业编写单元测试。我们能够为作业中使用的所有PTransforms和DoDn编写单元测试。但我们必须对管道或作业本身进行单元测试。但是我们不想在单元测试期间用BigQuery编写一些东西。
我们怎么能嘲笑BigQueryIO呢？
我们使用下面的代码将结果写入BigQuery。
.apply(BigQueryIO.Write
.to("my_bigquery_table")
.withSchema(g
浏览 2提问于2015-07-09得票数 1
回答已采纳
我使用以下代码执行管道：
PCollection<TableRow> test1 = ...
test1
.apply(BigQueryIO.Write
.named("test1 write")
.to("project_name:dataset_name.test1")
.withSchema(tableSchema)
.withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED)
浏览 2提问于2015-06-09得票数 1
回答已采纳
我有许多包含数据的文本文件，我希望将它们从以批处理模式运行的DataflowPipelineRunner导入到按日期分区的BigQuery表中。我不想在运行时插入到当天的分区中，而是希望根据每一行中提到的日期插入到分区中。我正在执行下面的程序，但得到的错误是“类型字符串中的方法不适用于参数( BigQuery.IO.Write SerializableFunction() {)”
程序：
PCollection<String> read = p.apply("Read Lines",TextIO.read().from("gs://prasadk/Dat
浏览 6提问于2017-07-19得票数 1
我有一个Apache任务，它使用JDBC从MySQL源代码读取数据，它应该将数据写入BigQuery表。此时不执行转换，稍后将进行转换，因为我现在只想将数据库输出直接写入BigQuery。
这是尝试执行此操作的主要方法：
public static void main(String[] args) {
Options options = PipelineOptionsFactory.fromArgs(args).withValidation().as(Options.class);
Pipeline p = Pipeline.create(option
浏览 2提问于2017-02-21得票数 0
我正在尝试理解管道中转换的生命周期。
我有一条带有几个变换的管线。
Pipeline p = Pipeline.create(options);
p.apply(TextIO.Read.named("ReadLines").from(inputFile))
.apply(new ReadData())
.apply(new Match())
.apply(new Record())
.apply(BigQueryIO.Write
.to(tab
浏览 0提问于2015-05-12得票数 1
1回答
我有大约1500个作业要用Dataflow来实现。这些工作将每天安排。我们可以在作业中使用Bigquery客户端库使用大量的DML语句。列出我对Bigquery配额和限制的关注。
参考资料：https://cloud.google.com/bigquery/quotas
请确认我们是否需要在以下任何一个场景中考虑Bigquery的每日使用限制。
如果我们使用BigqueryIO.write()实现数据插入
如果在Dataflow作业中使用Bigquery客户端库使用DML语句(更新/删除)
请建议一下。
浏览 1提问于2017-11-28得票数 0
回答已采纳
我正在尝试创建一个Bigquery表，作为数据流的一部分。示例显示将模式作为TableFieldSchema实例传递。但是，我所拥有的表依赖于数据，因此最多可以作为PCollection中的一个元素创建。例如：
PCollection<TableRow> quotes = ...;
quotes.apply(BigQueryIO.Write
.named("Write")
.to("my-project:output.output_table")
.withSchema(schema)
.with
浏览 5提问于2015-08-05得票数 2
回答已采纳
我的场景与这里讨论的方案不同：
在本例中，目标是相同的(在执行过程中读取模式，然后将带有该模式的表写入BigQuery)，但我希望在单个管道中完成它。
例如，我希望将CSV文件写入BigQuery，并避免两次获取该文件(一次用于读取架构，一次用于读取数据)。
这个是可能的吗？如果是的话，最好的方法是什么？
我目前的最佳猜测是通过一个侧输出将模式读入PCollection中，然后使用该输出在将数据传递给BigQueryIO.Write之前创建表(带有自定义PTransform)。
浏览 1提问于2015-06-06得票数 0
回答已采纳
数据流流水线：
在GCS ->上载事件(gs:/folder/File.gz)中的一些源上载压缩文件从PubSub I/O -> DoFn Un发送到PubSub -> DataFlow Streaming读取文件事件
static class CustomDoFn extends DoFn<String, String>{
@Override
public void processElement(ProcessContext c) throws Exception {
String gcsPath = c.element();
Open Rea
浏览 4提问于2017-02-18得票数 0
1回答
我按照以下中的说明向BigQuery中的日期分区表写入。我使用一个可序列化的函数来使用$语法将窗口映射到分区位置，并得到以下错误：
Invalid table ID \"table$19700822\". Table IDs must be alphanumeric (plus underscores) and must be at most 1024 characters long.
我是不是漏掉了什么？
编辑添加代码：
p.apply(Window.<TableRow>into(FixedWindows.of(Duration.standardDays(1)))
浏览 3提问于2016-12-22得票数 1
回答已采纳
1回答
我想使用Cloud Dataflow、PubSub和Bigquery将tableRow写入发布订阅消息，然后将它们写入Bigquery。我希望表名、项目id和数据集id是动态的。
我在互联网上看到了下面的代码，我不能理解如何传递数据行参数。
public void PubSub(String projectId , String datasetId,String tableId,String topicId)
PipelineOptions options = PipelineOptionsFactory.create();
DataflowPipelineOpt
浏览 0提问于2018-07-15得票数 0
作为以下问题和答案的后续问题：
我想向google工程团队()确认一下，如果Eugene提出的第三种选择完全可以使用google：
“有一个ParDo，它接受这些键并创建BigQuery表，另一个ParDo将数据和流写到表中”
我的理解是，ParDo/DoFn将处理每个元素，在从ParDo/DoFn的processElement中写入时，我们如何指定表名(从侧输入传入的键的函数)？
谢谢。
用DoFn更新了，由于c.element().value不是pcollection，所以它显然无法工作。
PCollection<KV<String, Iterable<String&g
浏览 0提问于2016-03-14得票数 1
回答已采纳
我在运行时获取BigQuery表名，并在流水线末尾将该名称传递给BigQueryIO.write操作以写入该表。
我为它编写的代码是：
rows.apply("write to BigQuery", BigQueryIO
.writeTableRows()
.withSchema(schema)
.to("projectID:DatasetID."+tablename)
.withWriteDisposition(WriteDisposition.WRITE_TRUNCATE)
.withCreateDisposition
浏览 11提问于2017-07-11得票数 4
1回答
当我尝试使用Apache编写BigQuery时，我得到了：
panic: element type is struct { TaskId string; Connector string; ... },
want struct { TaskId string "json:\"task_id\" bigquery:\"task_id\""; Connector string "json:\"connector\" bigquery:\"connector\""; ... }`
这是我的密码：
pac
浏览 5提问于2021-07-20得票数 1
当我在BigQuery Web中运行查询时，结果显示在一个表中，其中每个字段的名称和类型都是已知的(即使一个字段是COUNT()、AVG()、.操作，当然是已知的字段类型)。然后，可以将结果直接导出为表/json/csv。
我的问题是，当我在java项目中检索查询结果时，例如使用查询：
String query = "SELECT nationality, COUNT(DISTINCT personID) AS population
FROM Dataset.Table
GROUP BY nationality&
浏览 2提问于2015-12-29得票数 3
回答已采纳
我有一个梁管道，定义为：
PCollectionList.of(mycollection1).and(mycollection2)
.apply(new MyTransform())
.apply(BigQueryIO.write()
.to("my_result_table")
.withSchema()
.withFormatFunction()
.withMethod(BigQueryIO.Write.Method.STORAGE_WRITE_API)
浏览 13提问于2022-06-07得票数 0
我能够创建一个数据流管道，它从发布/订阅读取数据，并在处理后以流模式写入大型查询。
现在，我希望以批处理模式运行我的流水线，而不是流模式，以降低成本。
目前，我的流水线正在使用动态目的地的bigquery进行流式插入。我想知道是否有一种方法可以对动态目的地执行批量插入操作。
下面是
public class StarterPipeline {
public interface StarterPipelineOption extends PipelineOptions {
/**
* Set this required option to specify where
浏览 3提问于2018-06-14得票数 2
是否可以在不同的文件上写入窗口结果。这意味着，我需要附加时间来文件前缀或使时间明智的目录，以便我可以访问特定的窗口结果，而不需要额外的过滤器。(就像apache-spark一样)
浏览 3提问于2016-01-25得票数 0
回答已采纳
1回答
我写信给BigQuery在一个光束作业，从一个无界的来源。我使用流插入作为方法。我正在研究如何根据以下建议将行节流到BigQuery
BigQueryIO.Write API没有提供一种设置微批的方法。
我正在考虑使用触发器，但不确定BigQuery是否将窗格中的所有内容分组为一个请求。我已经将触发器设置如下
Window.<Long>into(new GlobalWindows())
.triggering(
Repeatedly.forever(
AfterFirst.of(
Af
浏览 0提问于2019-03-09得票数 1
例如，如果我有一个具有从PubSub读取的5分钟窗口的数据流流作业，我理解如果我在过去两天将时间戳分配给一个元素，就会有一个带有该元素的窗口，如果我使用将每日表输出到BigQueryIO.java中描述的BigQuery的示例，则作业将在带有实际日期的BigQuery表中写入两天前的元素。
我想用窗口元素的时间戳，而不是当前窗口的时间，将过去的元素写入BigQuery表，这可能吗？
现在，我遵循DataflowJavaSDK/sdk/src/main/java/com/google/cloud/dataflow/sdk/io/BigQueryIO.java:中描述的示例
PCollec
浏览 2提问于2015-08-24得票数 5
回答已采纳
正在运行java作业以读取Avro文件，但一直收到错误。我在寻求帮助- 这是代码- // Get Avro Schema
String schemaJson = getSchema(options.getAvroSchema());
Schema schema = new Schema.Parser().parse(schemaJson);
// Check schema field types before starting the Dataflow job
checkFieldTypes(schema);
// Create the Pipeline object with the
浏览 36提问于2020-06-01得票数 0
只有在读取，然后写入(到不同的表)时，我才会得到这个错误。如果我只从表中读取，则不会发生错误。例如，下面的代码不会产生错误。
Pipeline p = Pipeline.create(
PipelineOptionsFactory.fromArgs(args).withValidation().create());
PCollection<TableRow> BigQueryTableRow = p
.apply(BigQueryIO.Read.named("ReadTable")
.from("proje
浏览 3提问于2016-07-20得票数 1
回答已采纳
我对Dataflow不熟悉。我有一个预定义的模式，其中包含一个名为“device”的非重复记录字段：
device.configId: STRING
device.version: STRING
使用ParDo转换，我尝试插入包含此类字段的TableRow，如下所示：
TableRow row = new TableRow();
row.put("field1", "val1");
TableRow device = new TableRow();
device.put("configId", "conf1");
device.p
浏览 0提问于2019-06-13得票数 1
1回答
表的分区
、、
Bigquery现在只允许按日期进行分区。
让我们假设我有10亿个带有inserted_timestamp字段的表行。让我们假设这个字段的日期是一年前。
将现有数据移动到新分区表的正确方法是什么？
编辑的
我看到在Java上有一个优雅的解决方案，版本< 2.0 也在中得到阐述，即将表名(或分区后缀)窗口数据参数化。
但是我错过了2.xBEAM项目上的BigQueryIO.Write，也没有关于从python序列化函数获取窗口时间的示例。
我试着在管道上创建分区，但是如果有大量的分区失败(用100个运行，而用1000个分区运行)。
尽我所能，这是我的代码：
(
浏览 3提问于2017-10-13得票数 0
回答已采纳
1回答
Apache有以下BiqQuery插入重试策略。
如果我指定retryTransientErrors，数据流作业是如何运行的
shouldRetry从BigQuery提供了一个错误，我可以决定是否应该重试。在哪里可以从BigQuery中找到预期的错误？
BiqQuery插入重试策略
alwaysRetry -总是重试所有的失败。
neverRetry --永远不要再尝试任何失败。
retryTransientErrors -重试所有故障，但已知的持久错误除外。
shouldRetry -如果应该重试此失败，则返回true。
背景
当我的Cloud任
浏览 0提问于2019-08-08得票数 1
回答已采纳
有人和我发生过同样的问题吗? Google BigQueryIO.Write会发生未知错误(http代码500)？
我使用Dataflow在4月、5月、6月处理一些数据，使用相同的代码处理4月数据(400 It )并写入BigQuery成功，但是当我处理五月(60 It)或6月(90 It)数据时，它失败了。
4月、5月和6月的数据格式是相同的。
将作者从BigQuery改为TextIO，工作会成功，所以我认为数据格式是好的。
日志仪表板没有任何错误日志..。
系统只存在相同的未知误差
我写的代码在这里：
“执行BigQuery导入作业”后的错误消息：
Workflow
浏览 3提问于2016-07-15得票数 2
回答已采纳
1回答
我需要从数据流中更新和删除BigQuery中的记录。数据来自Pubsub，并带有标识动作Insert、Update、Delete (I，U，D)的标志。插入不是问题。
有更新和删除的建议吗？
浏览 3提问于2020-03-19得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
