2回答
我有一个成功的管道，使用在计算实例上运行的云dataflow将数据从pub/sub传输到bigquery，而不是在实际的dataflow运行器上运行。今天我已经更新了BQ表模式，似乎没有发生新的插入。我可以查看机器上的日志，一切正常- dataflow没有报告任何错误。
有没有办法从bigquery访问流日志以检查错误。编辑:总结我的问题是，我是否能够从apache beam SDK或bigquer
浏览 22提问于2019-11-22得票数 2
回答已采纳
也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。但是，我已经尝试过通过数据流将数据转储到BQ中，并且在作业声称成功之前，输出表似乎不会公开给用户。
浏览 6提问于2016-08-05得票数 1
回答已采纳
1回答
在我们的应用程序中，我们在数据流管道中使用PubsubIO从PubSub读取数据。下面是代码。table",
ParDo.of(new ReadRawdataFromBiqueryTable())); 但是，当我们在此管道中附加BigQuery读取时，由于BigQuery读取速度较慢，因为我们在ParDo中执行此操作，似乎在PubSub订阅服务器中实现了一些默认的流控制设置，因此我可以看到PubSub消息流速率非常慢，但如果我注释掉
浏览 12提问于2020-03-25得票数 1
我创建了一个google流作业，从PubSub读取并插入到BigQuery中。我使用JSON将STREAMING_INSERT数据插入到BiqQuery表中。我正面临插入问题，说明请求的大小超过了10 Mb的允许限制。数据流错误如下所示。根据我的理解，每个记录的大小是1-2Mb，根据我的理解，数据流作业将流数据插入到微批处理中，这导致了这一错误。来自worker的错误消息: jav
浏览 6提问于2022-10-13得票数 0
回答已采纳
我首先将两年的合并数据加载到google存储中。然后尝试使用google逐日分离数据，在数据流中使用分区的概念并将其加载到google云存储中(FYI数据流分区不同于bigquery分区)。但是数据流不允许创建730个分区(长达2年)，因为它击中了413请求实体太大的(管道的序列化JSON表示的大小超过了允许的限制)。
所以我运行了两次数据流作业，它过滤了每年的数据。它每一年过滤一
浏览 2提问于2016-08-10得票数 1
回答已采纳
3回答
只有当数据流作业执行成功完成时，我才想触发云函数。我使用数据流模板(jdbc到BigQuery)从Dataflow UI运行数据流作业。触发云功能的方法是什么？
浏览 4提问于2020-11-25得票数 0
回答已采纳
我正在为BigQuery使用库。我使用来流来自BigQuery的数据：query += '[table] ORDERBY transfer_date LIMIT 10000'; .on('error', console.error)
.on但是，我想<e
浏览 3提问于2017-09-12得票数 0
我想跳过首先下载到我的本地机器，然后上传到云上的步骤。它只运行一次。不是寻找完整的代码，而是任何有人可能从中学到的指针或教程。使用python与google进行交互-云和存储。
浏览 0提问于2018-11-08得票数 1
我们正在编写一个数据流作业，将数据从存储桶中的JSON写入到BigQuery数据集。存储桶和BigQuery数据集都位于区域X中。但是，在区域X中无法使用数据流端点。最近的区域是Y。因此，所有的计算实例都是在区域X中旋转的。但是，数据流作业仍然失败，错误如下：
我们正
浏览 4提问于2020-03-05得票数 0
我正在尝试创建一个数据流(批处理)，它每小时从读取一个文件，解析它并在BigQuery表中写入一个条目。文件是一个.json，在女巫中，每一行都有一个复杂的json。但是，当文件增加时，数据流会花费更多的时间(15分钟，200到300 Mb)或者没有完成并以失败结束(超过1.5GB和350 K行)。我做了一些测试，当我在函数解析中创建一个json示例时，但没有使用input_elem，数据流工作得很好，并在7-8分钟内为每个条目创建一行。
我不知道输油管道的</
浏览 4提问于2020-08-21得票数 0
回答已采纳
我正在使用数据流kafka到bigquery模板。启动数据流作业后，它会在队列中停留一段时间，然后失败，出现以下错误：在应聘工作时，我提供了以下参数：
kafka主题名引导服务器ip和端口(私有ip)bigquery主题名SA，子网(运行kafka服务器
浏览 3提问于2020-12-07得票数 0
我想检查一下在文章"“中也提到的类似错误。2021-03-10T06:02:26.115216545ZWorkflow failed.Causes: S01:Read File from GCS/Read+String To BigQuery Row+Write to BigQuery/NativeWrite failed., BigQueryimport job "dataflow_job_1571207543
浏览 12提问于2021-03-12得票数 0
回答已采纳
我将处理数据和输出的性能与Bigquery表和文件进行了比较，差异是显著的：写入13个文件需要7分钟，写入13个bigquery表需要超过60分钟；请帮帮忙，这可能是我想要做的
浏览 1提问于2015-04-17得票数 1
我想使用最新的google bigquery和dataflow sdk，它可用于python 2.7。我的管道设置如下：*setup(** versionkeywords=[** license="Apache Softwar
浏览 1提问于2019-11-19得票数 0
我正在使用python dataflow.projects().templates().launch()函数启动数据流模板，以启动从jdbc到bigquery模板的数据流作业。
浏览 1提问于2020-11-19得票数 0
1回答
我有一个管道，它需要一个数据流作业才能运行。我使用gcloud命令启动了一个数据流作业，工作时间超过了一个月。但是，由于最近三天，数据流作业在10-20秒内失败，有以下错误日志。我使用的命令是： --bigquery-project my_project
--bigquery-dataset test_dat
浏览 3提问于2022-01-27得票数 0
回答已采纳
我试图处理我的数据流作业试图动态写入BigQuery表目的地的错误。我想指出以下例外情况：
以创建数据集，然后重试写入BigQuery。是否有可能以这种方式捕获异常，如果有，您知道我需要在代码中添加try/catch逻辑吗？
浏览 1提问于2020-03-03得票数 1
3回答
我正在使用数据流作业处理来自事件主题的消息。 问:我如何知道给定的消息来自哪个设备？我是否需要使用某种设备ID手动丰富消息(在设备端)，或者它是由Google Cloud以某种方式提供的？最后，我希望能够将消息存储在数据存储中(BigTable、BigQuery...)以及它的源设备ID。 谢谢！
浏览 47提问于2019-05-02得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
