我正在运行一个数据流作业，我认为它应该可以工作，但在1.5小时后失败，看起来像是网络错误。当对数据的子集运行时，它工作得很好。ProcessHttpResponse http_response, method_config=method_config, request=request) apitools.base.py.exceptions.HttpError: HttpError accessing <https://www.googleapis.com/resuma
浏览 27提问于2020-07-09得票数 0
错误是：get()调用上的作业状态返回‘完成’。这是bq等待失败作业的输出：工作作业执行过程中遇到的错误。分页令牌过期对这里会发生什么有什么想法吗？
浏览 1提问于2015-05-24得票数 1
回答已采纳
下面是两个示例: 1)数据流作业失败2)防火墙规则已更改或新规则已插入如何在警报消息本身中包含有问题的作业名称或针点资源？jsonPayload.event_subtype="compute.fi
浏览 0提问于2019-12-04得票数 0
我正在尝试使用使用python的google预定义模板部署数据流作业GCSPATH="gs://dataflow-templates/latest.launch(projectId=PROJECT, gcsPath=GCSPATH, body=BODY)但我知道这个错误：
raise HttpError(resp, content, uri=self.uri)
浏览 0提问于2019-01-24得票数 0
回答已采纳
3回答
只有当数据流作业执行成功完成时，我才想触发云函数。我使用数据流模板(jdbc到BigQuery)从Dataflow UI运行数据流作业。作业执行后，没有任何选项触发任何云函数或其他东西。另外，我不能修改模板代码。触发云功能的方法是什么？
浏览 4提问于2020-11-25得票数 0
回答已采纳
1回答
这个库作为额外的包('--extra_package=beam-nuggets-0.17.1.tar.gz')传递给数据流作业。云函数用于创建数据流作业。代码工作正常，创建了Dataflow作业，数据迁移成功。 在sqlalchemy - 1.4的最新版本发布后，我们无法部署云函数。云函数部署失败，异常如下。 ? 但是，当我们从云函数触发数据流作业时，我们得到了与上面提到的相同的错误。导致此问题的原因是，beam-nugget
浏览 27提问于2021-03-19得票数 0
回答已采纳
所以我的问题是，如果我有一个数据流作业，它会写到BigQuery或BigTable，但是作业失败了。数据流是否能够在启动前回滚到状态，或者我的表中可能只是部分数据？我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。
但是，我已经尝试过通过数据流将数据转储到BQ中，并且在作业声称成功之前，输出表似乎不会公开给用户。
浏览 6提问于2016-08-05得票数 1
回答已采纳
在执行数据流作业时，我得到了一个持续的错误：
它并没有给出谷歌数据流工作持续失败的具体原因。如何知
浏览 4提问于2016-08-29得票数 1
回答已采纳
在谷歌云数据流/光束中，我们可以使用这个Metrics API收集应用程序指标，并且可以使用另一个API在应用程序中查询它。请建议如何在谷歌云数据流中实现这一点。
浏览 33提问于2020-01-14得票数 0
回答已采纳
下面是上下文，我使用以下路径在bigquery上创建了一个数据集现在，我想在数据流上运行一个作业，然后在google中输入以下命令
控制台接
浏览 1提问于2021-09-29得票数 1
1回答
我有一个数据流的工作，我正试图‘排水’。对排水方案的解释说
数据流将停止所有数据的摄取，但将尝试完成所有剩余的缓冲数据的处理。编辑:这是作业ID - 2017-10-30_19_59_30-14251132252018661885
浏览 3提问于2017-10-31得票数 1
回答已采纳
我注意到，在随机时刻，API返回以下错误：通常情况下，如果作业再次运行，它就会正常工作。在我的代码下面。我想了解造成这种情况的原因，更重要的是如何防止错误阻止进程(例如，当抛出此错误时，如何使用相同的值再次运行作业)。else: changes.extend(history['his
浏览 6提问于2015-06-29得票数 1
回答已采纳
我在servlet中打包了一个数据流作业(在BlockingDataflowPipelineRunner模式下运行，每天由CRON作业(在AppEngine中)触发)。在日志记录中，这是在Dataflow日志之后可以找到的内容(虽然我看不到任何“停止数据流工作人员”日志，这很奇怪.)：
javax.net.ssl.SSLHandshakeException: Remote
浏览 7提问于2017-08-03得票数 0
回答已采纳
请查找以下测试作业详细信息: JobID : 2017-10-17_22_03_20-14123260585966292858作业名称:limit-test- find 12-1508302687176批次:批次开始时间:2017.10.18，10:33:21 AM状态:正在取消...区域:us-Cental1
作业日志详细信息: 2017-10-18 (11:34:56)工作流失败。原因：(b2725d597b8162b3)：数据流似乎卡住了。请联系我。(b2725d597b81635e)：工作流<em
浏览 2提问于2017-10-18得票数 0
数据流作业在我的仪表板上乱七八糟，我想从我的项目中删除失败的作业。但在仪表板中，我看不到任何删除数据流作业的选项。我至少在寻找下面这样的东西，要删除所有作业，
$ gcloud beta dataflow jobs delete
浏览 0提问于2017-09-04得票数 17
1回答
我正在尝试使用SQL代理作业运行SSIS作业(Management Studio 2016)。SSIS作业如下所示:源: Oracle到另一个共享文件夹(网络)上的目标: Excel文件。在没有设置代理的情况下(它在我身上失败了几次)，我得到了这个消息。谢谢
“以用户身份执行消息: OMH\Istcrmt。结束错误: 2016-12-01 12:43:18.35代码: 0xC0047017来源:数据流任务SSIS.Pipeline描述: Excel目标验证<e
浏览 1提问于2016-12-02得票数 1
我正在工作的投标2008 SSIS包在到达包中的任何数据流任务时失败了验证。我能够运行的SSIS包在投标2008在我的计算机本地。当我通过SQL代理作业运行SSIS包时，该包将失败，下面的错误消息如下所示。我已经研究了错误代码0x80004005和错误代码0xC004706B通过谷歌搜索，但没有发现任何有用的东西。调试SSIS包能够在我的计算机上本地运行，但当我试图使用与原始SQL代理作业完全相同的新SQL代理作业设置运行时，将失败。结束错误: 2014-08-14 1
浏览 3提问于2014-08-14得票数 0
目前，我正在使用Flex模板从微服务启动作业。我正在尝试找到一种更好的方法(而不是使用作业轮询方法)来获取数据流作业状态。基本上是尝试在数据流作业完成后将数据流作业状态发布到pubsub上。
浏览 19提问于2021-01-08得票数 0
我们正在编写一个数据流作业，将数据从存储桶中的JSON写入到BigQuery数据集。存储桶和BigQuery数据集都位于区域X中。但是，在区域X中无法使用数据流端点。最近的区域是Y。因此，我已经将Dataflow作业区域设置为Y，但区域设置为X。因此，所有的计算实例都是在区域X中旋转的。但是，数据流作业仍然失败，错误如下：
所使用的光束版本是2.17，SDK是Python SD
浏览 4提问于2020-03-05得票数 0
我有一个包含一个数据流任务的包。在数据流任务中，它将数据从一个数据库复制到另一个归档数据库。当我运行它时，数据流任务是成功的(每条记录都被复制)。数据流任务将得到一个绿色滴答。"我包括了一张截图：输出基本上只说：
SSIS包"c:\Users\Kim\Documen
浏览 7提问于2014-08-12得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
