在DataflowRunner (Google Cloud Dataflow SDK for Python0.5.5)上运行管道。%2Fworker" 并开始连续报道"refreshing due to a 401“。其中之一是：Refreshing due to a 401 (attempt 1/2) insertId: "zsorfgg1urhvty" jo
浏览 9提问于2017-02-17得票数 0
我在google cloud dataflow上设置了一个作业，它需要超过7个小时才能完成。我的作业ID是2016-10-10_09_29_48-13166717443134662621。只要继续注销"oauth2client.transport :由于401而刷新“即可。是我的工人有什么问题还是出了什么问题？如果是这样，我该如何解决它呢？
浏览 0提问于2016-10-11得票数 0
I1014 15:43:05.446238 140556195309312 dataflow_runner.py:248] 2020-10-14T21:43:01.141Z: JOB_MESSAGE_DETAILEDI1014 15:43:05.446516 140556195309312 dataflow_runner.py:248] 2020-10-14T21:43:01.171Z: JOB_MESSAGE_DETAILEDI1014 15:49:42.444391 140556195309312 datafl
浏览 18提问于2020-10-16得票数 0
回答已采纳
数据流文档演示如何启用
我的系统很复杂，所以很难知道旗子设置是否正确。在gcp UI中是否有一种方法可以查看是否使用了v2？
浏览 11提问于2022-06-14得票数 2
回答已采纳
'[2019-04-17 22:33:43,821] {base_task_runner.py:101} INFO -File "/usr/local/lib/python2.7/dist-packages/apache_beam/runners/
浏览 20提问于2019-04-18得票数 1
tf转换在beam上运行，据我所知，它可以使用多个runner，比如dataflow，spark runner等，但我找不到任何在spark上运行tf转换的例子。我想知道目前是否支持它。
浏览 22提问于2019-04-03得票数 2
回答已采纳
38, 2) <= 104857600, toDecimal(1.00) , toDecimal('5671478512', 38, 2)/104857600) ) ) at com.microsoft.dataflow.FlowRunner$$anonfun$16.apply(FlowRunner.scala:237)$.com$microsoft$dataflow$FlowRunner$$runner</
浏览 4提问于2019-10-29得票数 1
回答已采纳
beam 2.27.0启动我的数据流flex工作流，它一直都很好 entrypoint: python - /dataflow/template/main.py - --project=$PROJECT_ID - --job_name- --disk_size_gb=50
浏览 3提问于2021-08-07得票数 0
回答已采纳
(TimerOrElement.java:67) org.apache.beam.runners.dataflow.util.CloudObjectTranslators.getComponents($100(CloudObjectTranslators.java:51)
org.apache.beam.runners.dataflow</e
浏览 2提问于2018-10-10得票数 1
我得到另一个不匹配类型错误，其中DirectRunner直接将element传递给我的DoFn.process()，而DataflowRunner则传递context。= 'DataflowRunner'(p
| 'some_strings
浏览 0提问于2017-02-12得票数 4
回答已采纳
1回答
我正在读取谷歌酒吧的数据，并将它们加到固定的5分钟窗口中。但是-数据没有被正确触发。我尝试过多种组合，但似乎没有效果。这看起来很简单，但我没能把它做好。在1天的5分钟minutesPerform周期结束后，将数据从pub-sub窗口中读取到5个聚合中。1.使用AfterWatermark.pastEndOfWindow触发。这根本不会产生任何输出。从订阅中读取的消息大约有1000条，但窗口没有输出任何消息。 FixedWindows.of(Duration.standardMinu
浏览 2提问于2020-08-01得票数 0
我尝试在Google Cloud Dataflow中运行Apache光束管道(Python)，这是由Google Cloud Coomposer中的DAG触发的。我的dags文件夹在各自的GCS存储桶中的结构如下： /dags/ dataflow/ setup.py... ,
'runner': 'DataflowRunner&
浏览 16提问于2020-01-13得票数 2
当尝试执行由气流组织的DataFlow作业时，我遇到了一些问题。触发DAG后，我收到以下错误：[2021-05-05 19:35:31,279] {base_task_runner.py- Running command: python /tmp/dataflow50825def-pipeline.py --runner=DataflowRunner --project=pro
浏览 4提问于2021-05-05得票数 0
回答已采纳
我正在使用python运行apache beam包中的dataflow quickstart of wordcount模块。我可以在我的机器上本地运行它。但是，当我试图通过在runner字段中指定dataflow runner来在数据流服务上运行它时，它抛出的错误如下： raise exceptions.HttpError.FromResponse(http_response-Q046=":443"; ma=2592000,h3-Q043=":443"; ma=2592000,qu
浏览 10提问于2021-04-12得票数 0
1回答
我试图从Dataflow管道中将一些数据写入BigQuery表，但是在堆栈驱动程序中，以下错误消息导致写入失败： "error": { { "locationType": "header", } "code": 4
浏览 0提问于2018-10-02得票数 0
1回答
我们已经创建了一个应用程序，它使用Azure AD身份验证，现在面临着使用MSAL库获取刷新令牌的问题。我相信我们应该得到400或401当令牌到期，但不知怎的，我们得到了200与HTML响应。我们还使用了以下指南中建议的AcquireTokenSilent()方法，但是没有任何变化。
浏览 4提问于2021-11-09得票数 0
我想知道是否有一种方法可以使用google dataflow找出文件中的所有行。任何代码样本和指针都会有很大帮助。
浏览 10提问于2016-08-31得票数 1
回答已采纳
1回答
因此，我再次运行python命令： --runner--temp_location gs://<your-gcs-bucket>
浏览 1提问于2018-06-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
