分配timestampLabel时，数据流作业的PubSub资源设置失败
可能是由于以下原因导致的：
- PubSub资源配置错误：PubSub是一种消息传递系统，用于在分布式系统中传递和传输消息。在数据流作业中，PubSub资源用于接收和发送数据。当分配timestampLabel时，可能是由于PubSub资源的配置错误导致设置失败。解决方法是检查PubSub资源的配置，确保正确设置了相关参数。
- 数据流作业配置错误：数据流作业是指将数据从一个源传输到另一个目的地的过程。在数据流作业中，可能需要使用timestampLabel来标记数据的时间戳。如果数据流作业的配置中没有正确设置timestampLabel，就会导致PubSub资源设置失败。解决方法是检查数据流作业的配置，确保正确设置了timestampLabel。
- 数据格式不匹配：PubSub资源在接收和发送数据时，需要使用一种特定的数据格式。如果数据的格式与PubSub资源的要求不匹配，就会导致设置失败。解决方法是检查数据的格式，确保与PubSub资源的要求相匹配。
- 资源限制：在云计算环境中，每个用户可能会受到资源限制。如果用户的资源配额已经达到上限，就会导致PubSub资源设置失败。解决方法是联系云服务提供商，申请更高的资源配额。
对于这个问题，腾讯云提供了一系列的解决方案和产品，可以帮助用户解决PubSub资源设置失败的问题。具体推荐的产品和产品介绍链接地址如下：
- 腾讯云消息队列 CMQ：腾讯云消息队列 CMQ 是一种高可用、可扩展、高性能的消息队列服务，可以实现消息的可靠传输和分发。它可以作为PubSub资源的替代方案，用于接收和发送数据。了解更多信息，请访问：腾讯云消息队列 CMQ
- 腾讯云数据流服务 CDS：腾讯云数据流服务 CDS 是一种可扩展的数据传输和处理服务，可以帮助用户构建和管理数据流作业。它提供了丰富的功能和工具，可以帮助用户解决数据流作业中的各种问题。了解更多信息，请访问：腾讯云数据流服务 CDS
通过使用腾讯云的相关产品，用户可以更好地解决PubSub资源设置失败的问题，并顺利进行数据流作业的开发和运行。
相关·内容
在修改我的作业以在读取PubSub时开始使用timestampLabel之后，每次我尝试启动作业时，资源设置似乎都会中断，并显示以下错误：
(c8bce90672926e26): Workflow failed. Causes: (5743e5d17dd7bfb7): Step setup_resource_/subscriptions/project-name/subscription-name__streaming_dataflow_internal25: Set up of resource /subscriptions/project-name/subscription-name
浏览 6提问于2017-01-19得票数 0
回答已采纳
我正在使用Dataflow模板(我已经尝试过latest和2020-11-02-00_RC00 of Cloud_PubSub_to_Splunk )，它将数据从公共主题流到splunk。我遵循了的所有步骤。
我的工作论点是：
JOB_NAME=pubsub-to-splunk-$USER-`date +"%Y%m%d-%H%M%S%z"`
gcloud dataflow jobs run $JOB_NAME \
--subnetwork=https://www.googleapis.com/compute/v1/projects/<PROJECT>/reg
浏览 8提问于2020-11-16得票数 0
1回答
继我在谷歌中找到的之后，我尝试做一个示例设置，在pubsub中发布消息，并使用dataflow sql将其加载到bigquery表中。
但是，当我创建数据流作业时，会出现以下错误：
启动SQL作业的无效/不受支持的参数:数据目录中的无效表规范:在为Pubsub主题创建TABLE.CREATE表中为Pubsub源指定的不受支持的模式必须至少包括“event_timestamp”类型的“时间戳”字段
请帮助我解决这个问题，并澄清我以下的疑虑：
是否必须将event_timestamp字段保留在公共模式/数据流sql/bigquery表中？
当我用模式创建pubsub时，它没有在da
浏览 11提问于2022-07-07得票数 0
1回答
我们需要创建一个从PubSub到Elasticsearch的数据流作业，但是该作业不能使出站互联网连接到Elastic。
是否有一种方法在创建时将代理参数传递给Dataflow vm？
找到本文，但代理参数是maven应用程序的一部分，我不知道如何在这里使用它。
谢谢
浏览 16提问于2022-08-04得票数 1
回答已采纳
我的GCP数据流作业立即失败，并显示以下错误消息： Workflow failed. Causes:
Subscription 'projects/project/subscriptions/subscription' not found.
Please supply an existing subscription. 订阅确实存在，我可以在数据流UI中单击它。我以前已经能够运行这个作业，并且它起作用了。只有当我尝试重新部署它时，它才会给出错误。 编辑:这就是我获取pubsub订阅的方式 pipeline
.apply(PubsubIO.readProtos(...)
.
浏览 27提问于2021-04-28得票数 1
回答已采纳
2回答
数据流流式作业未缩减规模
、、、
我有一个数据流作业，它处理从pubsub主题使用的数据，并将数据转换/写入到bigtable实例。自动缩放设置为：
autoscalingAlgorithm=THROUGHPUT_BASED
maxNumWorkers=15
最后一个作业已经运行了大约1个月(作业ID: 2020-11-22_23_08_42-17274274260380601237)。在2020年12月11-12日之前，它运行正常，即自动扩展工作正常，吞吐量更高( CPU利用率更高)，更多的工作线程被利用，当吞吐量下降(相应的CPU利用率)时，它会缩减到1个工作线程。然而，自12月11-12日以来，数据流工作者的数量一直在持
浏览 1提问于2020-12-21得票数 2
我不确定我错过了什么，但不知何故，我无法启动作业，并且在权限不足的情况下失败：
下面是我运行的terraform代码：
resource "google_dataflow_job" "poc-pubsub-stream" {
project = local.project_id
region = local.region
zone = local.zone
name = "poc-pubs
浏览 17提问于2021-12-02得票数 0
我有一个数据流任务，订阅来自PubSub的消息： p.apply("pubsub-topic-read", PubsubIO.readMessagesWithAttributes()
.fromSubscription(options.getPubSubSubscriptionName()).withIdAttribute("uuid")) 我在文档中看到，不能保证不复制，比姆建议使用withIdAttribute。 直到我排空一个现有作业，等待它完成并重新启动另一个作业，然后我看到数以百万计的重复BigQuery记录(我的作业将PubSub消息写入Big
浏览 21提问于2019-04-05得票数 1
我正在浏览谷歌的Firestore to BigQuery pipeline tutorual，我已经到了第10步，在那里我应该设置从我的主题导出到保存在云存储上的avro文件。 但是，当我尝试运行作业时，在执行完教程中提到的操作后，我得到一个错误，告诉我我的项目没有足够的配额来执行工作流。在消息的配额摘要中，我注意到它显示为1230/818 disk GB。这是否意味着该作业需要1230 GB的磁盘空间？目前，Firestore中只有100个文档。在我看来这是错的？ ? 我所有的云存储桶都是空的： ? 但是，当我查看我在page 9上设置的第一个导出作业(从Pubsub主题到Big
浏览 26提问于2019-05-23得票数 0
回答已采纳
我们运行了一个Google批处理作业，它将数据记录写入一个pubsub管道，并有一个单独的流作业，它使用“pubsub to elasticsearch”流模板从PubSub管道中提取数据，并将更新写入我们的Elasticsearch索引。但是，我们不得不终止写入Elastic的流作业，因为在1次尝试之后，我们遇到了多个“向ES写入错误”。再也不允许“错误”了。
从PubSub读取并写入Elasticsearch的任务是写入不是流索引的索引。它实际上需要在索引中更新相同的文档，可能会多次更新。
这项工作需要写入流索引吗？如果不是，我们如何配置数据流作业，使其实际上放慢速度，而不是压倒弹性？
我
浏览 16提问于2022-09-15得票数 0
目前，我正在使用Flex模板从微服务启动作业。我正在尝试找到一种更好的方法(而不是使用作业轮询方法)来获取数据流作业状态。基本上是尝试在数据流作业完成后将数据流作业状态发布到pubsub上。有人能帮我一下吗？
浏览 19提问于2021-01-08得票数 0
3回答
我有一个从PubSub主题读取事件数据的数据流管道。当收到消息时，我执行一个转换步骤，将事件数据与我想要的BigQuery模式相匹配。但是，如果创建的输入不符合模式，则会遇到问题。显然，它被无限重试着写到BigQuery：
Count: 76 RuntimeError: Could not successfully insert rows to BigQuery table
目前，我正在进行大量手动检查，以确保输入是否符合模式，但是，在没有考虑到的情况下，我会积累RuntimeErrors。有没有一种方法可以尝试写到BigQuery，如果这样做失败了，用原始的输入做其他的事情？或者，是否有
浏览 4提问于2018-05-08得票数 4
当我尝试使用服务帐户部署数据流作业时，它会失败，并出现以下错误：
工作流失败。原因:步骤"setup_resource_XXXXXX.subscription-1210256155950706891639“失败。，步骤setup_resource_XXXXXX.subscription-1210256155950706891639:设置资源XXXXXX.subscription-12102561559507068916失败，创建公共订阅projects/XXXXXX/subscriptions/XXXXXX.subscription-12102561559507068916的主题项目
浏览 0提问于2019-05-31得票数 1
回答已采纳
1回答
我有一个流作业，从pubsub读取，然后写到pubsub，在中间做一些基本的处理。
当在SDK2.5.0上工作并“直接”执行它时，它可以按预期工作，并根据需要从一个工人扩展到尽可能多的工作人员。尝试升级到最新版本2.11.0，并尝试使用模板-它工作正常，但不缩放。
附件是两个作业的管道选项。
有什么建议吗？在我所缺少的那两个版本之间有什么可能被改变的？
谢谢,
玉树
澄清
即使我设定了20名工人-我只得到1名。
浏览 0提问于2019-04-08得票数 3
我希望安排数据流，它有来自PubSubIO.readString主题订阅的PubSub。如何使作业在已配置的间隔后终止？我的usecase不是让作业一整天都在运行，所以要计划开始，然后在任务内配置的间隔之后停止。
Pipeline
.apply(PubsubIO.readMessages().fromSubscription("some-subscription"))
浏览 0提问于2018-08-05得票数 1
回答已采纳
1回答
在我们的应用程序中，我们在数据流管道中使用PubsubIO从PubSub读取数据。下面是代码。 PCollection<String> pubsubMsg = pipeline
.apply(PubsubIO.readStrings().fromSubscription(options.getInputSubscription1()))
PCollection<String> groupByBigqueryResult = pubsubMsg.apply("Read from bigquery table",
浏览 12提问于2020-03-25得票数 1
2回答
我正在尝试使用同步拉API来使用Google PubSub消息。这可以在IO连接器库中获得。我想使用KafkaIO将使用的消息写到Kafka。我想使用FlinkRunner来执行作业，因为我们在GCP之外运行这个应用程序。
我面临的问题是，在GCP PubSub中，所消耗的消息没有得到ACK。我已经确认本地Kafka实例具有从GCP PubSub中使用的消息。GCP DataFlow中的文档表明，当管道被一个数据接收器终止时，数据包就会完成，在我的例子中，这就是Kafka。
但是，由于代码在Apache中运行，而不是在GCP DataFlow中运行，所以我认为某些类型的回调与ACK‘in提交的
浏览 3提问于2020-11-08得票数 0
回答已采纳
1回答
我想通过数据流作业使用来自pubsub的数据，并将其存储到GCS的每小时目录中。
什么是最好的方法？
我尝试使用WindowedFilenamePolicy，但它添加了一个额外的group by，并在写入时减慢了写入操作。Dataflow正确地缓冲了数据，但在临时存储桶中写入数据的时间太长。
对于这种相当常见的情况，有什么最佳实践吗？
致以问候，Pari
浏览 12提问于2018-09-07得票数 0
1回答
我正在尝试使用类似于本文末尾详细介绍的apache数据流管道：<code>C0</code>。我尝试下载的goes-16数据集是：<code>C1</code>。因此，我可以创建一个pub/sub主题并将文本数据流式传输到我的pub/sub主题，然后使用apache stream从pub/sub主题下载，但这对我来说似乎是一种倒退。有没有一种方法可以让我在更新时直接使用apache-pubsub从云存储桶中下载，而不必处理pubsub？这似乎是倒退的，因为要创建发布/订阅，我必须创建一个新的数据流作业，该作业将永远运行，因为我总是需要新数据(因此
浏览 21提问于2020-08-06得票数 0
我很好奇在使用云DataFlow和PubSub时确保幂等性的最佳方法是什么？
我们目前有一个在MySQL数据库中处理和存储记录的系统。我很好奇在我们的一些报告中使用DataFlow，但我想了解我需要做些什么，以确保我不会意外地重复计数(或超过双重计数)相同的消息。
我的困惑分为两部分，一是确保我只发送一次信息，二是确保我只处理了一次。
我的直觉如下：
每当我感兴趣的事件记录在我们的MySQL数据库中时，将其转换为PubSub消息并将其发布到PubSub。假设成功，记录与MySQL记录一起返回的MySQL id。这样，如果它有一个PubSub id，我知道我已经发送了它，我不需要再发送它。如果发
浏览 5提问于2016-02-14得票数 5
回答已采纳
1回答
我有一个云数据流管道，如下所示：
从云PubSub读取
进行一些转换并编写CloudSql和GCS
最初没有设置任何最大的work和num，它可以很好地工作，但是需要很长时间来处理大型数据集，然后我指定了一些maxNumWorkers，比如60和numWorkers为6，这很好，但是我们在处理结束时丢失了很多数据
我们也试过这个
-自动标度算法=基于吞吐量的--max_num_workers=5
仍然工作从一个工人开始，并且不会自动缩放。
然而，数据流工人似乎并不是在自动旋转和平衡负载。
浏览 7提问于2020-07-27得票数 0
回答已采纳
1回答
我有一个数据流作业，它转换数据并写入BigQuery (批处理作业)。在写操作完成之后，我想向PubSub发送一条消息，这将触发BigQuery中数据的进一步处理。我已经看到了一些较老的问题/答案，它们暗示这是可能的，但仅限于流作业：
我想知道现在批写作业是否以任何方式支持这一点？不幸的是，我不能使用airflow来编排这一切，因此发送PubSub消息似乎是最简单的方法。
浏览 4提问于2020-09-10得票数 1
我从BigQuery查询数据的数据流作业失败，出现错误：
Query exceeded resource limits for tier 1. Tier 3 or higher required.
同样的Dataflow作业与我的另一个项目一起工作，我无法确定如何在Dataflow API中设置层。
浏览 0提问于2017-03-25得票数 0
1回答
我有一个用户可以投票的应用程序。
我希望我的应用程序能够扩展，所以我决定使用Cloud来聚合存储在Firestore中的计数器。
我已经设置了一个流类型的数据流作业，这样每当用户投票支持某项内容时，它就可以监听公共子主题。
有时我每天有成千上万的用户输入，有时我有几百个.有什么解决办法来“暂停”工作时，它没有收到公共消息一段时间？
目前，我的数据流工作一直在运行，我担心这会花费我很多钱。
如果有人能帮我理解流作业的计费，我们会很感激的。
下面是我的Python管道：
def run(argv=None):
# Config
parser = argparse.ArgumentP
浏览 0提问于2019-04-13得票数 2
回答已采纳
当我的数据流作业试图访问一个秘密时，它会失败：
“线程中的异常”com.google.api.gax.rpc.PermissionDeniedException: io.grpc.StatusRuntimeException: PERMISSION_DENIED:对资源'projects/REDACTED/secrets/REDACTED/versions/latest‘(或者它可能不存在)拒绝的权限'secretmanager.versions.access’。
我使用gcloud dataflow flex-template run启动这项工作。我可以在控制台上查看
浏览 4提问于2021-02-06得票数 1
回答已采纳
很明显，可抢占的实例比不可抢占的实例便宜。在我的组织项目中，每天有400-500个数据流作业在运行。其中有些工作是时间敏感的，而另一些则不是。那么，我是否可以将可抢占的实例用于非时间约束作业，这将使我在整个管道执行中花费更少的费用。目前，我正在运行数据流作业，其配置低于指定。
options.setTempLocation("gs://temp/");
options.setRunner(DataflowRunner.class);
options.setTemplateLocation("gs://temp-locati
浏览 13提问于2020-02-09得票数 5
回答已采纳
我正在将google数据流作业从dataflow javaSDK1.8升级到2.4版本，然后尝试使用--update和-transformNameMapping参数更新其在google云上的现有数据流作业，但我想不出如何正确地编写transformNameMappings，以便升级成功并通过兼容性检查。
我的代码在与错误：Workflow failed. Causes: The new job is not compatible with 2018-04-06_13_48_04-12999941762965935736. The original job has not been aborte
浏览 0提问于2018-04-06得票数 0
我正在尝试使用和使用ApacheBeamSDK2.6.0实现精确的一次交付。
用例非常简单：
“生成器”数据流作业向PubSub主题发送100万条消息。
GenerateSequence
.from(0)
.to(1000000)
.withRate(100000, Duration.standardSeconds(1L));
“归档”数据流作业从PubSub订阅中读取消息，并保存到。
pipeline
.apply("Read events",
PubsubIO.readMes
浏览 1提问于2018-09-20得票数 2
我有一个数据流作业，从pubsub读取，将PubsubMessage转换为TableRow，并使用FILE_LOAD-method (每10分钟，1片)将该行写到BQ。这份工作有时会抛出一个ByteString would be too long-exception。当将这些行连接到( GCS )临时文件时，应该引发此异常，因为您不能附加到GCS文件中。如果我正确地理解了它，就可以让这个异常发生，因为稍后将使用“大型”临时文件加载到BQ，并且附加到一个应该成功的新文件中。但是，我希望在不增加加载作业数量的情况下防止此错误发生，因为我正在接近项目中的每日负载作业配额。
我可以：
将碎片数量增加到
浏览 2提问于2020-06-09得票数 0
1回答
我需要对一些数据执行一个非常简单的转换(从JSON中提取一个字符串)，然后将其写入PubSub -我正尝试使用一个自定义的python Dataflow作业来完成此操作。 我已经写了一个作业，它成功地写回了云存储，但我尝试写回PubSub (无转换)的最简单尝试都会导致错误：JOB_MESSAGE_ERROR: Workflow failed. Causes: Expected custom source to have non-zero number of splits. 有没有人成功地通过数据流从GCS写入PubSub？ 有人能解释一下这里出了什么问题吗？ def run(argv=No
浏览 21提问于2019-07-03得票数 4
回答已采纳
1回答
数据流资源使用
、、、
在遵循数据流教程之后，我使用pub/ tutorial来大查询模板，将JSON记录解析为一个表。约伯已经流了21天了。在此期间，我已经摄取了大约5000条JSON记录，其中包含4个字段(约250个字节)。
本月法案出台后，我开始调查资源的使用情况。我使用了2,017.52 vCPU小时，内存7,565.825 GB小时，总HDD 620,407.918 GB小时。
对于我一直摄入的少量数据来说，这似乎高得离谱。在使用数据流之前，我应该拥有最少的数据量吗？似乎对小箱子来说太过火了。是否有另一种更好的方法来摄取来自pub子主题的数据？在设置使用较少资源的数据流作业时，是否有不同的配置？
浏览 6提问于2022-02-03得票数 0
回答已采纳
数据流流作业从PubSub读取消息并以某种方式处理它。但是有时，例如，由于处理时间很长，这个消息没有按时被加到，而且PubSub会重新传递这条消息。我们可以在数据流日志中看到，实际上，两个相同的消息(相同的message_id)被同时处理。
我的问题是:这个“旧”(首先) PubSub消息会发生什么，它仍然被处理，但实际上已经过期了，因为新的交付刚刚到达。如果第一条消息在第二条消息(重新传递的一条消息)之前最终完成，那么它会继续到下一步还是会被删除(因为过期了)？
浏览 18提问于2022-10-27得票数 0
我对Dataflow很陌生，我将从JavaSDK1.9.0迁移以下代码片段到2.3.0：
//SDK 1.9.0
PCollection<MyType> pubsub = p.apply(
PubsubIO.Read.named("Read from Pubsub")
.topic(myTopic)
.withCoder(SerializableCoder.of(MyType.class))
.timestampLabel("myDate"));
我会把它变成
//SDK 2.3.0
PCollection<MyType>
浏览 1提问于2018-03-27得票数 0
回答已采纳
1回答
我有一个云函数，它将消息发布到PubSub，并触发云运行来执行归档文件过程。当有大文件时，我的cloud Run python代码需要一些时间来处理数据，它看起来像是PubSub在20秒(默认确认截止时间)后重试消息，这将从我的Cloud run触发另一个实例。我已经将确认截止时间增加到600秒，并重新部署了所有内容，但它在20秒后仍在重试消息。我遗漏了什么吗？ 云函数发布消息代码： # Publishes a message
try:
publish_future = publisher.publish(topic_path, data=message_bytes)
浏览 17提问于2021-07-02得票数 2
回答已采纳
我正在更新当前运行的google云数据流作业，从v1.8 Java升级到v2.4 Java，作为该过程的一部分，正如1.x -> 2.x迁移()的发布说明所示，我将按下面的用法更改函数PubsubIO.Read：
PCollection<String> streamData =
pipeline
.apply(PubsubIO.Read
.timestampLabel(PUBSUB_TIMESTAMP_LABEL_KEY)
.topic(options.getPubsubTopic(
浏览 0提问于2018-04-16得票数 0
1回答
我计划在google云平台上启动一个数据流实例来运行一些实验。我想要熟悉并尝试使用apache store从BigQuery中拉取数据，运行一些ETL作业(在python中)和流式作业，最后将结果存储在BigQuery中。
然而，我也担心将我公司的GCP账单送到屋顶上。主要的成本考虑因素是什么，或者估计成本的方法是什么，所以我不会从我的老板那里听到抱怨。
如有任何帮助，将不胜感激，谢谢！
浏览 2提问于2019-08-24得票数 0
我创建了一个google流作业，从PubSub读取并插入到BigQuery中。我使用JSON将STREAMING_INSERT数据插入到BiqQuery表中。我正面临插入问题，说明请求的大小超过了10 Mb的允许限制。数据流错误如下所示。根据我的理解，每个记录的大小是1-2Mb，根据我的理解，数据流作业将流数据插入到微批处理中，这导致了这一错误。
你能不能给我一些解决办法。
来自worker的错误消息: java.lang.RuntimeException:我们观察到一行大小为24625273字节。BigQuery支持高达10 is的请求大小，这一行太大了。您可以更改重试策略，以取消阻塞该管
浏览 6提问于2022-10-13得票数 0
回答已采纳
我正在尝试读取一个GCS blob，其中文件名来自apache束中的以前的p集合。代码示例如下所示。
pubsub = (p | "Read from Topic" >> ReadFromPubSub(topic=topic)
|"decode bytes" >>beam.Map(lambda element: element.decode('utf-8')) # b'"gs://beam-gcs/example.parquet"'
| &#
浏览 0提问于2021-05-09得票数 0
当我把这件事作为我的论文项目时，我在整个数据工程领域真的是个新手，所以请容忍我。
我目前正在为一个电池存储系统开发一个大数据平台，它已经有了每15秒收集一次数据的CloudSQL服务(所以它已经在GCP环境中了)。我的工作是复制它们并在每次A数据传入时传输到BIGQUERY (包括使用Dataprep准备数据)，然后将其实现为机器学习。
我已经找到了几种方法，其中一种是使用数据流，尝试过一次，但它是手动完成的。使用jdbc to bigquery作业。为了满足我的需求(定期运行作业)，我被推荐使用Cloud Composer。
另一方面，我得到了另一个使用PubSub的源，它将作业触发到数据流
浏览 6提问于2020-11-20得票数 0
我目前正在使用Dataflow来处理/按摩来自PubSub的XML文本字符串。我成功地使用DirectRunner为我的-runner标志运行了一个数据流作业。但是，我遇到了一个问题，试图使用与DataflowRunner完全相同的数据流作业来创建数据流资源。
从错误日志(在使用DataflowRunner时)来看，我创建的Dataflow模板似乎不识别：
import xml.etree.ElementTree as ET
每当我在管道中引用ET时，我都会收到"NameError: name‘ET“在运行’generatedPTrans-419‘时没有定义。奇怪的是，我的数据流工作在
浏览 1提问于2020-07-07得票数 0
2回答
我有一个用java编写的apache数据流作业。该作业读取一些数据流DB并修改结果，并将其发布到pubsub。
DB -> Update Object -> Publish
我想要捕获失败记录，同时在pubsub中发布，并将其写入一个单独的文件。
有办法这样做吗？
谢谢
浏览 5提问于2022-09-16得票数 0
我有一些简单的Dataprep作业，可以将GCS数据传输到BQ。直到今天，计划的作业运行良好，但今天，两个作业失败，两个作业在超过半小时到一个小时后成功。我收到的错误消息如下：
java.lang.RuntimeException: Failed to create job with prefix beam_load_clouddataprepcmreportalllobmedia4505510bydataprepadmi_aef678fce2f441eaa9732418fc1a6485_2b57eddf335d0c0b09e3000a805a73d6_00001_00000, reached
浏览 2提问于2020-01-24得票数 0
我有一个从PubSub订阅中读取的流管道。管道应用1小时的固定窗口，并在执行一些转换之后，例如GroupByKey，将数据写入BigQuery。
我的问题是，如果我停止作业执行，当前窗口的数据不会写入BigQuery，这些数据会丢失，因为这些数据既不在订阅中也不在BigQuery中。
浏览 0提问于2015-07-30得票数 1
我正在创建几个指标的监控警报。
下面是两个示例: 1)数据流作业失败2)防火墙规则已更改或新规则已插入
从它创建基于日志的度量和警报是很好的。但它非常通用。如何锁定特定详细信息，如此数据流作业(作业名称)失败或此用户创建的数据流作业失败？防火墙规则也是如此，我如何知道更新了所有规则中的哪条规则？
如何在警报消息本身中包含有问题的作业名称或针点资源？
对于我提供的示例，配置如下：
使用以下筛选器创建防火墙更新度量：
resource.type="gce_firewall_rule" AND jsonPayload.event_subtype="compute.firewa
浏览 0提问于2019-12-04得票数 0
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。然而，我在启动时得到了这个错误：
Message: The resource 'projects/my-project/global/networks/default' was not found
我认为谷歌提供的模板是硬编码的，可以使用default网络。如果我在自动模式下创建default网络，该错误就会消失。但我们不能在生产中使用default网络。
文档提到了一个network参数。我尝试从GCP console UI添加一个名为network的附加参数，传入我们的自定义网络名称。但是我
浏览 12提问于2018-02-01得票数 1
回答已采纳
有些作业仍然处于待定状态，我不能取消它们。
我该怎么取消这份工作。
Web控制台显示如下所示。
“图表仍在分析中。”所有日志都是“没有找到匹配当前筛选器的条目”。作业状态：“开始.”还没有加装取消按钮。
Compute选项卡中没有实例。
我所做的就在下面。我创造了一个流媒体工作。这是一个简单的模板工作，Pubsub订阅了BigQuery。我将machineType设置为e2-microl，因为它只是一个测试。
我也试着用gcloud来排水和取消，但是它不起作用。
$ gcloud dataflow jobs drain --region asia-northeast1 JOBID
Faile
浏览 3提问于2021-02-09得票数 1
回答已采纳
目前我们有一个数据流作业，它从pubsub读取并使用FileIO.writeDynamic将avro文件写入GCS，当我们以每秒10000个事件进行测试时，由于pubsub非常慢，无法更快地处理。下面是我们用来编写的代码片段。我们如何改进？ PCollection<Event> windowedWrites = input.apply("Global Window", Window.<Event>into(new GlobalWindows())
.triggering(Repeatedly.forever(
A
浏览 40提问于2020-09-12得票数 0
考虑以下设置：
Pub/SubDataflow：流作业，用于验证来自Pub/Sub的事件，解压缩并写入BigQueryBigQuery
我们有关于通过Datafow管道的有效事件的计数器，并且观察到计数器比Pub/Sub中可用的事件的数量要高。
注意:似乎我们在BigQuery中也看到了重复的情况，但我们仍在调查这个问题。
在Dataflow日志中可以观察到以下错误：
Pipeline stage consuming pubsub took 1h35m7.83313078s and default ack deadline is 5m.
Consider increasing ack de
浏览 3提问于2021-03-11得票数 1
在每个数据流作业的执行过程中，创建和删除虚拟机(工作池)的作业大约需要2-4分钟。请让我知道有什么方法可以最小化这个问题？或者，我们是否可以在执行数据流作业之前创建用于处理的虚拟机，以便缩短执行时间？
浏览 4提问于2018-02-13得票数 1
假设我有两个GCP项目:项目A和项目B。本质上，我需要使用Dataflow使用项目B从项目A中的订阅集中使用消息。
一旦执行数据流管道，就会得到以下错误：
Warning
2022-07-05T17:30:14.327109904ZQuerying the configuration of Pub/Sub subscription projects/Project-A/subscriptions/my-sub failed. Specific error: PERMISSION_DENIED:
...
{ argument { string_val: "projects/Projec
浏览 23提问于2022-07-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
