GCP PubSub:创建配置类以发布消息
GCP PubSub是Google Cloud Platform（GCP）提供的一种消息传递服务，用于在分布式系统中发布和订阅消息。它可以帮助开发人员构建可扩展的、异步的、事件驱动的应用程序。
PubSub的主要概念包括发布者（Publisher）、主题（Topic）、订阅者（Subscriber）和消息（Message）。发布者负责将消息发布到特定的主题上，而订阅者则订阅感兴趣的主题以接收相应的消息。
PubSub的优势包括：
- 可扩展性：PubSub可以处理大规模的消息传递，适用于高并发和大数据量的场景。
- 异步通信：PubSub采用异步通信模式，发布者和订阅者之间解耦，提高系统的灵活性和可靠性。
- 可靠性：PubSub提供了持久化存储和消息传递保证，确保消息的可靠传递和处理。
- 实时性：PubSub能够以低延迟的方式传递消息，适用于实时数据处理和通知场景。
PubSub的应用场景包括：
- 实时数据处理：PubSub可以用于处理实时生成的数据流，如日志、传感器数据等。
- 事件驱动架构：PubSub可以用于构建事件驱动的架构，实现系统各个组件之间的解耦和灵活性。
- 消息队列：PubSub可以用作消息队列，实现任务的异步处理和解耦。
- 实时通知和推送：PubSub可以用于实现实时通知和推送功能，如即时聊天、实时监控等。
对于GCP PubSub的具体配置和使用，可以参考腾讯云提供的相关产品：腾讯云消息队列 CMQ。CMQ是腾讯云提供的消息队列服务，类似于GCP PubSub，可以满足分布式系统中的消息传递需求。
相关·内容
下面的代码从->源主题获取消息，并根据模板pubsub对其进行转换，然后将转换后的消息发布到目标主题。
但是为了提高性能，我需要在parallel.That中完成这个任务，我需要轮询500条消息，然后并行转换它，然后将它们发布到目标主题。
从camel gcp组件文档中，我相信maxMessagesPerPoll和concurrentConsumers参数会做job.Due，因为缺少文档，我不确定它内部是如何工作的。
我的意思是a)如果我轮询了500条消息，它是否会创建500条并行路由来处理消息并将其发布到目标主题b)消息的排序如何c)我是否应该考虑将并行处理EIP作为替代方案
等。
这
浏览 4提问于2020-04-29得票数 1
按照在GitHub https://github.com/spring-cloud/spring-cloud-gcp/tree/master/spring-cloud-gcp-samples/spring-cloud-gcp-pubsub-polling-binder-sample中找到的有关来自PubSub订阅的轮询消息的示例，我想知道... 是否可以让PollableMessageSource检索List<Message<?>>，而不是每次轮询一条消息？ 我见过只在Source类型的对象中使用@Poller表示法，而没有在Processor或Sink中使用。例如，
浏览 31提问于2021-01-14得票数 0
我有一个spring服务，订阅来自google cloud pubsub (拉取)主题的消息。它总体上工作正常。但我想要更多地控制重新发送的消息。我的服务有时需要阻止消息，或者只是让ackDeadline通过，这样我以后就会再次获得消息。在测试单个消息时，nack消息几乎立即返回给我，而那些我根本没有确认或nack的消息，在ackDeadline默认10秒后返回。我希望它推迟对这些消息的重复消费。我以为重试设置就是为这种情况设计的。我还应该提到的是，我目前正在使用模拟器进行本地测试，并从代码创建订阅。我正在使用PubSubAdmin进行管理。 根据此docu，我已尝试在我的配置文件配置中设置
浏览 37提问于2019-02-05得票数 3
回答已采纳
1回答
GCP多账户自动成本控制服务
、、、、
我已经使用GCP指南中的示例代码来创建Python函数，以便在预算警报表明项目超出支出限制时发送消息并禁用项目计费。预算警报使用pubsub来激活Cloud函数。
使用示例代码方法，云函数在被监视的项目中。该项目由一个特定的Google帐户拥有，当发布预算警报时，该帐户拥有使用pubsub的预算。
我想提供云功能到其他谷歌帐户作为一项服务。我想要做的是，当我自己的帐户之外的Google帐户中触发一个预算警报时，就会向我的Google帐户下的一个项目的云函数发送一个pubsub消息。
在我看来，这就是pubsub的目的，但每当我尝试配置这种方法时，我发现我唯一能做到的组合就是将预算和云功能放在同
浏览 4提问于2021-10-20得票数 1
1回答
我正在研究在GCP的K8S托管平台中实现微服务Saga模式的解决方案。有两个选项:事件、Tram和Axon。然而，这些框架似乎不支持由google- cloud -Pubsub等云提供商管理消息代理，而我不想将Kafka或RabbitMQ部署到K8S，因为GCP已经支持PubSub。
那么，有没有办法集成Eventulate或Axon来使用谷歌云PubSub呢？谢谢
浏览 5提问于2020-08-25得票数 0
如何消费来自pubsub的多条消息？这似乎是一个简单的问题，应该有简单的解决方案，但目前我可以找到使用spring-cloud-gcp-pubsub从pubsub中使用批量记录的简单方法。
我使用spring-cloud-gcp-pubsub来消费来自pubsub的消息，并在spring boot应用程序中处理它们。我目前的设置非常简单，我有使用记录的PubSubInboundChannelAdapter和ServiceActivator。经过研究，我发现了spring集成Aggregators，但它们似乎不是一个很好的方法，因为它不容易向下游传播确认。我是不是漏掉了什么？如何批量消费消息？
浏览 0提问于2019-08-30得票数 0
我对GCP平台比较陌生。我需要创建一个系统，其中我的团队得到通知，无论何时收到来自那里的客户的电子邮件。
我必须创建一个系统，这是发布由电子邮件id过滤的pubsub主题的消息。
示例:我只想发布" to“和"From”字段中包含"example@gmail.com“的那些消息/电子邮件
我已经参考了在线文档，但找不到解决方法。使用GCP可以做到这点吗？如果没有，有没有其他服务可以让我达到同样的目的？
我们使用Gmail作为电子邮件客户端
谢谢
浏览 2提问于2020-10-01得票数 0
2回答
我在Google中有以下设置：
将消息发布到Google主题的应用程序“生成器”。
使用唯一消息的应用程序'worker‘。
任何无效的PubSub消息都应该以“死信”主题结束。
这个主题应该有一个“死信”主题，其中无效的消息结束。然而，每当我通过Terraform配置它时，google云控制台就会提到，我没有将“订户”和“publisher”角色附加到我的项目公共服务帐户：
我有以下地形结构，似乎是正确的AFAIK：
resource "google_project_service_identity" "pubsub_sa"
浏览 1提问于2021-04-15得票数 1
1回答
我正在努力从云流处理器正在写入的目标通道读取消息。
我在测试容器中运行了用于发布/订阅的gcp仿真器。我能够成功地将消息发送到输入队列/主题(对不起，我来自JMS背景，不确定哪个术语是gcp pub/sub的正确术语)
spring流配置：
spring.cloud.gcp.pubsub.emulator-host=localhost:8085
spring.cloud.gcp.pubsub.project-id=project-treeline
spring.cloud.gcp.project-id=project-treeline
spring.cloud.stream.bindings.
浏览 25提问于2019-08-21得票数 1
回答已采纳
2回答
我正在尝试使用同步拉API来使用Google PubSub消息。这可以在IO连接器库中获得。我想使用KafkaIO将使用的消息写到Kafka。我想使用FlinkRunner来执行作业，因为我们在GCP之外运行这个应用程序。
我面临的问题是，在GCP PubSub中，所消耗的消息没有得到ACK。我已经确认本地Kafka实例具有从GCP PubSub中使用的消息。GCP DataFlow中的文档表明，当管道被一个数据接收器终止时，数据包就会完成，在我的例子中，这就是Kafka。
但是，由于代码在Apache中运行，而不是在GCP DataFlow中运行，所以我认为某些类型的回调与ACK‘in提交的
浏览 3提问于2020-11-08得票数 0
回答已采纳
2回答
我的服务需要基于消息中的在PubSub上放置一条消息。
这些是PubSub Config
public class NotificationPublisherConfiguration {
@Bean(name="websocketPublisher")
public Publisher websocketPublisher(@Value("${gcp.projectId}") String gcpProjectId, @Value("${gcp.pubsub.notificationWebsocket}") String to
浏览 10提问于2022-08-17得票数 1
有没有人成功地使用Jmeter将消息加载到Google PubSub上。我在网上找不到太多关于这个话题的东西。有一个GCP pubSub插件，但它没有太多关于如何使用它的说明。可以使用JMS Publisher吗？我对上面的任何一个都没有太多的经验。
浏览 2提问于2021-05-05得票数 0
当我收到GCP Pub/Sub的信息时，我发现了一种奇怪的行为。以下代码是如何使用注册订阅的
gcp.go
package gcp
import (
"context"
"path"
"runtime"
"google.golang.org/api/option"
"cloud.google.com/go/pubsub"
)
// PubsubClient is the GCP pubsub service client.
var PubsubClient *pubs
浏览 1提问于2020-06-29得票数 2
我正在使用PubSub来捕获实时数据。然后使用GCP数据流将数据流式传输到BigQuery中。我正在使用Java进行数据流。
我想尝试一下DataFlow中给出的模板。流程为: PubSub --> DataFlow --> BigQuery
目前，我正在将字符串格式的消息发送到PubSub (这里使用Python )。但是数据流中的模板只接受JSON消息。python库不允许我发布JSON消息。有没有人能给我一个建议，把JSON消息发布到PubSub，这样我就可以使用数据流模板来完成这项工作。
浏览 18提问于2018-02-21得票数 0
1回答
在Spring应用程序中，我使用spring流为PubSub (spring gcp-pubsub binder)订阅一个主题。
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-stream</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupI
浏览 3提问于2020-07-03得票数 1
尝试从Spring boot应用程序连接到本地谷歌PubSub仿真器进行测试。
使用下面的配置
spring.cloud.gcp.pubsub.emulator-host=localhost:8085
在8085上成功启动本地仿真器，也设置了PUBSUB_EMULATOR_HOST=localhost:8085
注意:当连接到实际的谷歌PubSub主题时，一切都很正常。
浏览 0提问于2018-07-12得票数 1
我正在使用回调函数向google发送消息，该函数读取来自未来的消息id。使用以下代码：
"""Publishes multiple messages to a Pub/Sub topic with an error handler."""
import time
from google.cloud import pubsub_v1
# ...
publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_name)
d
浏览 4提问于2019-09-26得票数 0
回答已采纳
我希望能够将Google平台( GCP ) Pubsub订阅的消息转发到另一个GCP主题，这可能是在另一个GCP项目中。
是否可以通过推送端点URL (目标主题的url是什么？)
通过API进行其他一些简单的配置？
(解决办法)或者，您将如何提供此功能？
浏览 3提问于2016-11-17得票数 4
在GCP控制台中，您可以清除订阅中的消息。看起来"gcloud pubsub订阅“不支持”清除消息“命令。还有其他库或API的最佳替代方案是什么？
浏览 3提问于2022-02-10得票数 1
我正在使用以下GCP发布/订阅REST API来拉取和确认消息。拉取消息：-
POST https://pubsub.googleapis.com/v1/projects/myproject/subscriptions/mysubscription:pull
{
"returnImmediately": "false",
"maxMessages": "10"
}
确认消息：-
POST https://pubsub.googleapis.com/v1/projects/myproject/subscriptions/my
浏览 5提问于2021-11-25得票数 0
当我在GCP环境中测试应用程序时，我遇到了非常奇怪的浮动bug()。我找不到复制的具体步骤，但它确实时不时地发生。 我看到该消息已被成功确认： 2019-12-06 12:37:47.348 INFO 1 --- [sub-subscriber3] .i.g.MyAcknowledgementHandler : Acknowledged message - 1575635858865987 我有以下代码需要确认： var generation = message.getHeaders().get("objectGeneration");
pu
浏览 33提问于2019-12-09得票数 2
我使用的是Google发布/订阅教程中的示例代码。尝试发布消息时，抛出异常: 503无法连接到所有地址。我为服务帐户分配了发布/订阅发布者角色。直到前天，一切都很好。 从控制台或gcloud命令发布消息时没有问题。Cloud Functions是我的订阅。 以下是教程的链接： https://cloud.google.com/pubsub/docs/samples/pubsub-publish-with-error-handler 以下是软件包及其版本： cachetools==4.2.2 certifi==2021.5.30 charset-normalizer==2.0.3
goo
浏览 176提问于2021-07-23得票数 0
回答已采纳
在GCP /Sub中，我有一个主题和一个Subscription1，并且已经开始发布消息。
我可以添加另一个订阅，Subscription2和重播在创建Subscription2之前发布的旧消息吗？它会允许吗？(卡夫卡允许)
在什么时候，我将失去对消息的访问(在保留期内)，删除所有订阅？保留至少一个活动订阅是否允许PubSub添加新订阅并重播旧消息？
我是否也可以将留用期延长至7天以上？
编辑:消息将持久化到DB，但我更感兴趣的是发布/子体系结构。
浏览 0提问于2019-11-15得票数 4
回答已采纳
我在mongodb云平台中有一个节点js应用程序，它将用于发布100万条消息到GCP pubsub.Since中的一个主题平台不支持npm包@google- cloud /pubsub，我们使用API reference for Pubsub.Upon负载测试应用程序来实现它，我可以看到每条消息发布到topic.Ideally需要50秒它应该花费不到5 secs.It大约30秒用于access_token API调用和20秒用于消息发布call.Since每个消息发布是一个独立的事件。我们不能维护会话来存储云并重用它，并且API_KEY身份验证方法对于GCP pubsub是不可用的，与使用库
浏览 20提问于2021-02-04得票数 1
我试图从实时公共projects/pubsub-public-data/topics/taxirides-realtime流中读取消息，而且似乎我处理数据的速度不够快，或者确认存在问题。“”不断增加我正在做的任何事情(即使我在运行代码之前清除了这些消息)。我尝试在我的家庭Windows 10 PC上运行相同的代码，从基于GCP的Ubuntu和GCP控制台终端运行相同的代码，结果相同。
附加信息:在我的GCP项目中，我为公共projects/pubsub-public-data/topics/taxirides-realtime PubSub主题和我的应用程序创建了一个订阅的“出租车乘客-客户端
浏览 4提问于2020-01-17得票数 2
回答已采纳
1回答
我正在使用grafana来监控我的服务，我有一个新的服务，使用spring-cloud-gcp-starter-pubsub处理google pubsub，我想监控pubsub订阅，以显示有多少条消息被确认，有多少条消息处于滞后状态，有什么方法可以实现吗？
浏览 2提问于2018-05-21得票数 0
在启用Exactly once delivery和确认截止日期设置为600s的情况下，消息接收方仍然会在60年代或更短的时间内收到消息。这是我当前的测试代码：
final Subscriber subscriber = pubSubTemplate.getPubSubSubscriberTemplate().
subscribe("projects/xxxx/subscriptions/xxx-topic-sub", m -> {
final String s = m.getPubsu
浏览 18提问于2022-07-22得票数 0
我们正在开发一个服务，用于在GCP Firestore中存储内部数据。对于数据中的某些更改，我们需要向外部服务发送消息。
为了确保可靠性，我们希望在并且只有当更改我们内部数据的事务被提交时才发送消息。
为了实现这个目标，我们将使用模式。因此，我们创建了一个Firestore集合，并将新的事件/消息作为文档附加到其中。因为Firestore没有事务WAL (至少作为公共API)的概念，所以我们不能使用模式。所以我们唯一的选择就是模式。但是，这导致消息排序不足，因为我们无法确定事务性发件箱集合中的哪些事件是首先创建的。请注意，仅在应用程序端的文档时间戳不是一个选项，因为它不能告诉我们哪个事务是先提
浏览 3提问于2021-10-14得票数 0
回答已采纳
我正在我的应用程序中处理pubsub订阅。我想知道如何通过端点在python中编写推送订阅代码。 下面是我尝试过的代码： > from google.cloud import pubsub_v1
> from google.oauth2 import service_account
> gcp_service_account_credential_path = 'gcp-service-account.json'
>credentials=service_account.Credentials.from_service_account_fil
浏览 37提问于2019-03-25得票数 2
我说‘不像预期的那样工作’，但实际上更像是‘我真的不知道我是否在这里做正确的工作’，我觉得我在混合来自不同方法的东西，并且没有真正的相互关联。
现在，我一直在使用Streams来处理来自PubSub订阅的字符串类型的消息，到目前为止，消息中的消息没有太多的麻烦。
我现在想要实现的是收集，比方说，1000消息，处理它们并将它们发送到另一个PubSub主题。仍然不确定是否将它们作为一个列表发送，或者像现在这样单独发送，但所有这些都是同时进行的(这不应该与这个问题相关)。
现在我刚刚发现了下面的特性。
spring.cloud.stream.bindings.input.consumer.batch
浏览 3提问于2021-01-11得票数 0
回答已采纳
2回答
描述
I有一个卡夫卡连接分布式模式的pubSubSource连接器，它只是简单地从PubSub订阅中读取并写入一个Kafka主题。问题是，即使我要向GCP PubSub发布一条消息，我也要在我的Kafka主题中写两次这个消息。。
如何繁殖
部署Kafka和Kafka连接
创建具有以下pubSubSource配置的连接器：
内容类型: application/json“-d”{“名称”："pubSubSource"，"config"：{ "org.apache.kafka.connect.json.JsonConverter"，"key.c
浏览 1提问于2021-02-24得票数 1
回答已采纳
我正在尝试使用LorixOne网关将GCP与loraserver集成在一起，我正在遵循https://www.loraserver.io/guides/google-cloud-platform/的指南，但是我的消息没有通过pubsub到达loraserver。 我的设置如下: lora终端设备->运行loraserver的Lora base OS -> GCP IoT核心-> GCP Pubsub -> VM的LorixOne网关 我可以看到所有的消息都到达了IoT核心，但是在pubsub或lora app-server上看不到任何东西。 我正在遵循https://
浏览 9提问于2019-05-09得票数 0
2回答
我正在尝试创建一个单独的类，只是为了连接到GCPPUB.I。我有以下类，它可以成功地连接并将消息推送到gcp。但问题是，每次它使用GCP凭证验证来自我的应用程序的连接时。我想在连续发布消息之后获得一次连接吗?有没有一种方法，我可以分离我的代码，以便只有在现有连接为空的情况下才获得连接，然后在那里发布消息?只获得一个连接是正确的方式吗？
@Slf4j
public class GCPMessagePublisher {
private static final String PROJECT_ID = "myprojectId";
Publisher publis
浏览 27提问于2020-02-28得票数 2
我在GCP项目PubSub中订阅了A，在A中运行了Stream应用程序。
PubSub订阅在A中引用GCP项目B中的主题foo。该应用程序目前只能访问该订阅(但不能访问B中的该主题)。这应该是一个有效的配置。
但是，PubSubChannelProvisioner似乎希望确保主题的存在，并抛出一个异常：
创建使用者绑定失败；30秒内重新尝试org.springframework.cloud.stream.provisioning.ProvisioningException:不存在的项目/A/主题/foo主题。在org.springframework.cloud.gcp.stream.bind
浏览 2提问于2020-05-12得票数 3
1回答
上下文
我正在从事一个项目，在这个项目中，我们将在特定的GCP项目PubSub项目STAGE-1中获取关于一个GCP主题的实时数据。我们还有其他GCP项目(我们将其视为较低级别的环境)，例如DEV-1、QA-1等，在这些项目中，我们希望将这些消息重新发布到数据实时数据中，这只是STAGE-1 GCP项目下的主题的补充。
问题
是否有一种方法可以将消息重新发布(桥)配置为跨GCP项目的其他PubSub主题？
如果云PubSub本机不支持这种设置，那么可能采用什么方法呢？
P.S.我是PubSub的新手。
提前谢谢。干杯:)
浏览 2提问于2021-11-19得票数 0
1回答
我需要将消息接收到我的BigQuery表，我想知道使用这些消息的最佳方式是什么。我在AWS的Kafka服务器会生成AVRO消息，根据我所看到的，Dataflow需要接收JSON格式的消息。因此，我搜索并找到了一篇文章，解释了如何向PubSub接收消息，但在PubSub上，我只看到在这种体系结构中，他们在GCP上创建了一个Kafka来生成消息。我需要知道的是：
可以从外部的Kafka服务器在PubSub上接收AVRO消息，然后使用messages反序列化消息，将其发送到Dataflow，并最终将其发送到BigQuery表？
还是我需要创建一个Kafka并使用它来使用来自外部服务器
浏览 1提问于2021-04-27得票数 3
回答已采纳
目前，我们正在开发GCP项目中的spring引导应用程序，它连接到同一个GCP项目中的PubSub端点，但也连接到另一个GCP项目中的PubSub端点。我想使用普通的spring组件，但是对于这些组件，我没有机会设置到第二个GCP项目的第二个PubSub连接。另外，如果我有一个服务帐户，使用PubSubTemplate对象，我就不可能在另一个项目中针对一个主题，而不是服务帐户中的当前主题。是实现/扩展PubSubAdmin/PubSubTemplate的唯一方法，还是也有类似于JPA数据库的多个连接和模板的解决方案？
亲切问候斯文
浏览 0提问于2019-08-01得票数 1
回答已采纳
我的Apache Camel应用程序从gcp pubsub subscrption producer-sub获取消息，然后在处理和转换消息后将它们放入gcp pubsub topic1中。
这是我的camel订阅代码
from("google-pubsub://mygcpcloudpubsub-270721:producer-sub?concurrentConsumers=10&maxMessagesPerPoll=1") .process(新路由(TranslationProcessor))。to("google-pubsub://mygcpcloudpubs
浏览 7提问于2020-05-28得票数 0
我目前正在使用以下方法https://docs.spring.io/spring-cloud-gcp/docs/1.2.4.BUILD-SNAPSHOT/reference/html/#spring-integration集成PubSub 基本上，我订阅了一个主题，我收到消息并对其做一些事情。 我想，在我的业务规则出现任何错误的情况下(比如因为X，Y，Z原因而不接受消息)，将其发送到dlq。 我看到就在一个半月前，谷歌推出了PubSub的DLQ：https://cloud.google.com/pubsub/docs/dead-letter-topics 但我不确定将其与spring集成方法
浏览 28提问于2020-07-21得票数 1
回答已采纳
我不知道我是否要疯了，或者这是否是一个没有记录的限制(我已经浏览了GCP文档)：
是否可能在“主题A”上有一个带有pubsub触发器的云函数，而在该云函数中，向“topic B”发布一条消息。
我尝试过其他所有具有相同代码运行的触发器(云函数作为HTTP触发器、云存储触发器、Firebase触发器)，它们都成功地将发布到主题中。但是，当我(几乎字面上)将我的代码复制到一个pubsub触发器中时，当它尝试将自己的消息发布到下一个主题时，它只会挂起。该函数在尝试发布时只是超时。
因此，概括地说，在GCP中是否可能出现以下情况？
PubSub主题A->云功能-> Pubsub
谢谢您的任
浏览 2提问于2021-07-09得票数 0
回答已采纳
1回答
我正在试用google部署管理器。
我已经创建了一个YAML文件，在该文件中，我要为主题创建一个主题和一个推送订阅。
resources:
- name: pubsub-topic
type: gcp-types/pubsub-v1:projects.topics
properties:
topic: "topic-01"
- name: pubsub-sub
type: gcp-types/pubsub-v1:projects.subscriptions
properties:
subscription:
浏览 2提问于2019-07-02得票数 1
回答已采纳
我正在为使用StorageNotification，但我一直收到以下错误(从kubectl describe获取)
存储化-控制器更新调用失败:应用所需状态的错误: project: required字段未设置
我跟随过，但没有joy。StorageNotification API规范没有用于“项目”的字段。我以为它一定是在正确的命名空间里？
所有其他资源似乎都设置好了。只是通知不起作用。这是我的完整的yaml
# Bucket Starts the chain of events
apiVersion: storage.cnrm.cloud.google.com/v1beta1
ki
浏览 11提问于2020-01-28得票数 0
2回答
云功能异常的电子邮件警报
、、、
我对GCP环境很陌生。
场景：我创建了一个云函数，它基于发布到主题的消息触发。
条件：发布的每条消息都必须有。消息体和两个属性init.
云函数应该检查消息和属性是否存在(非空)。如果上述任何一个都是空云功能，则必须失败，请发出电子邮件警报。
**Sample Code**
import base64
import sys
def hello_pubsub(event, context):
pubsub_message = base64.b64decode(event['data']).decode('utf-8')
print(pubsub_messa
浏览 4提问于2021-05-31得票数 1
我指的是this doc。 我想从我的设备上发送数据并在grafana上可视化，那么，如何将prometheus(在GCP中部署为集群)连接到GCP pubsub。
浏览 25提问于2019-09-23得票数 0
2回答
似乎GCP云函数在调用时总是确认Pubsub推送消息，即使函数崩溃或失败。
这阻止了新的发布/订阅“死信”主题功能的使用，该功能要求在将消息转发到不同的主题之前，消息传递失败。目前，消息从不会失败。
有没有办法利用“死信主题”或使用云函数的pubsub重新交付？除了在函数本身设置“重试”标志之外，这并不能解决这个问题。
浏览 1提问于2020-05-15得票数 4
我需要阅读另一个GCP项目的PubSub主题的AVRO消息。我之前已经实现了Python管道，它从PubSub读取JSON消息并写入BigQuery。但我对处理阿夫罗的信息很陌生。我试图查找AVRO的Python文档，它将我指向这个链接
在这个链接中，有从文件读取和写入文件的示例，但我认为从PubSub读取这些函数并不有用。我使用下面的转换从PubSub读取，其中输出是字节串。
"Read from PubSub" >> beam.io.ReadFromPubSub(topic=TOPIC).with_output_types(bytes)
我需要一种读取这些字节的
浏览 9提问于2020-04-14得票数 2
回答已采纳
1回答
首先，感谢您阅读本文，并尝试回答它:) 在GCP (Google Cloud Plateform)上，我有一个数据库存储在云SQL上， 2个云函数，第一个用来对数据库发出请求(这个请求可以有1000多个结果)，然后将结果发布到PubSub上，第二个用来做web抓取，这要归功于木偶。 第一个云函数代码： //[Requirement]
const mysql = require('mysql')
const {SecretManagerServiceClient} = require('@google-cloud/secret-manager')
const P
浏览 13提问于2020-12-02得票数 0
回答已采纳
我试过google pubsub dead lettering。
我使用控制台云为1个订阅启用死字标记。我已经将死信主题和maxAttemptDelivery属性设置为5。
我的期望是，如果一条消息在一次订阅中重新发送超过5次，该消息将自动从订阅队列中删除。但是它并没有发生，消息仍然在队列中无限循环。当我打印属性deliveryAttempt时，值始终为空。
我在代码中配置了什么吗？目前我只在gcp控制台中配置死信。我使用的是golang，google pubsub版本1.3.1
浏览 18提问于2020-05-09得票数 0
1回答
我很难创建一个将发布/子源连接到大型查询接收器的dataflowRunner作业，方法是插入以下两个：
apache_beam.io.gcp.pubsub.PubSubSource
apache_beam.io.gcp.bigquery.BigQuerySink
在github上的beam/sdks/python/apache_beam/examples/streaming_wordcount.py ()示例中分别插入第59行和第74行。删除第61-70行并指定正确的pub/sub和bigquery参数之后，脚本在不构建管道的情况下运行时不会出错。
sidenote:脚本提到流管道支持在Pyt
浏览 0提问于2017-06-29得票数 0
回答已采纳
我是GCP的新手。
我们将日志发送到Pubsub主题，并为该主题创建了一个拉订阅。当我使用glcoud命令并从该订阅中读取时，它将返回预期的日志。(其他人创建了主题和第一次订阅。然而，我是这个项目的所有者。)然后，我为同一个主题创建了一个新的请求订阅(在Pubsub上，我可以看到两个订阅)。当我使用glcoud命令从新订阅读取时，它将返回0项。
感谢你的帮助。
浏览 0提问于2016-08-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
