Apache光束是否会发出任何指标来衡量丢弃了多少(延迟)消息？ 无论是在DirectRunner上还是在DataflowRunner上。谢谢!
浏览 22提问于2019-03-22得票数 0
我目前在GCP中有一个管道，它使用云函数摄取数据，将其存入PubSub，在数据流中进行处理，最后将其插入到BigQuery中。我正在尝试计算平均消息从云函数摄取到BigQuery需要多长时间(包括插入时间)。
我了解Stackdriver指标/仪表板以及GCP的API仪表板。我很想简单地将每个服务的所有延迟值相加，但我不确定它是否涵盖了我无法控制的延迟值(例如，插入到BQ，从数据流推送到p
浏览 2提问于2019-11-21得票数 0
根据定义，系统滞后是一个元素等待处理的最大时间。假设数据流正在消耗来自云PubSub的消息。如果碰巧有一条消息由于某种原因而没有被确认，那么系统延迟就会持续上升(仅仅是因为这1条消息)。是否有任何方法在不终止作业的情况下重置流作业的系统延迟？
浏览 3提问于2017-09-13得票数 2
回答已采纳
在谷歌云数据流/光束中，我们可以使用这个Metrics API收集应用程序指标，并且可以使用另一个API在应用程序中查询它。但我需要将这些指标持久化到Bigquery/Prometheus中，以实现实时监控和警报机制。请建议如何在谷歌云数据流中实现这一点。
浏览 33提问于2020-01-14得票数 0
回答已采纳
1回答
Kafka消息写入延迟
、、、、
我们正在尝试在Infosphere CDC- Confluent kafka设置中测量消息写入的延迟。我们有虚拟的表和虚拟的事务将被执行。数据流- MF DB2表--> IIDR --> Kafka主题 (对于Kafka，制片人是iidr) 在没有任何企业监控工具的情况下，找出样本事务的写入延迟的正确方法是什么？我们是否可以检查写入日志并考虑每个事务时间戳，并与cdc事务日志进行比较，以找出写入延
浏览 67提问于2019-03-05得票数 0
我们使用“系统滞后”检查我们的数据流工作的健康状况。例如，如果我们看到系统滞后增加，我们将尝试看看如何降低这一指标。关于这个指标，几乎没有什么问题。
2)这个度量
浏览 2提问于2017-03-01得票数 7
回答已采纳
1回答
对数据流错误设置数据流资源监视和警报的最佳方法是什么？检查云监视-数据流没有列出那里-没有可用的指标。检查错误报告-它也是空的，尽管我的一些流失败。
浏览 2提问于2016-10-20得票数 1
回答已采纳
在使用全局窗口时，假设数据总是在没有任何消息丢弃(延迟数据)的情况下传递，这样做安全吗？从水印和延迟的概念中，我得出结论，在使用基于事件的触发器接收的数据上应用自定义窗口的情况下，这些指标是至关重要的。
浏览 1提问于2018-04-03得票数 0
1回答
我们有一个来自Pub/Sub的数据流，并以流的形式写入bigquery。由于颁发许可证，管道被卡住，消息没有被消耗，我们重新启动管道，将未加标记的消息保存在快照中，重放消息，但它们被丢弃。我们解决了这个问题，用一个新的主题订阅重新部署了管道，并且所有事件都在流中消耗，而没有问题。
对于第一次订阅中累积的所有未加标记的消息(2000万)，我们创建了一个快照。然后
浏览 5提问于2022-11-21得票数 0
我有一个谷歌云发布/订阅和云数据流处理架构，我需要保证消息排序。是否可以将订阅消息流设置为每个主题固定数据流工作进程，以便消息通过相同的数据流工作进程路由，因此应该实现消息排序。
谢谢
浏览 0提问于2018-06-30得票数 1
我是卡夫卡的新手。我的任务是以优化的吞吐量和延迟发送2kb的消息。我真的不知道如何对这两个指标进行基准测试并设置我的集群。我没有任何集群监控工具可用，只能在启动生产者和消费者时查看终端上的统计数据。谁能告诉我，在数据流进行的过程中，我可以使用哪个脚本来查看消费端的相关统计数据？
浏览 1提问于2020-07-06得票数 0
1回答
主题的状态
、、
/myproject/topics/mytopic'gmail.users().watch(userId='me', body=request).execute()
如何获取主题在任何给定时间点的状态问题是，有时我无法从Gmail收到任何收到的电子邮件的推送。
浏览 0提问于2018-11-02得票数 1
2回答
我在云日志UI中创建了2个用户自定义的指标。这些指标显示在云监控中，但它们的图形总是显示“找不到图形数据”。是否有解决此问题的步骤，或者是否有其他要求使来自用户定义的日志指标的数据在云监控中可见？
浏览 1提问于2016-03-19得票数 6
我目前有2个项目开发和沙盒(完全相同的设置和地区)在Firebase：我到底该如何调试才能理解这个问题的原因呢？请看两个项目的函数#1的7天指标截图和14天延迟跟踪截图：
功能#1 14天延
浏览 0提问于2021-01-18得票数 1
在task-1中，我分配了一个时间戳并生成水印，我使用的是BoundedOutOfOrdernessTimestampExtractor，maxOutOfOrderness等于2分钟。让我们将这个聚合和下沉的链式任务称为Task-2。numLateRecordsDropped：看看这个指标，它告诉The number of records this operator/task has dropped due to arriving问:当我窗口元素时，我分配了0个允许的延迟。所以它可能丢弃
浏览 20提问于2019-11-07得票数 0
回答已采纳
1回答
虽然系统的管理给了我监视编辑器、监视撰稿人和监控管理员的角色，但这个错误仍在发生。
创建基于自定义/日志的度量需要哪些权限设置？即使在我的IAM权限设置中有这些角色，在创建度量时仍然会出现红色警报错误。
浏览 16提问于2022-11-14得票数 1
回答已采纳
如果是这样的话，当在visual studio (减去购买或下载工具的能力)上编辑示例时(减去购买或下载工具的能力)，而调试生产流程(相同的“类型”数据“)是在这些工具(在我们最喜欢的IDE上编码Scala/Java )之外的任何工具上执行时，我应该期待什么”最佳实践“部署考虑因素？
浏览 1提问于2018-09-12得票数 0
我们想知道是否有一种方法可以获得服务级别监控参数，如(每秒请求数、延迟/请求等)来自Kubernetes Service？我知道，如果Kubernetes服务是用LoadBalancer类型创建的，那么我们可以利用云提供商接口来实现这些指标；但是，我想知道是否有任何规定可以在服务级别或容器级别获得上述指标，而不会有任何延迟
浏览 2提问于2016-03-18得票数 3
我正在创建几个指标的监控警报。从它创建基于日志的度量和警报是很好的。但它非常通用。如何锁定特定详细信息，如此数据流作业(作业名称)失败或此用户创建的数据流作业失败？防火墙规则也是如此，我如何知道更新了所有规则中的哪条规则？使用以下筛选器创建防火
浏览 0提问于2019-12-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
