Apache Flink在UI中显示自定义指标，但prometheus metrics reporter不抓取它们
Apache Flink是一个开源的流处理框架，它提供了强大的分布式计算能力和容错机制。在Flink的UI中显示自定义指标可以帮助我们监控和调优应用程序的性能。然而，由于prometheus metrics reporter不抓取这些自定义指标，我们需要采取其他方法来实现这个功能。
一种解决方案是使用Flink的REST API来获取自定义指标数据，并将其展示在UI中。我们可以编写一个脚本或者使用编程语言（如Python）来定期调用REST API，并将获取到的指标数据存储在数据库或者其他存储介质中。然后，我们可以通过前端开发技术（如React、Vue.js等）来展示这些指标数据，并集成到Flink的UI中。
另一种解决方案是使用Flink的自定义度量指标（Custom Metrics）功能。通过实现自定义度量指标接口，我们可以在应用程序中定义和收集自己的指标数据。然后，我们可以使用Flink的度量系统将这些指标数据暴露给外部监控系统（如Prometheus）。通过配置Prometheus来抓取这些自定义指标，我们可以在Prometheus的UI中查看和分析这些数据。
对于Flink的UI中显示自定义指标，我们可以使用以下步骤：
- 实现自定义度量指标接口：根据需求，我们可以在应用程序中实现自定义度量指标接口，定义和收集自己的指标数据。
- 配置Flink的度量系统：在Flink的配置文件中，我们需要配置度量系统以暴露自定义指标数据。可以使用以下配置参数：
- 配置Flink的度量系统：在Flink的配置文件中，我们需要配置度量系统以暴露自定义指标数据。可以使用以下配置参数：
- 其中，
<prometheus_port>是Prometheus的监听端口。 - 配置Prometheus：在Prometheus的配置文件中，我们需要添加相应的配置来抓取Flink的自定义指标数据。可以使用以下配置参数：
- 配置Prometheus：在Prometheus的配置文件中，我们需要添加相应的配置来抓取Flink的自定义指标数据。可以使用以下配置参数：
- 其中，
<flink_jobmanager_host>是Flink JobManager的主机名或IP地址，<flink_jobmanager_port>是Flink JobManager的端口号。 - 启动Flink和Prometheus：根据配置启动Flink和Prometheus。
- 在Flink的UI中查看自定义指标：打开Flink的UI，在Metrics选项卡中，可以看到自定义指标的列表和图表。点击相应的指标，可以查看更详细的信息。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Flink产品页：https://cloud.tencent.com/product/flink
- 腾讯云云原生产品页：https://cloud.tencent.com/solution/cloud-native
- 腾讯云数据库产品页：https://cloud.tencent.com/product/cdb
- 腾讯云服务器产品页：https://cloud.tencent.com/product/cvm
- 腾讯云云安全产品页：https://cloud.tencent.com/solution/security
- 腾讯云音视频产品页：https://cloud.tencent.com/product/tcav
- 腾讯云人工智能产品页：https://cloud.tencent.com/product/ai
- 腾讯云物联网产品页：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发产品页：https://cloud.tencent.com/product/mobdev
- 腾讯云存储产品页：https://cloud.tencent.com/product/cos
- 腾讯云区块链产品页：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙产品页：https://cloud.tencent.com/solution/metaverse
请注意，以上链接仅供参考，具体的产品和服务选择应根据实际需求进行评估和决策。
相关·内容
我正在通过prometheus Flink metrics Reporter向Prometheus发送自定义应用程序指标。指标创建正确，因为我能够在flink仪表板中准确地看到它们。我怀疑这个问题与我如何配置Prometheus Flink Metrics Reporter有关，因为当我尝试访问http:&#x
浏览 45提问于2021-08-06得票数 2
我可以看到来自flink作业管理器和推送网关UI中暴露的任务管理器的指标，以及它们被Prometheus集群正确抓取。问题是，即使我已经显式设置了deleteOnJobShutdown配置选项，当通过flink cli工具取消作业时，只有作业管理器的指标会被删除。 有没有办法也删除陈旧的任务管理器指标？我的配置如下： metrics.reporter.promgateway.cla
浏览 116提问于2019-01-29得票数 0
使用flink版本1.13.12021-08-25 14:54:06,243 WARN org.apache.flink.runtime.metrics.ReporterSetup, org.apache.flink.metrics.promet
浏览 10提问于2021-08-25得票数 2
回答已采纳
1回答
inside prometheus发行版中，我有以下内容： scrape_interval: 5s - targets: ['localhost:9999']在flink发行版的flink-conf.yaml中：
m
浏览 5提问于2020-07-03得票数 1
我将Apache配置为通过conf/flink-conf.yaml文件向Prometheus发送指标：metrics
浏览 2提问于2019-03-29得票数 1
回答已采纳
我正在运行flink run-application目标Kubernetes，使用以下选项：我指定了一个容器镜像，它将普罗米修斯插件复制到/opt/flink/plugins中</
浏览 17提问于2021-06-22得票数 0
我有一个用scala编写的flink作业，我正在创建一个自定义度量来计算流中事件的nmber。任务部署在kubernetes上，我看到prometheus中作业经理和任务经理的系统度量。然而，我们没有在prometheus中看到自定义度量，尽管我们在Flink UI中看到了这一点。有以下与prometheus相关的条目：
taskmanager.networ
浏览 18提问于2022-11-10得票数 0
回答已采纳
1回答
我需要从Flink 1.10导出自定义度量到Prometheus。我已经创建并使用了我的自定义度量标准，但问题是，当我打印出来(例如在终端中)以查看指标时，很多度量都来自Flink，而我不需要它们，比如: flink_taskmanager_job_task_Shuffle_Netty_Input_Buffers_inputQueueLength我只是对从Flink我的自定义度量到
浏览 1提问于2020-06-05得票数 0
回答已采纳
我现在已经设置了Flink，并在EMR上运行了一个作业，现在我正试图通过将指标发送到prometheus来添加监视。
在EMR上运行Flink遇到了一个问题。打开盒子，它看起来不像EMR的Flink发行版包括可选的jars (flink-指标-prometheus，flink-cep等等)。，/etc/flink或/usr/lib/flink
浏览 0提问于2019-03-06得票数 4
回答已采纳
2回答
我已经为在Intellij IDEA中运行的应用程序设置了Flink UI。我想获得一些流指标，如-调度延迟和处理时间。但是，我在UI中找不到anywhere。目前，该作业的Flink UI如下所示： ?
浏览 25提问于2020-01-21得票数 0
回答已采纳
在我的场景中，Flink将度量标准发送到Datadog。Datadog主机映射如下所示：{我不知道为什么在这里显示延迟)Flink指标被发送到本地主机。: org.apache.flink.metrics.statsd.StatsDReportermetrics.reporter</e
浏览 8提问于2017-10-29得票数 0
回答已采纳
我正在使用Flink 1.4.1和Beam 2.3.0，我想知道是否可以像数据流WebUI一样在Flink WebUI (或任何地方)中提供指标？我使用过计数器，比如：import org.apache.beam.sdk.metrics.Metrics;
.Counter elementsRead = Metrics.count
浏览 2提问于2018-02-28得票数 12
我正在Flink数据流API版本1.10.1中运行TPC-H查询。其中一个UDF读取整个表LineItem并将其存储在内存中(使用默认的MemoryStateBackend)。然而，原始大小是725MB，在这个大小下，我遇到了一些指标上的滞后。我还增加了任务管理器和作业管理器的内存大小。但这似乎不再是问题所在。+ Grafana在flink-conf.yaml上获取指标和此配置属性 # Metrics Reporter</em
浏览 12提问于2020-07-07得票数 0
回答已采纳
我以独立模式在k8s上部署了几个flink，并通过一个promethus-pushgateway导出它们的指标。问题是：我的flink- config .flink的配置
metrics.reporter.promgateway.class: org.apache.flink.m
浏览 8提问于2021-05-24得票数 0
1回答
在yarn(2.6.0-cdh5.11.1)上使用flink-1.9.0运行，但flink web ui指标不起作用，如下所示：
浏览 20提问于2019-10-25得票数 1
我在pom文件中包含了所有必要的Prometheus依赖项，并在@SpringBootApplication类中包含了@EnablePrometheusEndpoint注释，但是当我运行应用程序并尝试访问localhost:8080/prometheus (我认为它是Prometheus发送检测指标的默认端点)时，我得到了一个401错误。我是否正确地检测了我的应用程序，以便Prometheus可以使用@EnablePrometheusEndp
浏览 1提问于2017-12-01得票数 1
我正在使用Prometheus来测试用于监视的Node.js应用程序。我目前正在使用以下Node.js客户端进行检测：
我已经配置了一切，以便从我的Node.js应用程序中收集和收集默认的度量，并且监控正在如愿以偿。我想知道Prometheus是否有可能从我的应用程序公开的端点中刮取JSON。我是否可以配置Prometheus和/或prom-客户机从健康端点中刮取JSON，然后根据这些信息记录度量？
浏览 10提问于2017-07-13得票数 8
回答已采纳
早些时候的想法是访问zuul网关并获取信息，但我们在多个服务器上部署了许多应用程序，因此不确定它将如何工作。
更新:因为人们不理解我的问题。假设我在我的服务器上部署了10个服务。我应该能够扫描所有部署的应用程序并获取它们的服务URI，然后将其提供给一个聚合器服务，该服务将调用所有服务的执行器端点。在任何地方都没有任何服务URI的硬编码。这样，当在服务器上部署新服务时，我不希望应用程序开发人员使用他们的服务url来更新文件。
浏览 4提问于2021-10-13得票数 3
在这些AWS EKS集群上，我有一个Prometheus名称空间，它运行下面的豆荚-pod/prometheus-alertmanager
pod/prometheus-node-exporter/使用(该主Prometheus拥有显示度量的web UI )，它设置在一个不同的Kubernetes集群中，而该集群不是AWS的一部分。现在的问题是--
浏览 13提问于2022-08-12得票数 0
回答已采纳
我想通过prometheus-operator监视在名为development和production的名称空间中的Kubernetes集群上运行的两个应用程序。中运行的所有应用/服务/pods，我需要在上面的命令中添加哪些参数？这样，Service Discovery只显示了一些与prometheus-operator相关的services，而不是我在'production‘命名空间中运行的应用程序，即使prometheus</em
浏览 10提问于2020-03-16得票数 8
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
