开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >Kafka Magic-Kafka开源可视化工具

Kafka Magic-Kafka开源可视化工具

作者头像

Luga Lee

发布于 2021-12-09 12:04:55

发布于 2021-12-09 12:04:55

1.6K00

代码可运行

举报

文章被收录于专栏：架构驿站架构驿站

运行总次数：0

代码可运行

Kafka Magic是一款Apache Kafka的Web UI可视化工具。

基本功能

查看Kafka代理信息 -主题和分区分配以及控制器状态
查看相关主题 -分区数，复制状态和自定义配置
浏览（特定）消息 -JSON，纯文本和Avro编码
查看消费者组信息 -每个分区的停放偏移量，合并延迟和每个分区滞后
创建新主题
配置多集群
自定义消息查看及检索
。。。

编排文件

[administrator@JavaLangOutOfMemory luga] % vi docker-compose-kafka-magic.yaml 
version: "2"
services:
  kafka-magic:
    image: digitsy/kafka-magic
    restart: "no"
    ports:
      - "8800:80"

启动服务

[administrator@JavaLangOutOfMemory luga] % docker-compose -f docker-compose-kafka-magic.yaml up -d
Pulling kafka-magic (digitsy/kafka-magic:)...
latest: Pulling from digitsy/kafka-magic
c499e6d256d6: Downloading [===>                                               ]  1.448MB/19.91MB
251bcd0af921: Download complete
852994ba072a: Download complete
f64c6405f94b: Downloading [======>                                            ]  2.988MB/22.35MB
9347e53e1c3a: Downloading [==============>                                    ]  2.341MB/8.141MB
eed9fc3bfd07: Waiting
f6a20accf319: Waiting

访问web页面 http://ip:8800

通过此平台，我们可以：

（1）通过时间或者offset来过滤特定的消息

（2）可同时支持添加多个kafka集群进行配置与消息监控

（3）可针对当前的业务特性，进行消息灵活操作，以便快速定位问题

（4）可针对当前的消息库进行最新的数据加载与同步

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2021-01-03，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自架构驿站微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

Kafka Magic-Kafka开源可视化工具

消息队列 CMQ 版 kafka 容器镜像服务

Kafka Magic 是一款 Apache Kafka 的 Web UI 可视化工具。

Luga Lee

2021/11/20

8970

Kafka Magic-Kafka开源可视化工具

Kafdrop-Kafka开源可视化工具

Kafdrop是Apache Kafka的开源Web UI可视化工具。主要功能查看Kafka代理 -主题和分区分配以及控制器状态查看主题 -分区数，复制状态和自定义配置浏览消息 -JSON，纯文本和Avro编码查看消费者组 -每个分区的停放偏移量，合并延迟和每个分区滞后创建新主题查看ACL 1、编排文件 [administrator@JavaLangOutOfMemory luga]% vi docker-compose-kafdrop.yml version: "2" services: k

Luga Lee

2021/12/09

2.4K1

Kafdrop-Kafka开源可视化工具

Docker GUI工具-Portainer浅析

容器容器镜像服务 api

Portainer是一款免费、开源的Docker的图形化管理工具，其能够提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面，基本能满足中小型单位对容器管理的全部需求。

Luga Lee

2021/12/09

9130

Docker GUI工具-Portainer浅析

kafka 可视化 web 工具 kafdrop

容器 kafka web 工具可视化

第一次运行docker-compose会先下载obsidiandynamics/kafka和obsidiandynamics/kafdrop镜像，随后启动容器。

BUG弄潮儿

2024/06/21

1.4K0

kafka 可视化 web 工具 kafdrop

Docker GUI 工具-Portainer 浅析

容器镜像服务运维

Portainer是一款免费、开源的Docker的图形化管理工具，其能够提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm 集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面，基本能满足中小型单位对容器管理的全部需求。

Luga Lee

2021/11/20

1.6K0

Docker GUI 工具-Portainer 浅析

真魔法！图形化管理 Kafka 超轻量的自动化工具

javascript linux 容器镜像服务 kafka avro

Kafka Magic[1] 是一个用于处理 Apache Kafka 集群的 GUI 工具。它可以查找和显示消息、在 Topic 之间转换和移动消息、查看和更新模式、管理 Topic 以及自动化复杂任务。

我的小碗汤

2023/03/19

1.2K0

真魔法！图形化管理 Kafka 超轻量的自动化工具

Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统

es 容器镜像服务日志数据 apache https

随着时间的积累，日志数据会越来越多，当你需要查看并分析庞杂的日志数据时，可通过 Filebeat+Kafka+Logstash+Elasticsearch 采集日志数据到Elasticsearch（简称ES）中，并通过 Kibana 进行可视化展示与分析。

高楼Zee

2021/09/23

2.1K0

Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统

基于SASL和ACL的Kafka安全性解析

sas 缓存 kafka zookeeper SSL 证书

本文主要介绍基于SCRAM进行身份验证，使用Kafka ACL进行授权，SSL进行加密以及使用camel-Kafka连接Kafka群集以使用camel路由生产和消费消息的过程。

Luga Lee

2021/12/09

2.5K0

基于SASL和ACL的Kafka安全性解析

用Docker-Compose一分钟搭建Wordpress博客系统

容器容器镜像服务 tcp/ip

参考： Docker-Compose官方搭建Wordpress教程：https://docs.docker.com/compose/wordpress/

非著名运维

2022/06/22

2K0

用Docker-Compose一分钟搭建Wordpress博客系统

一文搞懂 Kafka 开源可视化 Web UI - Kafdrop

kafka kubernetes 网站 json apache

Hello folks，我是 Luga，今天我们来分享一下与 Kafka 有关的观测性话题- Kafdrop。作为一个构建在 Spring Boot 之上的免费 Web UI工具，越来越受到广大技术人员的喜好。

Luga Lee

2023/03/10

5.9K2

一文搞懂 Kafka 开源可视化 Web UI - Kafdrop

1.5万字长文：从 C# 入门 Kafka

kafka 文件存储 c#.net ide

本教程是关于 Kafka 知识的教程，从 C# 中实践编写 Kafka 程序，一边写代码一边了解 Kafka。

痴者工良

2023/03/11

2.4K0

1.5万字长文：从 C# 入门 Kafka

Prometheus、node-exporter、Grafana 容器化部署方案认知

Prometheus 监控服务

99%的焦虑都来自于虚度时间和没有好好做事，所以唯一的解决办法就是行动起来，认真做完事情，战胜焦虑，战胜那些心里空荡荡的时刻，而不是选择逃避。不要站在原地想象困难，行动永远是改变现状的最佳方式

山河已无恙

2025/02/25

1760

Prometheus、node-exporter、Grafana 容器化部署方案认知

Docker 入门（2019-07-31）

容器容器镜像服务 windows

Docker 是一个允许用户“在任何地方构建、分发及运行任何应用”的平台（引擎）。

贺贺V5

2019/08/23

9100

企业实战（12）消息队列之Docker安装部署ActiveMQ实战

容器 jdbc 网站 java

ActiveMQ是一种开源的基于JMS（Java Message Servie）规范的一种消息中间件的实现，ActiveMQ的设计目标是提供标准的，面向消息的，能够跨越多语言和多系统的应用集成消息通信中间件。

非著名运维

2022/06/22

2.1K0

企业实战（12）消息队列之Docker安装部署ActiveMQ实战

「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控

kafka 云原生

当我们使用一个软件的时候，经常都会问这个软件怎么监控、监控他的哪些指标？Kafka 的监控挺长时间都是一个老大难的问题，社区在监控方面一直没有投入太大的精力。如果要实现一个全面的 Kafka 监控框架，至少应该囊括 Kafka 所在主机资源、JVM（毕竟 Kafka 的 Broker 就是一个 Java 进程）、Kafka 集群本身等的监控，监控 Kafka 集群时还需要关注其客户端程序的性能。本文关注的重点在于 Kafka 和 AutoMQ 集群的监控，对于主机监控和 JVM 监控大家应该已经非常熟悉了。为了更好的说明，先对所涉及的验证环境进行简要介绍，其中包含依赖组件 ZooKeeper、Kafka/AutoMQ 集群自身、CMAK 监控服务。

用户10807116

2024/06/17

710

kafka集群搭建-docker版本[通俗易懂]

容器镜像服务容器负载均衡 zookeeper https

不使用集群请参考这个文章：https://www.cnblogs.com/luzhanshi/p/13369834.html

全栈程序员站长

2022/08/15

8470

kafka集群搭建-docker版本[通俗易懂]

Ubuntu与ROS的Docker桌面系统与ROS在线练习课程（在线Linux虚拟机）

ubuntu 容器镜像服务

https://www.shiyanlou.com/courses/854 邀请码 U23ERF8H

zhangrelay

2019/01/23

5.9K0

Kafka可视化工具_Kafka-Eagle

kafka 日志数据

3.2.2 安装Kafka-Eagle 1.安装JDK，并配置好JAVA_HOME。 2.将kafka_eagle上传，并解压到 /export/server 目录中。

Maynor

2021/04/09

7620

Docker-compose 工具解析

容器镜像服务 composer

Docker-Compose 项目是 Docker 官方的一个开源项目，其主要职责是负责实现对Docker容器集群的快速编排。 Docker-Compose 将所管理的容器分为三层，分别是工程（project）、服务（service）以及容器（container）。Docker-Compose 运行目录下的所有文件（docker-compose.yml，extends 文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像，参数，依赖。一个服务当中可包括多个容器实例，Docker-Compose 并没有解决负载均衡的问题，因此需要借助其它工具实现服务发现及负载均衡。 Docker-Compose 的工程配置文件默认为 docker-compose.yml，可通过环境变量 COMPOSE_FILE 或 -f 参数自定义配置文件，其定义了多个有依赖关系的服务及每个服务运行的容器。使用一个 Dockerfile 模板文件，可以让用户很方便的定义一个单独的应用容器。在工作中，经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个 Web 项目，除了 Web 服务容器本身，往往还需要再加上后端的数据库服务容器，甚至还包括负载均衡容器等。同时，Docker-Compose 允许用户通过一个单独的 docker-compose.yml 模板文件（YAML 格式）来定义一组相关联的应用容器为一个项目（project）。Docker-Compose 项目由 Python 编写，调用 Docker 服务提供的 API 来对容器进行管理。因此，只要所操作的平台支持 Docker API，就可以在其上利用 Compose 来进行编排管理。

Luga Lee

2021/11/20

1.1K0

Docker-compose 工具解析

使用 Docker 搭建 ELK 环境

容器容器镜像服务 apache Elasticsearch Service

本文使用「署名 4.0 国际 (CC BY 4.0)」许可协议，欢迎转载、或重新修改使用，但需要注明来源。署名 4.0 国际 (CC BY 4.0)

soulteary

2020/05/04

1.6K0

使用 Docker 搭建 ELK 环境

相关推荐

Kafka Magic-Kafka开源可视化工具

更多 >

LV.0

测试开发工程师

作者相关精选

换一批

目录

启动服务

加入讨论

的问答专区 >

1创始人擅长5个领域

相关课程

一站式学习中心 >

腾讯云开发玩转小程序实战训练营

云开发 CloudBase

数字化IT从业者知识体系

本文部分代码块支持一键运行，欢迎体验

本文部分代码块支持一键运行，欢迎体验