前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >python 链接kafka

python 链接kafka

作者头像
用户2337871
发布于 2019-11-13 05:44:47
发布于 2019-11-13 05:44:47
57100
代码可运行
举报
文章被收录于专栏:gitgit
运行总次数:0
代码可运行

1.创建生产者

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from kafka import KafkaProducer
from kafka.errors import KafkaError

producer = KafkaProducer(
    bootstrap_servers=['127.0.0.1:5000', '127.0.0.1:5001', '127.0.0.1:5002'])

future = producer.send("pic_collect", b'I am rito yan')
try:
    record_metadata = future.get(timeout=10)
    print(record_metadata)
except KafkaError as e:
    print(e)

2.创建消费者:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from kafka import KafkaConsumer

consumer = KafkaConsumer(
    "pic_collect",
    group_id="pic_consumer",
    bootstrap_servers=['127.0.0.1:5000', '127.0.0.1:5001', '127.0.0.1:5002'])

for message in consumer:
    print("%s:%d:%d: key=%s value=%s" % (message.topic, message.partition,
                                         message.offset, message.key,
                                         message.value))
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
python玩玩kafka
kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
我被狗咬了
2019/09/23
9080
[727]python操作kafka
pypi:https://pypi.org/project/kafka-python/ kafka-python:https://github.com/dpkp/kafka-python
周小董
2020/01/13
2.8K0
Python脚本消费kafka数据
kafka简介(摘自百度百科) 一、简介: 详见:https://blog.csdn.net/Beyond_F4/article/details/80310507 二、安装 详见博客:https://blog.csdn.net/beyond_f4/article/details/80095689 三、按照官网的样例,先跑一个应用 1、生产者: from kafka import KafkaProducer producer = KafkaProducer(bootstra
py3study
2020/01/08
8.6K0
python对kafka的基本操作
from kafka import KafkaProducer from kafka import KafkaConsumer from kafka.structs import TopicPartition import time
py3study
2020/01/07
8450
python kafka kerberos 验证 消费 生产
(adsbygoogle = window.adsbygoogle || []).push({});
stys35
2019/03/12
2.2K0
kafka实战教程(python操作kafka),kafka配置文件详解
应用往Kafka写数据的原因有很多:用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求:消息是否能丢失?是否容忍重复?消息的吞吐量?消息的延迟?
全栈程序员站长
2022/08/12
3.1K0
kafka实战教程(python操作kafka),kafka配置文件详解
Kafka_python:简单使用
KafkaConsumer #!/usr/bin/env python #coding:gbk #kafka的使用 consumer使用 import kafka import KafkaConsumer #消费kafka中最新的数据 并且自动提交offsets[消息的偏移量] consumer = KafkaConsumer('my-topic', group_id='my-group', boot
py3study
2020/01/10
6060
Python 使用python-kafka类库开发kafka生产者&消费者&客户端
http://zookeeper.apache.org/releases.html#download
授客
2019/09/10
4.4K0
kafka-3python生产者和消费者
启动的时候先启动product再启动consumer,毕竟只有发了消息,消费端才有消息可以消费,
py3study
2020/01/03
5630
使用Python操作Kafka:KafkaProducer、KafkaConsumer
其实很早就是用kafka了,但是一直都用的非常简单,最近写一个小功能的时候又要用到kafka,于是就花点时间好好看了一下网上关于kafka的一些文档和博客,发现了一个很不错的博客,做个记录和分享。
panzhixiang
2024/10/30
3840
Kafka系列3-python版本pro
直接上代码了: # -*- coding: utf-8 -*- ''' 使用kafka-Python 1.3.3模块 ''' import sys import time import json from kafka import KafkaProducer from kafka import KafkaConsumer from kafka.errors import KafkaError KAFAKA_HOST = "127.0.0.1" KAFAKA_PORT = 9092 KAFA
py3study
2020/01/03
5160
Zabbix告警消息推送至kafka并消费至企业微信
应用场景 由于朋友所在公司对安全性要求较高,zabbix所在的网络环境不能上外网,因此不能通过zabbix将告警直接发送至一些即时通讯工具,这就需要将报警消息发送至一些中间件,并通过中间件转发出去,这里选择使用了kafka,当然kafka中不只有报警信息,也有其他需要发送的数据,这里就不过多透漏 基础环境配置 kafka集群已部署好,这里不介绍安装细节
没有故事的陈师傅
2020/06/23
1.6K0
Z投稿| Zabbix告警消息推送至kafka
Zabbix运维工程师,熟悉Zabbix开源监控系统的架构。乐于分享Zabbix运维经验,个人公众号“运维开发故事”。
Zabbix
2021/01/29
6750
Z投稿| Zabbix告警消息推送至kafka
使用python发送和接口kafka
如果是kafka集群则bootstrap_servers可传入多个,需要使用逗号隔开。需要主要传入的值,必须转换为byte类型。
胡八万
2022/05/16
1.5K0
使用python发送和接口kafka
k8s运维: kafka和zookeeper在k8s集群踩的一些坑
如果zookeeper配置了istio sidecar ,在选举阶段就会报connection refused(Connection refused)错误,如下图:
机械视角
2021/03/06
4K1
第二天:Kafka API操作
Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。
sowhat1412
2020/11/05
8470
第二天:Kafka  API操作
Kafka API实践
Kafka文档路径更好找,就在kafka.apache.org。 别用百度搜索,再跳转一次,记住xxx.apache.org就是apache项目的主目录。
birdskyws
2018/09/12
1.4K0
Kafka API实践
python 操作 kafka
Kafka 是由 Apache 软件基金会开发的一个开源流处理平台,由 Scala 和Java 编写。Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像 Hadoop 一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。
用户4945346
2020/11/25
1.6K0
python 操作 kafka
Kafka第一天笔记
Kafka第一天课堂笔记 Kafka简介 消息队列 消息队列——用于存放消息的组件 程序员可以将消息放入到队列中,也可以从消息队列中获取消息 很多时候消息队列不是一个永久性的存储,是作为临时存储存在的(设定一个期限:设置消息在MQ中保存10天) 消息队列中间件:消息队列的组件,例如:Kafka、Active MQ、RabbitMQ、RocketMQ、ZeroMQ Kafka的应用场景 异步处理 可以将一些比较耗时的操作放在其他系统中,通过消息队列将需要进行处理的消息进行存储,其他系统可以消费消息队列
Maynor
2021/04/09
6400
如何使用Python读写Kafka?
关于Kafka的第三篇文章,我们来讲讲如何使用Python读写Kafka。这一篇文章里面,我们要使用的一个第三方库叫做kafka-python。大家可以使用pip或者pipenv安装它。下面两种安装方案,任选其一即可。
青南
2019/12/25
9K0
如何使用Python读写Kafka?
相关推荐
python玩玩kafka
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验