Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >flume采集kafka的时候报错,一直循环报错?

flume采集kafka的时候报错,一直循环报错?

提问于 2018-11-23 10:25:57
回答 1关注 0查看 1.9K

报错信息:

Source.java:120)] Event #: 0

2018-11-23 17:59:18,995 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 965

2018-11-23 17:59:18,995 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0

2018-11-23 17:59:19,005 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 975

2018-11-23 17:59:19,005 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0

2018-11-23 17:59:19,015 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 985

2018-11-23 17:59:19,015 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0

2018-11-23 17:59:19,025 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 995

2018-11-23 17:59:19,025 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0

2018-11-23 17:59:19,036 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 1006

2018-11-23 17:59:19,036 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0

2018-11-23 17:59:19,036 (PollableSourceRunner-KafkaSource-kaSource) [ERROR - org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:153)] KafkaSource EXCEPTION, {}

java.lang.NullPointerException

at org.apache.flume.instrumentation.MonitoredCounterGroup.increment(MonitoredCounterGroup.java:261)

at org.apache.flume.instrumentation.kafka.KafkaSourceCounter.incrementKafkaEmptyCount(KafkaSourceCounter.java:49)

at org.apache.flume.source.kafka.KafkaSource.process(KafkaSource.java:146)

at org.apache.flume.source.PollableSourceRunner$PollingRunner.run(PollableSourceRunner.java:139)

at java.lang.Thread.run(Thread.java:748)

--------------------------------------------

配置文件

kafkaLogger.sources = kaSource

kafkaLogger.channels = memoryChannel

kafkaLogger.sinks = kaSink

# The channel can be defined as follows.

kafkaLogger.sources.kaSource.channels = memoryChannel

kafkaLogger.sources.kaSource.type= org.apache.flume.source.kafka.KafkaSource

kafkaLogger.sources.kaSource.zookeeperConnect=192.168.130.4:2181,192.168.130.5:2181,192.168.130.6:2181

kafkaLogger.sources.kaSource.topic=dwd-topic

kafkaLogger.sources.kaSource.groupId = 0

kafkaLogger.channels.memoryChannel.type=memory

kafkaLogger.channels.memoryChannel.capacity = 1000

kafkaLogger.channels.memoryChannel.keep-alive = 60

kafkaLogger.sinks.kaSink.type = elasticsearch

kafkaLogger.sinks.kaSink.hostNames = 192.168.130.6:9300

kafkaLogger.sinks.kaSink.indexName = flume_mq_es_d

kafkaLogger.sinks.kaSink.indexType = flume_mq_es

kafkaLogger.sinks.kaSink.clusterName = zyuc-elasticsearch

kafkaLogger.sinks.kaSink.batchSize = 100

kafkaLogger.sinks.kaSink.client = transport

kafkaLogger.sinks.kaSink.serializer = com.commons.flume.sink.elasticsearch.CommonElasticSearchIndexRequestBuilderFactory

kafkaLogger.sinks.kaSink.serializer.parse = com.commons.log.parser.LogTextParse

kafkaLogger.sinks.kaSink.serializer.formatPattern = yyyyMMdd

kafkaLogger.sinks.kaSink.serializer.dateFieldName = time

kafkaLogger.sinks.kaSink.channel = memoryChannel

flume版本1.6.0.1 kafka版本kafka_2.11-2.0.1

回答 1

最爱开车啦

发布于 2020-04-14 06:42:37

可以提交工单咨询下云客服。

和开发者交流更多问题细节吧,去 写回答
相关文章
企业实名认证-腾讯云企业实名认证
企业实名认证支持以下三种途径,用户可以选择其中任意一种方式,均可进行认证过程。首推用户使用微信公众平台认证,认证时效快,可以立即完成认证,获得认证结果。如果您的企业没有在微信公众平台认证过,建议您使用“腾讯云充值认证”。
用户5928094
2019/07/29
30.5K0
腾讯云企业实名认证
很多企业不清楚腾讯云企业认证所需的资料和腾讯云企业认证方式,下面就为大家介绍腾讯云企业认证所需的资料和企业认证方式。
用户6468650
2019/10/24
28.8K0
腾讯云企业认证方式和流程(选择个人认证还是企业认证)
我们有些朋友都有关注到腾讯云商家的一些活动信息,其中最为吸引用户的还是新用户爆款活动,包括企业用户的促销力度可能更低一些。之前有网友问到老蒋在选择腾讯云服务商的时候是用个人认证资格呢,还是腾讯云企业认证方式比较好。我个人给予的答案是,如果我们是有企业或者个体户资格的话,然后在看实际的优惠活动策略,如果确实企业用户资格优惠力度大的那我们还是选择企业认证资格。
老蒋
2021/12/27
12.8K0
腾讯云企业认证方式和流程(选择个人认证还是企业认证)
腾讯云企业实名认证操作方式
用户在注册账号成功后,无论想要购买资源还是使用产品,第一件要完成的事情就是对帐号进行实名认证。因为实名认证直接影响账号和资源的归属,如果企业用户使用个人信息进行实名认证,后续出现人员变动或账号纠纷时,可能会影响您的业务,甚至造成经济损失。所以这里建议用户在腾讯云购买和使用的资源如果是归属企业,一定要将账号实名为企业,而非实名为个人,避免不必要的纠纷。本文会分享关于账号企业实名认证时的一些操作指南和小细节,便于大家更快地完成实名~
姚伟莉
2022/05/19
18.3K0
如何完成腾讯云个人账号实名认证 新手必看教程
当你在腾讯云注册完账号后,要想继续选购云产品,那么就必须先进行个人实名认证,审核通过后方可购买云产品。魏艾斯博客就分享下如何进行腾讯云个人账号实名认证。
魏艾斯博客www.vpsss.net
2019/08/18
14.4K0
如何完成腾讯云个人账号实名认证 新手必看教程
网易云音乐如何将多个账号的音乐合并到一个账号
之前注册网易云音乐的时候使用的是网易云邮箱,后来又用手机号注册了另一个网易云音乐账号 导致两个账号都添加了各自的音乐,而且各自多达500多首,于是我把这两个账号的音乐归到同一个账号中,另一个 账号就放置不用了,否则来回切换特别麻烦,多个账号同理
全栈程序员站长
2022/06/29
4.9K0
网易云音乐如何将多个账号的音乐合并到一个账号
腾讯云账号相关
腾讯云账号注册会有注册方式,同时腾讯云也支持绑定多个登录方式(一般一个账号会出现多个用户要登录的情况,微信二维码扫码不太方便),举个例子:老板微信注册的账号,需要给到 A 哥管理账号,那么 A 哥不希望每次都找老板扫码,所以老板可以给账号绑定一个邮箱/密码的登录方式,之后 A 哥使用邮箱/密码登录账号管理账号。
用户7316624
2022/01/12
13.7K0
如何完成腾讯云个人账号实名认证 新手小白必看教程
当你在腾讯云注册完账号后,要想继续选购云产品,那么就必须先进行个人实名认证,审核通过后方可购买云产品。这里就说下如何进行腾讯云个人账号实名认证。
用户5916192
2019/09/18
11.2K0
如何完成腾讯云个人账号实名认证 新手小白必看教程
如何注册腾讯云账号
如何注册腾讯云账号?在开始使用腾讯云服务之前,您需要先注册一个腾讯云账号。拥有腾讯云账号后,您可以在腾讯云网站、控制台登录腾讯云,从而选购和使用您需要的云产品和服务。
用户5928094
2019/07/29
20.5K0
多账号管理和一个账号管理多个网站的网站后台管理SaaS系统在腾讯云服务器部署教程
多站点CMS网站内容管理后台可以管理多个网站,由于客户有多个公司,开发多个网站,可是按照传统CMS管理系统只能是一个后台管理一个网站,而且还需要独立部署;对开发和维护也麻烦,用户后期管理网站也麻烦(需要管理对个后台账号密码)。还有很多后台是php开发的,政府性网站经常遭到同行攻击,主要还是和php不可编译有关。所以综合以上种种,结合Go和PHP各自优点开发一套CMS内容管理后台,支持多个企业账号、多个站点、在线编辑网站,无需每次建站都部署,一次部署即可一直新增网站和开客户账号即可(不再像以前一个家一家单独部署),目前CMS已经用于实际企业网站管理,并在维护中比以前要省心,一套系统要做运行正常,所有网站都正常,您可以根据需要二次开发,例如:域名到期提醒,SSL证书到期提醒,用户维护未到期提醒等等。
用户2848031
2023/08/23
1.3K0
多账号管理和一个账号管理多个网站的网站后台管理SaaS系统在腾讯云服务器部署教程
腾讯云https认证
3.填写域名资料: 1、通用名称就是你的域名 2、申请邮箱填写你的常用邮箱 3、证书备注名:填写一个易记的就行 4、私钥密码:可不填写 6、所属项目:默认项目即可
Lansonli
2021/10/09
12.1K0
腾讯云账号安全管理方案
随着云时代的到来,目前越来越多的企业选择上云,然而企业上云往往面临各种各样的安全威胁,密码泄露、账号共享、数据丢失、系统漏洞、外部攻击等等。
高敬
2022/06/24
14.2K0
GoDaddy 找回/修改账号登录密码[图文]
使用 GoDaddy.com 服务的你,有没有过忘记登录密码的经历?如果你真的忘记了密码,别着急,本文将图文演示帮你找回你的登录密码。
星哥玩云
2022/08/13
3.2K0
GoDaddy 找回/修改账号登录密码[图文]
国际腾讯云账号注册:云核算概述
维基百科界说:云核算是一种依据互联网的新型核算方法,经过互联网上异构、自治的服务为个人和企业供给按需即取的核算。
老鹰飞机@laoying06
2023/06/07
4.7K0
国际腾讯云账号注册:云核算概述
有api 接口可以实现自动下载腾讯云Mysql慢日志么?
接口查询慢查询日志:https://cloud.tencent.com/document/api/236/15845
邵聪 SHAO CONG
2020/03/10
3.6K0
有api 接口可以实现自动下载腾讯云Mysql慢日志么?
iOS 一个开发者账号是否可以发布多个国家和地区
做了这么久的iOS开发,刚刚一个朋友问我一个开发者账号是否可以发布多个国家和地区。把我问蒙了,咱平时也就在国内发布App所以也不是很清楚,所以就 致电Apple。得到的回复是一个开发者账号是可以发布
赵哥窟
2021/12/16
4K0
iOS 一个开发者账号是否可以发布多个国家和地区
腾讯云如何实名认证
我们在注册完腾讯云之后,可以使用一些基础功能。但是为了获得全面的功能使用,还有更好的安全保障,需要进行实名认证!如果想要知道关于如何注册腾讯云账号可以参考小编之前的经验。
主机优惠教程
2019/04/01
17.7K0
腾讯云如何实名认证
腾讯云:实名认证步骤
前段时间很荣幸被腾讯云邀请入驻腾讯云的云+社区,云+社区是一个很棒的平台,很多的资深开发者在这里分享技术干货,而且云+社区也推出了“腾讯云原创分享计划”,是腾讯云+社区为引入更多优质原创内容,打造技术影响力而推出的原创激励计划。
三掌柜
2019/08/06
37.9K2
腾讯云:实名认证步骤
点击加载更多

相似问题

一个企业可以认证不同的腾讯云账号?

1648

企业小程序可以以关联个人腾讯云账号么?

2281

一个腾讯云账号可以申请多个License么?

1437

账号个人认证过之后,还可以企业认证么?

1656

同一腾讯云账号完成了企业认证,送了免费套餐,更新企业认证后还会送免费套餐么?

3334
相关问答用户
腾讯云 | 工程师擅长3个领域
腾讯 | 工程师
新浪微博 | 高级总监擅长4个领域
到家集团 | 技术VP擅长5个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档