首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >连接器任务状态无法连接

连接器任务状态无法连接
EN

Stack Overflow用户
提问于 2018-08-27 01:08:56
回答 1查看 1.2K关注 0票数 0

连接器的任务状态因错误而失败:

org.apache.kafka.connect.errors.ConnectException: java.lang.NoClassDefFoundError

我在分布式模式下运行kafka连接集群,并使用kafka(0.10.0.2.5)连接的ambari部署。

我使用导出CLASSPATH=/path给出了debezium mysql连接器路径。

使用以下命令将连接器配置加载到Kafka Connect中:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
curl -i -X POST -H "Accept:application/json" \ 
    -H  "Content-Type:application/json" http://localhost:8083/connectors/ \
    -d '{
      "name": "MYSQL_CONNECTOR",
      "config": {
            "connector.class": "io.debezium.connector.mysql.MySqlConnector",
            "database.hostname": "10.224.21.36",
            "database.port": "3306",
            "database.user": "root",
            "database.password": "shobhna",
            "database.server.id": "1",
            "database.server.name": "demo",
            "database.history.kafka.bootstrap.servers": "slnxhadoop04.noid.in:6669",
            "database.history.kafka.topic": "dbhistory.demo" ,
            "include.schema.changes": "true"
       }
    }'

现在,在检查连接器状态后,我得到了错误:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 - {"name":"MYSQL_CONNECTOR","connector":{"state":"RUNNING","worker_id":"172.26.177.115:8083"},
   "tasks":[{"state":"FAILED","trace":"org.apache.kafka.connect.errors.ConnectException:
   java.lang.NoClassDefFoundError:
   org/apache/kafka/clients/admin/AdminClient\n\tat
   io.debezium.connector.mysql.MySqlConnectorTask.start(MySqlConnectorTask.java:218)\n\tat
   io.debezium.connector.common.BaseSourceTask.start(BaseSourceTask.java:45)\n\tat
   org.apache.kafka.connect.runtime.WorkerSourceTask.execute(WorkerSourceTask.java:137)\n\tat
   org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:140)\n\tat
   org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:175)\n\tat
   java.util.concurrent.Executors$RunnableAdapter.cal(Executors.java:511)\n\tat
   java.util.concurrent.FutureTask.run(FutureTask.java:266)\n\tat
   java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)\n\tat
   java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)\n\tat
   java.lang.Thread.run(Thread.java:745)\nCaused by:
   java.lang.NoClassDefFoundError:
   org/apache/kafka/clients/admin/AdminClient\n\tat
   io.debezium.relational.history.KafkaDatabaseHistory.initializeStorage(KafkaDatabaseHistory.java:336)\n\tat
   io.debezium.connector.mysql.MySqlSchema.intializeHistoryStorage(MySqlSchema.java:260)\n\tat
   io.debezium.connector.mysql.MySqlTaskContext.initializeHistoryStorage(MySqlTaskContext.java:194)\n\tat
   io.debezium.connector.mysql.MySqlConnectorTask.start(MySqlConnectorTask.java:126)\n\t...
   9 more\nCaused by: java.lang.ClassNotFoundException:
   org.apache.kafka.clients.admin.AdminClient  \n\tat
   java.net.URLClassLoader.findClass(URLClassLoader.java:381)\n\tat
   java.lang.ClassLoader.loadClass(ClassLoader.java:424)\n\tat
   sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)\n\tat
   java.lang.ClassLoader.loadClass(ClassLoader.java:357)\n\t
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-08-27 17:17:09

它找不到一个内置卡夫卡类,而不是你的连接器

NoClassDefFoundError: org/apache/kafka/client/admin/AdminClient

..。

我使用的是kafka(0.10.0.2.5)

确保您正在运行一个连接服务器版本,该版本与您的Kafka broker匹配;2)使用连接器,该连接器使用该版本的Connect代码

例如,AdminClient只存在于Kafka 0.11+中。

在最近的HDP版本中,您得到了Kafka 1.1 (与0.11不同),这是最新的Debezium构建并在https://debezium.io/docs/releases/上测试的版本

Debezium需要AdminClient来生成和注册主题信息,所以我不确定它是否适用于老版本,比如0.10

它在Kafka wiki中声明,较新版本的Connect 服务器可以与旧代理通信,但是连接器类使用的协议还有待讨论。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52035973

复制
相关文章
ODC光纤连接器
ODC(Out Door Conector)预制光纤连接器是一款近年来推出的室外特种预制光纤连接器,采用不锈钢SUS316材质制作,表面钝化处理,具有极强的防锈防腐蚀能力和优秀的机械性能,可在苛酷的条件下使用。该连接器由母头(活动插头)和公头(固定插座)组成,机械螺纹锁紧装置保证长期安全可靠的连接,设计有导向定位插销,可以用单手盲插简单快捷地完成连接安装。
晟科通信
2020/06/10
1.1K0
ODC光纤连接器
Jetty:配置连接器[通俗易懂]
连接器用于接收网络连接,配置一个连接器须要配置: 1)连接器的网络參数(比如:port); 2)连接器使用的服务(比如:executors,schedulers)。 3)为接收连接而初始化和配置协议的连接工厂。 Jetty主要使用的连接器类型为ServerConnector。 标准Jetty公布使用以下的Jetty XML文件创建和配置连接器: 1)jetty-http.xml 初始化一个ServerConnector,用于接收HTTP连接(能够被升级到WebSocket连接)。 2)jetty-https.xml 初始化一个ServerConnector。用于接收SSL/TLS连接。 3)example-jetty-spdy.xml 初始化一个ServerConnector。用于接收SSL连接,连接使用HTTP或者SPDY通信。
全栈程序员站长
2022/07/07
1.6K0
Presto Hive连接器
Presto仅使用前两个组件:数据和元数据。它不使用HiveQL或Hive执行环境的任何一部分。
sparkle123
2020/10/29
2.2K0
Presto Hive连接器
ld命令 – GUN连接器
很少单独使用ld命令对目标进行连接操作,通常都是使用gcc命令在编译后自动进行连接。
用户1685462
2021/07/26
1.2K0
光纤快速连接器LC/SC
随着光通信技术的不断更新进步,带动了FTTH(光纤到户)的大规模发展,从而促进了光纤快速连接器的市场规模不断扩大。光纤快速连接器配合光纤到户工程中常用的皮线光缆,即可现场组装成为 SC/LC 型尾纤。在现场组装时,仅需配合切割刀等简单的工具,即能快速完成组装尾纤,其性能优越,适合各种使用环境,简单的锁紧结构能实现重复使用,简化维护操作。
晟科通信
2020/06/10
7030
光纤快速连接器LC/SC
Tomcat 连接器优化详解
在$CATALINA_HOME/conf/server.xml配置文件中的Connetctor节点,和连接数相关的参数配置和优化。
星哥玩云
2022/07/13
5100
光纤连接器如何实现光纤的精密连接?
当两根光纤接续时,由于两光纤位置、形状、结构等的差异,造成能量并不能100%的从一根光纤进入另一根光纤,即会出现连接损耗。为了尽量地减小连接损耗,两根光纤之间必须精密对准。光纤连接器的主要作用是快速连接两根光纤,使光信号可以连续而形成光通路。而光纤连接器是如何来实现光纤的精准连接?
亿源通科技HYC
2020/01/03
1.1K0
光纤连接器如何实现光纤的精密连接?
djongo:Django和MongoDB连接器
作者:小江,python爱好者,自学中,尝试爬虫、Django开发以及大数据,非CS科班出身。在校主要用MATLAB,现工作中偶尔使用python。博客主页:http://www.cae-space.cn/
Python中文社区
2018/07/26
1.8K0
djongo:Django和MongoDB连接器
Kafka 连接器使用与开发
连接器作为 Kafka 的一部分,是随着 Kafka 系统一起发布的,无须独立安装。
Se7en258
2021/05/18
2.4K0
Kafka 连接器使用与开发
如何让Tomcat使用APR连接器
由于APR需要依赖几个模块,其中一个就是APR-util。所以我们得将APR依赖的模块给安装上。还是之前的下载页面,复制APR-util源码包的下载链接:
端碗吹水
2020/09/23
1.3K0
如何让Tomcat使用APR连接器
Kafka系统之连接器(七)
Kafka除了生产者和消费者的核心组件外,它的另外一个核心组件就是连接器,简单的可以把连接器理解为是Kafka系统与其他系统之间实现数据传输的通道。通过Kafka的连接器,可以把大量的数据移入到Kafka的系统,也可以把数据从Kafka的系统移出。具体如下显示:
无涯WuYa
2022/01/18
4390
Kafka系统之连接器(七)
什么是保偏光纤连接器?
保偏光纤连接器(Polarization-maintaining,“PM”)作为一种特殊应用的连接器,广泛应用于光纤传感、干涉测量、平面波导、相干光传输及长距离双向光传输系统中。要了解保偏连接器,必然要使用到保偏光纤,首先需要知道什么是保偏光纤。
亿源通科技HYC
2020/04/20
1.2K0
什么是保偏光纤连接器?
线程状态&线程池状态&任务状态
在平时的开发工作中,我们一定会接触到线程,线程池,以及FutureTask等.那么它们的状态又是如何流转的呢? 接下来我用三张图来让读者从全局观了解熟悉它们的状态变化. 线程状态 线程的状态共有6个,
书唐瑞
2022/06/02
9570
线程状态&线程池状态&任务状态
Nodejs和Mongodb的连接器Mongoose
今天我们将学习Mongoose,什么是Mongoose呢,它于MongoDB又是什么关系呢,它可以用来做什么呢,介绍Mongoose之前,我们先简单了解一下MongoDB。
笔阁
2018/09/04
5.9K0
射频&天线设计-连接器与线缆
射频连接器又称RF连接器,相当于桥梁,是装接在射频线缆或安装在射频测试仪器上的一种元件。
ElectricDeveloper
2021/08/19
1K0
射频&天线设计-连接器与线缆
Cypress学习7-连接器connectors
如果回调函数返回一个值,它将被生成到下一个回调,就像在 Promise 回调中一样。
上海-悠悠
2020/05/13
9310
连接器 -- Scatter File & Linker Script File
源文件编译后生成 elf 格式的目标文件(各种.o), 与运行时库经过连接器处理后,生成可以被写入嵌入式设备 ROM 中的 elf 格式文件。
orientlu
2018/09/13
1.9K0
连接器 -- Scatter File & Linker Script File
连接器家族再添新成员!场景连接器,助力企业全面提升业务系统运作效能
11月4日,2021腾讯数字生态大会企业应用专场上,腾讯千帆正式发布场景连接器。通过场景连接器,企业用户的每一个成员都可以在平台上独立构建起专属于自己业务的场景化SaaS连接,从而助力企业全面提升业务系统运作效能,加速数字化转型速度。
千帆河洛SSP场景连接器
2022/01/06
6150
连接器家族再添新成员!场景连接器,助力企业全面提升业务系统运作效能
Tomcat的连接器是如何设计的?
Tomcat为 支持多种I/O模型和应用层协议,一个容器可能对接多个连接器。 但单独的连接器或容器都无法对外提供服务,需组装才能正常协作,而组装后的整体,就称为Service组件。所以,Service并不神奇,只是在连接器和容器外面多包了一层,把它们组装在一起。
JavaEdge
2021/12/07
5880
Tomcat的连接器是如何设计的?
新的Power Query Google Sheets连接器!
在Power BI 11月的更新中,Power Query团队为我们带来了一个新的连接器:Google Sheets连接器
陈学谦
2021/12/01
6.1K0
新的Power Query Google Sheets连接器!

相似问题

Elasticsearch连接器任务陷入失败和未知状态

12

使用JdbcConnectionSource连接器的Kafka无法创建任务(连接器正在运行,但任务没有)

11

JIRA连接器无法更改问题的状态

129

连接状态MySql连接器/网络

22

连接器中的任务何时移动到未分配的状态?

24
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文