问题在于spark目前使用的Jackson是2.6+,而storm-kafka-client和kafka使用的是2.9+,两者之间gradle默认使用最新的依赖2.9+,所以spark structure Streaming程序运行时报错,不兼容jackson高版本。
gradle 修改如下
compile (group: 'org.apache.storm', name: 'storm-kafka-client', version: '1.2.2'){
//解决与spark core jackson版本冲突
exclude group:"com.fasterxml.jackson.core"
}
compile (group: 'org.apache.kafka', name: 'kafka_2.11', version: '1.1.1'){
exclude group:"com.fasterxml.jackson.core"
}
正常运行