前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题

Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题

作者头像
大江小浪
发布于 2018-07-24 09:07:15
发布于 2018-07-24 09:07:15
1.3K00
代码可运行
举报
文章被收录于专栏:小狼的世界小狼的世界
运行总次数:0
代码可运行

今天在使用Logstash的jdbc_input插件同步Mysql数据时,本来应该能搜索出10条数据,结果在Elasticsearch中只看到了4条,终端中只给出了如下信息

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[2017-08-25T13:31:04,084][INFO ][logstash.pipeline ]Pipeline terminated <“pipeline.id”=>”main”>

看不出所以然,到 logstash 的日志 logs 目录下看最新的日志,发现了一些信息。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[2017-08-25T13:28:02,076][WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {“exception=>#<Sequel::DatabaseError: Java::JavaSql::SQLException: Value ‘0000-00-00 00:00:00’ can not be represented as java.sql.Timestamp>}

原来是JDBC无法处理Mysql中默认的空时间,这个可以通过JDBC连接串中指定配置来将空时间转换为Null,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
input {
  jdbc {
    jdbc_driver_library => “”
    jdbc_driver_class => “com.mysql.jdbc.Driver”
    jdbc_connection_string => “jdbc:mysql://localhost:3306/dcod?zeroDateTimeBehaviro=convertToNull”
    jdbc_user => “root”
    jdbc_password => “”
    statement => “select * from table"
  }
}

重新跑一下 Logstash,OK问题解决。

本文的运行环境为 ELK 6.0 beta

本文为作者原创。

参考资料: 1、JDBC Url参数说明

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-08-25 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
​logstash index 生成时间晚 8 小时
es存储数据索引需按照天进行分割,即logstash 每天00:00生成新的索引,观察发现logstash默认情况下生成新的索引的时间为每天的 08:00 时,导致第二天的数据会被存储到前一天索引中(kibana 查询不受影响)。分析发现 logstash 生成索引文件名中的日期是从@timestamp字段的值中获取,默认为UTC时间。
Kevin song
2020/09/04
2.9K0
logstash增量同步MySQL关于sql_last_value取值失败的问题
https://www.elastic.co/guide/en/logstash/7.17/plugins-inputs-jdbc.html#plugins-inputs-jdbc
WeldonWang
2023/03/31
1.2K0
MySQL数据以全量和增量方式,向ES搜索引擎同步流程
/usr/local/logstash/sync-config/cicadaes.conf
知了一笑
2019/09/09
1.1K0
MySQL数据以全量和增量方式,向ES搜索引擎同步流程
使用 Logstash 同步海量 MySQL 数据到 ES
  在生产业务常有将 MySQL 数据同步到 ES 的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的Logstash 就很有优势了。   在使用 Logstash 我们应先了解其特性,再决定是否使用:
Jared.Tan
2020/06/17
10.4K0
Elasticsearch + Logstash + Kibana 安装(全)
ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。三者相互配合,取长补短,共同完成分布式大数据处理工作。
create17
2019/12/03
2K0
Elasticsearch + Logstash + Kibana 安装(全)
【腾讯云ES】基于ES的游戏社区搜索服务实践
基于上述的需求分析,使用ES搜索引擎能够完全满足相关的搜索需求,基于此在处理整体搜索后台服务上,主要考虑下面几个问题:
用户3437468
2022/12/09
1.5K0
Elasticsearch父子关系
Elasticsearch父子关系 5.x参考 官网join介绍 es6.x一对多方案参考
丁D
2022/08/12
5220
实战 | ELK实现全量Elastic日报(2017-2019)多维度可视化分析
想象一下,导入Elastic日报能在Kibana做哪些分析呢? 1)title 词频统计 2)编辑发布文章统计 3)2017,2018,2019日报量统计 4)日报按月统计 5)编辑发日报时间按区间统计 6)关键词检索,如:性能、设计、优化、实战等 7)....
铭毅天下
2019/06/19
9790
实战 | ELK实现全量Elastic日报(2017-2019)多维度可视化分析
11-Elasticsearch-logstash数据同步[Mysql->Logstash->Es]
集中, 转换和存储数据, logstach是免费且开放的服务器端数据处理管道, 能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的"存储库"中
彼岸舞
2022/10/04
7010
11-Elasticsearch-logstash数据同步[Mysql->Logstash->Es]
Elasticsearch 滞后8个小时等时区问题,一网打尽!
上面的问题都涉及到时区问题,涉及到数据的同步(logstash)、写入、检索(elasticsearch)、可视化(kibana)的几个环节。
铭毅天下
2021/08/13
10.2K0
Linux 安装 logstash 并同步 MySQL 数据库
前两篇文章分别讲了 Linux 和 Windows 环境安装 Elasticsearch,有兴趣可以点击以下链接查看: 《windows10 安装 ElasticSearch》 《Linux 下安装 Elasticsearch》
王图思睿
2021/06/15
3.4K0
【ES私房菜】Logstash 安装部署及常用配置
该文章介绍了如何基于Logstash的配置文件,实现不同来源的日志的收集、处理和转发。主要包括了Kafka、Filebeat、Fluentd、Graylog、Elasticsearch、Kibana和Logstash等多个组件的配置和使用方法。同时,文章还提供了在CentOS系统上部署Logstash的步骤和示例配置文件。
张戈
2017/09/28
6.9K0
【ES私房菜】Logstash 安装部署及常用配置
elasticsearch5xx使用logstash同步mysql
下载地址:https://www.elastic.co/downloads/logstash
全科
2018/08/15
5790
logstash-input-jdbc
https://segmentfault.com/a/1190000011784259
丁D
2022/08/12
5850
利用logstash将mysql多表数据增量同步到es
我的数据库是5.7版本,我这里下载5.1.47的驱动了,当然如果你们的数据库是8.0以上的版本,那么就下相应的版本就行
黎明大大
2020/09/08
4K0
利用logstash将mysql多表数据增量同步到es
ELK —— Logstash 将 MySQL 数据同步至 ElasticSearch
Author:Gorit Date:2021/4/7 Refer:各种同类文章参考融合 + 自己的思考总结 2021年发表博文: 16/50
Gorit
2021/12/08
1.4K0
ELK —— Logstash 将 MySQL 数据同步至 ElasticSearch
logstash sql 数据采集
Elasticsearch 6.3 发布SQL模块作为C-Pack的一部分使用 kabana官方工具查询 Dev Tools - console 查看 POST /_xpack/sql?form
以谁为师
2019/05/30
1.5K0
利用Logstash插件进行Elasticsearch与Mysql的数据
Logstash与Elasticsearch的安装就不多说了,我之前有两篇文章写的比较详细了ElasticSearch + Logstash + Kibana 搭建笔记 和 Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台。
大江小浪
2018/07/24
1.2K0
LogStash的安装部署与应用
1、Logstash是一个接收,处理,转发日志的工具; 2、Logstash支持网络日志、系统日志、应用日志、apache日志等等,总之可以处理所有日志类型; 3、典型应用场景ELK:logstash负责采集、解析日志,elasticsearch负责数据存储,kibana负责前端报表展示。
趣学程序-shaofeer
2019/09/19
2.8K0
LogStash的安装部署与应用
ELK-收集mysql slow 日志
开发和DBA为了能够实时掌握mysql的运行情况,需要对mysql中执行的sql指令大于1秒的统计出来,并且通过ELK分析,统计,实时查看。通过分析可以让DBA能够优化数据库,能够提升运行速度。
星哥玩云
2022/09/15
6370
推荐阅读
相关推荐
​logstash index 生成时间晚 8 小时
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验