Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题

Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题

作者头像
大江小浪
发布于 2018-07-24 09:07:15
发布于 2018-07-24 09:07:15
1.3K00
代码可运行
举报
文章被收录于专栏:小狼的世界小狼的世界
运行总次数:0
代码可运行

今天在使用Logstash的jdbc_input插件同步Mysql数据时,本来应该能搜索出10条数据,结果在Elasticsearch中只看到了4条,终端中只给出了如下信息

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[2017-08-25T13:31:04,084][INFO ][logstash.pipeline ]Pipeline terminated <“pipeline.id”=>”main”>

看不出所以然,到 logstash 的日志 logs 目录下看最新的日志,发现了一些信息。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[2017-08-25T13:28:02,076][WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {“exception=>#<Sequel::DatabaseError: Java::JavaSql::SQLException: Value ‘0000-00-00 00:00:00’ can not be represented as java.sql.Timestamp>}

原来是JDBC无法处理Mysql中默认的空时间,这个可以通过JDBC连接串中指定配置来将空时间转换为Null,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
input {
  jdbc {
    jdbc_driver_library => “”
    jdbc_driver_class => “com.mysql.jdbc.Driver”
    jdbc_connection_string => “jdbc:mysql://localhost:3306/dcod?zeroDateTimeBehaviro=convertToNull”
    jdbc_user => “root”
    jdbc_password => “”
    statement => “select * from table"
  }
}

重新跑一下 Logstash,OK问题解决。

本文的运行环境为 ELK 6.0 beta

本文为作者原创。

参考资料: 1、JDBC Url参数说明

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-08-25 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
logstash增量同步MySQL关于sql_last_value取值失败的问题
https://www.elastic.co/guide/en/logstash/7.17/plugins-inputs-jdbc.html#plugins-inputs-jdbc
WeldonWang
2023/03/31
1.2K0
​logstash index 生成时间晚 8 小时
es存储数据索引需按照天进行分割,即logstash 每天00:00生成新的索引,观察发现logstash默认情况下生成新的索引的时间为每天的 08:00 时,导致第二天的数据会被存储到前一天索引中(kibana 查询不受影响)。分析发现 logstash 生成索引文件名中的日期是从@timestamp字段的值中获取,默认为UTC时间。
Kevin song
2020/09/04
2.9K0
MySQL数据以全量和增量方式,向ES搜索引擎同步流程
/usr/local/logstash/sync-config/cicadaes.conf
知了一笑
2019/09/09
1.1K0
MySQL数据以全量和增量方式,向ES搜索引擎同步流程
利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍
3, 官网介绍例子,使用 logstash-input-jdbc 到 elasticsearch
全栈程序员站长
2022/09/10
7730
利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍
利用Logstash插件进行Elasticsearch与Mysql的数据
Logstash与Elasticsearch的安装就不多说了,我之前有两篇文章写的比较详细了ElasticSearch + Logstash + Kibana 搭建笔记 和 Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台。
大江小浪
2018/07/24
1.2K0
怎样将 MySQL 数据表导入到 Elasticsearch
本文节选自《Netkiller Database 手札》 MySQL 导入 Elasticsearch 的方法有很多,通常是使用ETL工具,但我觉得太麻烦。于是想到 logstash 。 23.8. Migrating MySQL Data into Elasticsearch using logstash 23.8.1. 安装 logstash 安装 JDBC 驱动 和 Logstash curl -s https://raw.githubusercontent.com/oscm/shell/maste
netkiller old
2018/03/05
5.1K0
Logstash-input-jdbc 同步 mysql 准实时数据至 ElasticSearch 搜索引擎
logstash-input-jdbc 插件将 Zabbix 数据库中 alerts 表告警数据推送至 ElasticSearch 搜索引擎。
Kevin song
2020/08/28
2.7K0
Logstash-input-jdbc 同步 mysql 准实时数据至 ElasticSearch 搜索引擎
Logstash-解决elasticsearch和Mysql数据库的同步问题
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。
名字是乱打的
2022/05/13
7360
Logstash-解决elasticsearch和Mysql数据库的同步问题
利用logstash将mysql多表数据增量同步到es
我的数据库是5.7版本,我这里下载5.1.47的驱动了,当然如果你们的数据库是8.0以上的版本,那么就下相应的版本就行
黎明大大
2020/09/08
4K0
利用logstash将mysql多表数据增量同步到es
elasticsearch5xx使用logstash同步mysql
下载地址:https://www.elastic.co/downloads/logstash
全科
2018/08/15
5790
ElasticSearch 使用 Logstash 从 MySQL 中同步数据
目的是希望将现有的数据导入到 ElasticSearch 中,研究了好几种,除了写代码的方式,最简便的就是使用 Logstash 来导入数据到 ElasticSearch 中了。
皇上得了花柳病
2020/05/06
3.6K0
logstash-input-jdbc
https://segmentfault.com/a/1190000011784259
丁D
2022/08/12
5850
Linux 安装 logstash 并同步 MySQL 数据库
前两篇文章分别讲了 Linux 和 Windows 环境安装 Elasticsearch,有兴趣可以点击以下链接查看: 《windows10 安装 ElasticSearch》 《Linux 下安装 Elasticsearch》
王图思睿
2021/06/15
3.4K0
mysql同步elasticsearch调研
目前项目采用的是更新数据后再更新elasticsearch,各种历史原因导致很多数据并不是同步的,业务互相紧耦合, 所以需要调研适合团队发展的 db同步es机制,从业务层面剔除这部分功能维护。 下面是本人在搭建、配置、调试过程中一些总结和踩完坑后整理的配置。
用户2825413
2019/07/15
9850
mysql同步elasticsearch调研
logstash安装与logstash-input-jdbc插件使用
于是elasticsearch提供了可以直接和数据库关联,并且自动根据数据库中的数据更新索引logstash。
大道七哥
2019/09/10
2K0
logstash安装与logstash-input-jdbc插件使用
使用 Logstash 同步海量 MySQL 数据到 ES
  在生产业务常有将 MySQL 数据同步到 ES 的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的Logstash 就很有优势了。   在使用 Logstash 我们应先了解其特性,再决定是否使用:
Jared.Tan
2020/06/17
10.4K0
logstash同步数据到es
ES采用UTC 时区,比北京时间早8小时,所以ES读取数据时让最后更新时间加8小时
周杰伦本人
2022/10/25
4820
通过Logstash复制MySQL数据到ElasticSearch
-P: 随机端口映射,容器内部端口随机映射到主机的端口,格式为:主机(宿主)端口:容器端口
iiopsd
2022/12/23
7810
如何使用Ubuntu 18.04上的弹性分析托管的PostgreSQL数据库统计信息
数据库监控是系统地跟踪显示数据库执行情况的各种指标的持续过程。 通过观察性能数据,您可以获得有价值的见解并识别可能的瓶颈,并找到提高数据库性能的其他方法。 此类系统通常会实施警报,以便在出现问题时通知管理员。 收集的统计信息不仅可用于改进数据库的配置和工作流程,还可用于改进客户端应用程序的配置和工作流程。
用户2323866
2021/06/18
4.3K0
logstash使用template提前设置好maping同步mysql数据到Elasticsearch5.5.2
上篇blog说到采用logstash-input-jdbc将mysql数据同步到ES(http://www.cnblogs.com/jstarseven/p/7704893.html),但是这里有一个问题,即假如我不需要logstash自动对mysql数据提供的mapping模板怎么办,毕竟我的数据需要ik分词,同义词解析等。。。
大道七哥
2019/09/10
2.4K0
logstash使用template提前设置好maping同步mysql数据到Elasticsearch5.5.2
推荐阅读
相关推荐
logstash增量同步MySQL关于sql_last_value取值失败的问题
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验