记一次logstash同步MySQL到es时tinyint类型字段被转为boolean类型的问题

原创

WeldonWang

修改于 2023-03-10 02:02:36

7850

一、先看报错

"reason"=>"failed to parse field [status] of type [integer] in document with id '469716694017769472'. Preview of field's value: 'true'"

"reason"=>"failed to parse field [status] of type [integer] in document with id '469717297049632768'. Preview of field's value: 'false'"

图为用户将字段类型改为 keyword 后的结果，起初ES索引status类型为 integer

二、分析原因

检查原始数据，是否统一为数值类型
ES索引字段类型映射异常

以上怀疑的两点，均未发现任何异常，目标索引替换成一个新的索引名字后，依然报同样的错误。

于是乎，怀疑logstash同步MySQL的tinyint类型字段本身就存在异常，经过一番排查，终于找到了解决方案。

三、解决方案

# jdbc 连接串后面添加参数 tinyInt1isBit=false 即可

jdbc_connection_string => "jdbc:mysql://$URL/$DATABASE?tinyInt1isBit=false

此时 status 类型为 long

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

Elasticsearch Service

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

Elasticsearch Service

#MySQL

#logstash

#tinyint

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

2447

Go 开发者必备：Protocol Buffers 入门指南

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

1353

60页PPT全解：DeepSeek系列论文技术要点整理

2404

logstash使用template提前设置好maping同步mysql数据到Elasticsearch5.5.2

云数据库 SQL Server 数据库 sql jdbc javascript

上篇blog说到采用logstash-input-jdbc将mysql数据同步到ES（http://www.cnblogs.com/jstarseven/p/7704893.html）,但是这里有一个问题，即假如我不需要logstash自动对mysql数据提供的mapping模板怎么办，毕竟我的数据需要ik分词，同义词解析等。。。

大道七哥

2019/09/10

2.4K0

logstash使用template提前设置好maping同步mysql数据到Elasticsearch5.5.2

使用 Logstash 同步海量 MySQL 数据到 ES

es sql 数据库 windows linux

在生产业务常有将 MySQL 数据同步到 ES 的需求，如果需要很高的定制化，往往需要开发同步程序用于处理数据。但没有特殊业务需求，官方提供的Logstash 就很有优势了。在使用 Logstash 我们应先了解其特性，再决定是否使用：

Jared.Tan

2020/06/17

10.5K0

【ES三周年】elasticsearch 常用数据类型详解和范例

Elasticsearch Service elasticsearch elastic-stack

本篇文章主要讲解elasticsearch在业务中经常用到的字段类型，通过大量的范例来学习和理解不同字段类型的应用场景。范例elasticsearch使用的版本为7.17.5。

张同学tty

2023/04/08

4.1K0

MySQL字段类型如何转为java_Java JDBC中，MySQL字段类型到JAVA类型的转换

java jdbc 数据库云数据库 SQL Server sql

在使用Java JDBC时，你是否有过这样的疑问：MySQL里的数据类型到底该选择哪种Java类型与之对应？本篇将为你揭开这个答案。

全栈程序员站长

2022/09/09

4.3K0

logstash同步数据到es

sql es add logstash timestamp

ES采用UTC 时区，比北京时间早8小时，所以ES读取数据时让最后更新时间加8小时

周杰伦本人

2022/10/25

4930

11-Elasticsearch-logstash数据同步[Mysql->Logstash->Es]

es

集中, 转换和存储数据, logstach是免费且开放的服务器端数据处理管道, 能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的"存储库"中

彼岸舞

2022/10/04

7070

11-Elasticsearch-logstash数据同步[Mysql->Logstash->Es]

MySQL数据以全量和增量方式，向ES搜索引擎同步流程

windows apache Elasticsearch Service 云数据库 SQL Server sql

/usr/local/logstash/sync-config/cicadaes.conf

知了一笑

2019/09/09

1.1K0

ElasticSearch 使用 Logstash 从 MySQL 中同步数据

云数据库 SQL Server https 网络安全 jdbc ruby

目的是希望将现有的数据导入到 ElasticSearch 中，研究了好几种，除了写代码的方式，最简便的就是使用 Logstash 来导入数据到 ElasticSearch 中了。

皇上得了花柳病

2020/05/06

3.7K0

怎样将 MySQL 数据表导入到 Elasticsearch

云数据库 SQL Server es 2

本文节选自《Netkiller Database 手札》 MySQL 导入 Elasticsearch 的方法有很多，通常是使用ETL工具，但我觉得太麻烦。于是想到 logstash 。 23.8. Migrating MySQL Data into Elasticsearch using logstash 23.8.1. 安装 logstash 安装 JDBC 驱动和 Logstash curl -s https://raw.githubusercontent.com/oscm/shell/maste

netkiller old

2018/03/05

5.2K0

Logstash-input-jdbc 同步 mysql 准实时数据至 ElasticSearch 搜索引擎

jdbc java 数据库 sql 云数据库 SQL Server

logstash-input-jdbc 插件将 Zabbix 数据库中 alerts 表告警数据推送至 ElasticSearch 搜索引擎。

Kevin song

2020/08/28

2.7K0

Logstash-input-jdbc 同步 mysql 准实时数据至 ElasticSearch 搜索引擎

Linux 安装 logstash 并同步 MySQL 数据库

Elasticsearch Service linux jdbc 数据库 jar

前两篇文章分别讲了 Linux 和 Windows 环境安装 Elasticsearch，有兴趣可以点击以下链接查看：《windows10 安装 ElasticSearch》《Linux 下安装 Elasticsearch》

王图思睿

2021/06/15

3.5K0

ElasticSearch + Logstash进行数据库同步

Elasticsearch Service

在我们使用mysql和elasticsearch结合使用的时候，可能会有一些同步的需求，想要数据库和elasticsearch同步的方式其实有很多。

Bug开发工程师

2019/05/05

2.1K0

如何不写一行代码把 Mysql json 字符串解析为 Elasticsearch 的独立字段

数据库云数据库 SQL Server sql json Elasticsearch Service

实战问题：有数百万数据需要导入 Elasticsearch 做性能对比测试，但当前数据存储在 Mysql 中，且核心字段以 Json 字符串形式存储。Mysql 存储如下所示：

铭毅天下

2021/03/22

2.9K0

如何不写一行代码把 Mysql json 字符串解析为 Elasticsearch 的独立字段

ElasticSearch 动态映射与静态映射

Elasticsearch Service 编程算法网络安全网站 es

松哥原创的 Spring Boot 视频教程已经杀青，感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程

江南一点雨

2020/11/26

2.9K0

logstash增量同步MySQL关于sql_last_value取值失败的问题

logstash

https://www.elastic.co/guide/en/logstash/7.17/plugins-inputs-jdbc.html#plugins-inputs-jdbc

WeldonWang

2023/03/31

1.2K0

[Springboot实战系列]整合ElasticSearch实现数据模糊搜索（Logstash同步Mysql数据）

Elasticsearch Service 云数据库 SQL Server 数据库 sql 搜索引擎

本文介绍了如何整合搜索引擎elasticsearch与springboot，对外提供数据查询接口。

蛮三刀酱

2019/03/26

6.1K0

[Springboot实战系列]整合ElasticSearch实现数据模糊搜索（Logstash同步Mysql数据）

logstash迁移索引数据自动添加@version和@timestamp字段

2023腾讯·技术创作特训营第三期 Elasticsearch Service logstash

使用Logstash迁移ES数据时发现有个索引数据无法迁移过来（其他索引正常），事先已经同步过mapping，settings，两边一致。

沈小翊

2023/11/23

7200

Elasticsearch + Logstash + Kibana 安装（全）

apache Elasticsearch Service https 网络安全网站

ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。三者相互配合，取长补短，共同完成分布式大数据处理工作。

create17

2019/12/03

2K0

ELK专栏之ES索引-04

编程算法网络安全 java es 存储

● 在生产上，我们需要自己手动建立索引和映射，是为了更好的管理索引，就像数据库的建表数据一样。

大忽悠爱学习

2022/09/29

6700

利用logstash将mysql多表数据增量同步到es

云数据库 MySQL

我的数据库是5.7版本,我这里下载5.1.47的驱动了,当然如果你们的数据库是8.0以上的版本,那么就下相应的版本就行

黎明大大

2020/09/08

4K0