Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题

Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题

作者头像
大江小浪
发布于 2018-07-24 09:07:15
发布于 2018-07-24 09:07:15
1.3K00
代码可运行
举报
文章被收录于专栏:小狼的世界小狼的世界
运行总次数:0
代码可运行

今天在使用Logstash的jdbc_input插件同步Mysql数据时,本来应该能搜索出10条数据,结果在Elasticsearch中只看到了4条,终端中只给出了如下信息

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[2017-08-25T13:31:04,084][INFO ][logstash.pipeline ]Pipeline terminated <“pipeline.id”=>”main”>

看不出所以然,到 logstash 的日志 logs 目录下看最新的日志,发现了一些信息。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[2017-08-25T13:28:02,076][WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {“exception=>#<Sequel::DatabaseError: Java::JavaSql::SQLException: Value ‘0000-00-00 00:00:00’ can not be represented as java.sql.Timestamp>}

原来是JDBC无法处理Mysql中默认的空时间,这个可以通过JDBC连接串中指定配置来将空时间转换为Null,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
input {
  jdbc {
    jdbc_driver_library => “”
    jdbc_driver_class => “com.mysql.jdbc.Driver”
    jdbc_connection_string => “jdbc:mysql://localhost:3306/dcod?zeroDateTimeBehaviro=convertToNull”
    jdbc_user => “root”
    jdbc_password => “”
    statement => “select * from table"
  }
}

重新跑一下 Logstash,OK问题解决。

本文的运行环境为 ELK 6.0 beta

本文为作者原创。

参考资料: 1、JDBC Url参数说明

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-08-25 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
AD域和LDAP协议
在LDAP中目录是按照树型结构组织——目录信息树(DIT) DIT是一个主要进行读操作的数据库
全栈程序员站长
2022/08/29
5.4K1
AD域和LDAP协议
Active Directory与域服务,介绍,安装
Active Directory是一种由微软开发的网络服务,用于管理用户、计算机和其他网络资源,是企业网络的核心目录服务。它提供了一种集中管理和控制企业网络资源的方法,包括用户、计算机、应用程序、安全策略等。通过Active Directory,管理员可以轻松地集中管理和控制网络上的所有资源,确保网络的高可用性、安全性和一致性。
网络豆
2023/10/17
1.3K0
Active Directory与域服务,介绍,安装
域渗透基础之常见名词解释
工作组(Work Group),在一个大的单位内,可能有成百上千台电脑互相连接组成局域网,它们都会列在“网络(网上邻居)”内,如果这些电脑不分组,可想而知有多么混乱,要找一台电脑很困难。为了解决这一问题,就有了“工作组”这个概念,将不同的电脑一般按功能(或部门)分别列入不同的工作组中,如技术部的电脑都列入“技术部”工作组中,行政部的电脑都列入“行政部”工作组中。你要访问某个部门的资源,就在“网络”里找到那个部门的工作组名,双击就可以看到那个部门的所有电脑了。相比不分组的情况就有序的多了,尤其是对于大型局域网络来说。
鸿鹄实验室
2021/04/15
1.6K0
域渗透基础之常见名词解释
内网渗透 | 工作组和域的区别
工作组是局域网中的一个概念,它是最常见的资源管理模式,简单是因为默认情况下计算机都是采用工作组方式进行资源管理的。将不同的电脑按功能分别列入不同的组中,以方便管理。默认情况下所有计算机都处在名为 WORKGROUP 的工作组中,工作组资源管理模式适合于网络中计算机不多,对管理要求不严格的情况。它的建立步骤简单,使用起来也很好上手。大部分中小公司都采取工作组的方式对资源进行权限分配和目录共享。相同组中的不同用户通过对方主机的用户名和密码可以查看对方共享的文件夹,默认共享的是 Users 目录。不同组的不同用户通过对方主机的用户名和密码也可以查看对方共享的文件夹。所以工作组并不存在真正的集中管理作用 , 工作组里的所有计算机都是对等的 , 也就是没有服务器和客户机之分的。
谢公子
2022/01/19
3.3K0
内网渗透 | 工作组和域的区别
[ffffffff0x] Windows认证原理:域环境与域结构
在上一篇文章中,我们介绍了windows本地认证和网络认证会使用到的NTLM协议以及相应的hash算法。在本篇文章中,将深入学习windows域环境。
r0fus0d
2021/01/09
2.4K0
[ffffffff0x] Windows认证原理:域环境与域结构
工作组,域
一,工作组概念 在一个大的单位内,可能有成百上千台计算机互相连接组成局域网,它们都会列在“网络”(网上邻居)内。如果这些计算机不分组,情况会有多么混乱是可想而知的——很难找一台计算机。为了解决这一问题,就有了工作组(Work Group)这个概念。将不同的计算机按功能(或部门)分别列入不同的工作组中,如技术部的计算机都列入“技术部”工作组中,行政部的计算机都列入“行政部”工作组中。要想访问某个部门的资源,只要在“网络”里找到那个部门的工作组名并双击,就可以看到那个部门的所有计算机了。 二,域 域(Domain)是一个有安全边界的计算机集合(安全边界的意思是:在两个域中,一个域中的用户无法访问另一个域中的资源),可以简单地把域理解成升级版的工作组。相比工作组而言, 域有更加严格的安全管理控制机制。要想访问域内的资源,用户必须通过合法的身份登录域,而用户对该域内的资源拥有什么样的权限,还取决于他在该域内的身份。 域控制器(Domain Controller,DC)是一个域中的一台类似管理服务器的计算机,我们可以形象地将它理解为一个单位的门卫。域控制器负责每一台联入的计算机和用户的验证工作。域内第 1 章 内网渗透测试基础 3计算机如果想互相访问,首先都要经过域控制器的审核。 1.单域 在一般的具有固定地理位置的小公司里,建立一个域就可以满足所需。一般在一个域内要建立至少两个域服务器,一个作为 DC,另一个作为备份 DC。如果没有备份 DC,那么一旦 DC 瘫 痪了,域内的其他用户就不能登录该域了,因为活动目录的数据库(包括用户的账号信息)是存储在 DC 中的。如果有一台备份域控制器(BDC),则至少该域还能正常使用(把瘫痪的 DC 恢复即可)。 2.父域和子域 出于管理及其他需求,需要在网络中划分多个域。第一个域称为父域,各分部的域称为该域的子域。例如,一个大公司的不同分公司位于不同的地理位置,就需要父域及子域这样的结构。如果把不同地理位置的分公司放在同一个域内,那么它们之间信息交互(包括同步、复制等)所花费的时间就会比较长,占用的带宽也会比较大(因为在同一个域内,信息交互的条目是很多的,而且不压缩;而在域和域之间,信息交互的条目相对较少,而且可以压缩)。这样处理还有一个好处,就是子公司可以通过自己的域来管理自己的资源。还有一种情况,就是出于安全策略的考虑(每个域都有自己独有的安全策略)。例如,一个公司的财务部门希望能使用特定的安全策略(包括账号密码策略等),那么可以将财务部门作为一个子域来单独管理。 3.域树 域树(Tree)指若干个域通过建立信任关系而组成的集合。一个域管理员只能管理本域的内部,不能访问或者管理其他域,两个域之间相互访问则需要建立信任关系(Trust Relation)。信任关系是连接不同域的桥梁。域树内的父域与子域之间不但可以按照需要相互进行管理,还可以跨网分配文件和打印机等设备资源,从而在不同的域之间实现网络资源的共享与管理、通信和数据传输。 在一个域树中,父域可以包含很多个子域。子域是相对父域来说的,是指域名中的每一个段。各子域之间用点号隔开,一个“.”代表一个层次。放在域名最后的子域称为最高级子域或一级域,在它前面的子域称为二级域。例如,域 asia.abc.com 就比域 abc.com 的级别低,因为域 asia.abc.com有两个层次,而域 abc.com 只有一个层次。再如,域 cn.asia.abc.com 比域 asia.abc.com 的级别低。可以看出,子域只能使用父域作为域名的后缀,也就是说,在一个域树中,域的名字是连续的,如图
网e渗透安全部
2020/11/09
8670
工作组,域
Windows网络服务与配置管理之活动目录学习
活动目录英文全称为“Active Directory”,简称为AD。在windows系统组成的网络中,有服务器、客户机、用户账户、打印机、各种文件,这些资源都在各台计算机上,没有使用活动目录之前需要在各台计算机上单独管理这些资源。使用活动目录可以集中管理windows网络各类资源,"活动目录"就像一个数据库,存储着windows网络中的所有资源。
黑白天安全
2020/06/23
4K0
Windows网络服务与配置管理之活动目录学习
Windows Server 2012 虚拟化测试:域
在Windows Server系统中,一些服务必需要构建在域的环境中,这不仅是为了统一验证和资源共享,同时也是为了网络安全。为构建虚拟化测试,我们需要先搭建域环境。之前先来大概了解一下域。
星哥玩云
2022/07/04
1.3K0
Windows Server 2012 虚拟化测试:域
内网基础知识
内网也就是常说的局域网(Local Area Network,简称LAN),是由两个或两个以上相连的计算机组成,局域网是包含在较小区域内的网络,通常位于建筑物内。家庭WiFi网络和小型企业网络是常见的局域网示例。在局域网内可以进行文件管理、应用软件共享、打印机共享、工作组内的日程安排、电子邮件和传真通信服务等功能。
鸿鹄实验室
2022/11/02
1.1K0
内网基础知识
Windows AD域详解
在介绍域之前,我们先了解一下什么是工作组,工作组是在window98系统以后引入的,一般按照电脑功能划分不同工作组,如将不同部门的计算机划分为不同工作组,计算机通过工作组分类,使得访问资源具有层次化,但是缺乏统一的管理和控制机制,因此引入“域”。
一只特立独行的兔先生
2024/02/02
1.1K0
Windows AD域详解
[WEB安全]内网基础知识整理
内网也指 局域网( Local Area Network , LAN ) 是指在某一区域内由多台计算机互联成的计算机组。一般是方圆几千米以内。局域网可以实现文件管理、应用软件共享、打印机共享、工作组内的历程安排、电子邮件和传真通信服务等功能。 • 内网是封闭型的,它可以由办公室内的两台计算机组成,也可以由一个公司内的上千台计算机组成。列如银行、学校、企业工厂、政府机关、网吧、单位办公网等都属于此类。
李鹏华
2024/03/12
2110
[WEB安全]内网基础知识整理
【愚公系列】2021年12月 网络工程-域的使用
域是Windows网络操作系统的应用模型。域(Domain)是Windows网络中独立运行的单位,域之间相互访问则需要建立信任关系(即TrustRelation)。信任关系是连接在域与域之间的桥梁。当一个域与其他域建立了信任关系后,2个域之间不但可以按需要相互进行管理,还可以跨网分配文件和打印机等设备资源,使不同的域之间实现网络资源的共享与管理。
愚公搬代码
2022/12/01
1.1K0
内网基础知识
局域网可以实现文件管理,应用软件共享,打印机共享,工作组内的历程安排,电子邮件和传真通信服务等功能
冬夜先生
2021/12/05
9870
内网渗透|初识域基础及搭建简单域
前言:内网域环境是学习内网知识的重要的一环,理解域内的基础知识,以及搭建简单的域环境是学习内网的必备基础。
亿人安全
2022/12/23
1.2K0
内网渗透|初识域基础及搭建简单域
内网渗透测试基础学习笔记
cn0sec 基础渗透笔记,内网学习笔记,工具学习笔记 2020-03-05
黑白天安全
2020/04/14
7030
内网渗透测试基础学习笔记
干货 | 学习了解内网基础知识,这一篇就够了!
本公众号提供的工具、教程、学习路线、精品文章均为原创或互联网收集,旨在提高网络安全技术水平为目的,只做技术研究,谨遵守国家相关法律法规,请勿用于违法用途,如果您对文章内容有疑问,可以尝试加入交流群讨论或留言私信,如有侵权请联系小编处理。
网络安全自修室
2023/02/26
4.1K0
干货 | 学习了解内网基础知识,这一篇就够了!
绝了!这7种工具可以监控AD(Active Directory)的健康状况
全球大约72%的企业使用 Microsoft Windows 服务器操作系统 (OS),每台服务器都使用 Active Directory 将用户相关数据和网络资源存储在域中。
网络技术联盟站
2023/03/13
4.3K0
绝了!这7种工具可以监控AD(Active Directory)的健康状况
域渗透基础(一)
工作组是局域网中的一个概念,由许多在同一物理地点,而且被相同的局域网连接起来的用户组成的小组,也可以是遍布一个机构的,但却被同一网络连接的用户构成的逻辑小组。工作组是最常见最简单最普通的资源管理模式,就是将不同的电脑按功能分别列入不同的组中,加入工作组是为了区分用户计算机在网络中的类别,如果用户有工作组的话,在管理上会方便很多,可以共享/使用打印机和协和工作,很多小企业都是用这种方法来管理电脑,共享文件。
重生信息安全
2020/06/10
2.1K0
内网渗透基石篇:内网基础知识及域环境搭建
对局域网中的计算机进行分类,使得网络更有序。计算机的管理依然是各自为政,所有计算机依然是对等的,松散会员制,可以随意加入和退出,且不同工作组之间的共享资源可以相互访问。
FB客服
2021/05/20
1.6K0
内网渗透基石篇:内网基础知识及域环境搭建
Active Directory教程3
Active Directory 的早期阶段,企业常常在用户可能登录的每个站点均部署域控制器。例如,银行通常在每个支行都安装 DC。其中的逻辑是每个支行的用户都能登录并访问本地网络资源,即使 WAN 失效也能如此。本文是《Active Directory教程》的第三篇,讲述了Windows Server 2008 只读域控制器。
py3study
2020/01/10
1.7K0
相关推荐
AD域和LDAP协议
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验