今天在爬取文章的时候，在将数据插入mysql数据库的时候，出现了Incorrect string value: '\xF0\x9F\x98\xAD",...' for column 'commentContent' at row 1 这个错误，Google了下发现原来是因为数据库编码问题导致的，原因在于我们的评论数据中存在emoj表情，而这些表情是按照四个字节一个单位进行编码的，而我们通常使用的utf-8编码在mysql数据库中默认是按照3个字节一个单位进行编码的，正是这个原因导致将数据存入mysql数据库的时候出现错误，那么这个问题我们应该怎么解决呢？
前两篇文章分别讲了 Linux 和 Windows 环境安装 Elasticsearch，有兴趣可以点击以下链接查看： 《windows10 安装 ElasticSearch》 《Linux 下安装 Elasticsearch》
1. 安装 elasticsearch 第一次使用的是 apt-get 的安装方式, 应该是软件源没设置为最新的, 结果安装的版本为1.7x的, 果断删除. 第二次直接将 elasticsearch 的 zip 包下载下来安装. wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip unzip elasticsearch-5.5.1.zip 配置. 将elasticsearch.yml 的 clus
https://dev.mysql.com/downloads/installer/
但是目前MyCat仍主要面对MySQL 5.5, 5.6, 5.7版，对最新的MySQL 8尚未完全支持，需要用户对MySQL 8和MyCat的配置进行一系列的修改。
在实际工作中，我们经常会听到数据库的性能和稳定性等等，这些有时候也需要测试工程师去评估和测试，上一篇文章宏哥主要介绍了jmeter连接和创建数据库测试计划的过程,宏哥在文中通过示例和代码非常详细地介绍给大家，希望对各位小伙伴和童鞋们的学习或者工作具有一定的指导和参考学习价值,遇到类似的问题脑子一片空白的童鞋们可以参考一下。这一篇宏哥就以MySQL数据为例结合上一篇的理论知识在这里带领小伙伴和童鞋们实战一下。这里宏哥为了增加小伙伴们的学习兴趣和便于记忆理解，因此列举了一个谍战剧中执行刺杀任务的场景，首先组成刺杀任务的小队，然后通过接头暗号建立联系，其次就开始执行刺杀任务，期间有核查组员的人物背景、其他组员支援、以及自己组员的牺牲、任务的变更等等，最后确认暗杀任务是否执行成功。
在项目中，我们肯定是不能用默认的静态账号密码，所以我们需要实现对jdbc或者其它认证方式的支持，将cas-overlay-template-5.2\pom.xml复制到项目里，将application.properties复制到resources文件夹
于是elasticsearch提供了可以直接和数据库关联，并且自动根据数据库中的数据更新索引logstash。
3, 官网介绍例子，使用 logstash-input-jdbc 到 elasticsearch
之前的测试任务中，有涉及到对数据库的操作，于是来探索下jmeter对于数据库操作的功能。
hello我是bigsai，今天咱们进行JDBC+MySQL实战，非常适合初入门的小伙伴打开新的世界。实现一个增删改查(curd)的例子。先点赞再观看、帅哥靓女养成好习惯！
这里我只准备了一台服务器进行搭建测试，遂主库和从库均在一台服务器上，只不过是访问端口不一样而已
在本文中，我总结了开发过程中最为常见的几种 MySQL 抛出的异常以及如何解决，包括高版本驱动的问题、时区配置问题、SSL 连接问题等，是一篇经验总结贴，于我个人而言，这一篇足以解决目前项目中所有遇到的 MySQL 问题。同时也希望本文能对 MySQL 数据库初学者有一定的引导入门作用。
在本文中，我总结了开发过程中最为常见的几种 MySQL 抛出的异常以及如何解决，包括高版本驱动的问题、时区配置问题、SSL 连接问题等，是一篇经验总结贴，于我个人而言，这一篇足以解决目前项目中所有遇到的 MySQL 问题。同时，也希望本文能对 MySQL 数据库初学者有一定的引导入门作用。
元数据服务(metastore）作用是：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。
java.sql.Driver 接口是所有 JDBC 驱动程序需要实现的接口。这个接口是提供给数据库厂商使用的，不同数据库 厂商提供不同的实现。 在程序中不需要直接去访问实现了 Driver 接口的类，而是由驱动程序管理器类(java.sql.DriverManager)去调用 这些Driver实现。
尴尬：access denied for user ’root’@’localhost’ using password yes 有时候，在连接 MySQL 数据的时候，会报一个错误信息 "access denied for user ’root’@’localhost’ using password yes"，看到这个错误不要一脸懵逼，造成错误的原因就是数据库访问的用户名或密码不正确，这时候一般又分为以下两种情况，分别说一说解决方法。 一、新安MySQL未设置密码，这种情况就需要添加密码，如何添加？ 1、
JDBC编程中主要用到的类/对象 1.DataSource 用于配置如何连接MySQL 2.Connection 表示建立好的一次连接（在操作数据库之前要先建立连接） 3.PrepareStatement 对应到一个SQL语句 4. ResultSet 表示select查找结果的结果集
如果有旧版本的MySQL的话，我们就通过 rpm -e 命令 或者 rpm -e --nodeps 命令来卸载掉。
在生产业务常有将 MySQL 数据同步到 ES 的需求，如果需要很高的定制化，往往需要开发同步程序用于处理数据。但没有特殊业务需求，官方提供的Logstash 就很有优势了。 在使用 Logstash 我们应先了解其特性，再决定是否使用：
MySQL 主从复制的方式有多种，本文主要演示基于基于日志（binlog）的主从复制方式。
所谓的数据发布/订阅，意思是发布者将数据发布到Zookeeper上的一个或一系列节点上，通过watcher机制，客户端可以监听(订阅)这些数据节点，当这些节点发生变化时，Zookeeper及时地通知客户端，从而达到动态获取数据的目的。
在使用Java连接MySQL数据库时，你可能会遇到"com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure, The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server."的错误。这个错误通常意味着Java应用程序无法连接到MySQL服务器。 这个错误可能由多个原因引起，包括网络连接问题、MySQL服务器设置问题等。在解决这个问题之前，你可以尝试以下几个步骤。
在Centos上部署项目发现一个奇怪的问题，数据库连接一直抛异常。于是花了两个小时搜了各种数据库连接异常导致的原因，最终问题得以解决。同时，把解决过程中搜集到的异常信息汇总一下，当大家遇到类似的问题时，给大家以思路。必须珍藏。
这里最头疼的是数据库驱动问题， 排查很久都找不出问题，一般就是这个导致的。能搞死人~
目前项目采用的是更新数据后再更新elasticsearch,各种历史原因导致很多数据并不是同步的，业务互相紧耦合, 所以需要调研适合团队发展的 db同步es机制,从业务层面剔除这部分功能维护。 下面是本人在搭建、配置、调试过程中一些总结和踩完坑后整理的配置。
发起 jdbc 请求前，需要有 JDBC 连接配置，即先连上数据库，才能查询数据库
今天遇到一个问题，早上对MySQL进行限制IP访问的操作，限制其只能通过 192.168.137.% 这个网段进行访问。没想到马上就出问题了，加拿大网站购卡提交不了订单了。后来查证下来发现日志里，有数据库的报错。
Java数据库连接，（Java Database Connectivity，简称JDBC）是Java语言中用来规范客户端程序如何来访问数据库的应用程序接口，提供了诸如查询和更新数据库中数据的方法。
2.1 设置quartz /pentaho-server/pentaho-solutions/system/quartz/quartz.properties
在上一章节中，我们虽然认识了 JDBC 的基本概念，以及完整的执行入门示例。但是对于程序中的每个操作还是比较陌生的，所以在后续的篇章中，我再将其拆分，逐步进行讲解。
最近在家里捣鼓一个公司自己搭建的demo的时候，发现程序一启动就会出现CommunicationsException: Communications link failure错误，经过一番排查最后发现是数据库url写错造成的，这个过程中也对出现这个错误的解决思路有了一些自己的理解，现和大家分享。该错误的具体信息如下：
上篇blog说到采用logstash-input-jdbc将mysql数据同步到ES（http://www.cnblogs.com/jstarseven/p/7704893.html）,但是这里有一个问题，即假如我不需要logstash自动对mysql数据提供的mapping模板怎么办，毕竟我的数据需要ik分词，同义词解析等。。。
第二十七天 数据库基础&JDBC使用&工具类Properties&连接池&DBUtils【悟空教程】
定位： hive的元数据都是存储在mysql上维护的。 可以修改hive元数据的字符集为utf-8.
说明：因为PD是32位的，使用JDBC连接数据库时候也需要运行在32位的Java虚拟机上。一般我们机器上安装的都是64位的，所以需要安装32位JDK不用添加到系统变量中，只需要在启动PD的时候将这个环境变量set就可以。
OFBiz是一个非常著名的电子商务平台，是一个非常著名的开源项目，提供了创建基于最新J2EE/XML规范和技术标准，构建大中型企业级、跨平台、跨数据库、跨应用服务器的多层、分布式电子商务类WEB应用系统的框架。 OFBiz最主要的特点是OFBiz提供了一整套的开发基于Java的web应用程序的组件和工具。包括实体引擎, 服务引擎, 消息引擎, 工作流引擎, 规则引擎等。OFBiz 已经正式成为 Apache 的顶级项目: Apache OFBiz。 ofbiz自带的数据库是Derby,这是一种小型的适合于测
在生产环境处理故障的过程出现了java服务连接mysql，由于连接数太多被拒绝连接的故障，那么下面来看看怎么优化一下吧。
今天来聊一个简单的话题，这是一个小伙伴在微信上问我的，对于初学者我非常能理解这类问题带来的困扰，各种尝试，各种搜索，别人说的头头是道，但是就是解决不了自己的问题，今天我简单从两个方面来和大家聊聊这个问题，如果小伙伴们有其他的解决思路，也可以留言一起分享。 这个问题我们可以从两方面来分析： MySQL 本身的问题。 Java 代码的问题。 1. MySQL 本身问题 MySQL 本身问题，这个其实很好验证，不就是时间么，我们执行如下 SQL 看看 MySQL 上的时间跟我的电脑时间是否是一致的： select
java.sql ： 无论现在通过Java操作哪个具体的数据库，数据库厂商实现的驱动包都需要满足JDBC的标准（接口）
微信呢称和QQ呢称上有很多火星文和emoji表情图片，这些数据，如果直接insert到mysql数据库，一般会报错，设置成utf8都不好使，必须改成utf8mb4编码，这二者的区别见： mysql utf8mb4与emoji表情 ，网上的解决办法大多是修改my.cnf参数，设置mysql的编码为utf8mb4，这种方法虽然彻底，但是通常要重启mysql，会造成生产系统临时当机。 下面是影响相对更小的处理方法： 前提：mysql的版本不能太低，低于5.5.3的版本不支持utf8mb4编码。 将表中的对应字段，
2)JDBC是javaSE程序连接数据库的桥梁，所以跟你使用哪一类程序没有关系，也就是说不管你使用javaSE程序还是以后的JavaWeb程序
Maven与Sonar配合使用 准备工作：下载sonarqube源码即可 步骤： 1）、安装sonar 解压，启动sonarqube-4.1\bin\windows-x86-32目录下的StartSonar.bat文件。 2）、安装插件 Quality Index Plugin 将sonar-quality-index-plugin-1.1.3.jar放到sonarqube-4.1\extensions\plugins目录下。 3）、数据库设置
下载地址：https://www.elastic.co/downloads/logstash
集中, 转换和存储数据, logstach是免费且开放的服务器端数据处理管道, 能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的"存储库"中
目的是希望将现有的数据导入到 ElasticSearch 中，研究了好几种，除了写代码的方式，最简便的就是使用 Logstash 来导入数据到 ElasticSearch 中了。
该系列将记录一份完整的实战项目的完成过程，该篇属于优化篇第二天，主要负责完成读写分离问题
如果UTF8字符集且是Java服务器的话，当存储含有emoji表情时，会抛出类似如下异常：
图１ 超时报错 就是这个异常(com.mysql.jdbc.exceptions.jdbc4. CommunicationsException:Communications link failure Last packet sent to the server was X ms ago)，是由于MySQL服务在长时间不连接之后断开了，断开之后的首次请求会抛出这个异常。那么既然是连接超时的问题，就要去MySQL中探究一下连接时间是怎么控制的。打开MySQL的控制台，运行:show variables like ‘%timeout%’，查看和连接时间有关的MySQL系统变量，得到如下结果：
准备mysql数据库的驱动jar包：mysql-connector-java-5.1.13-bin.jar；
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
