前两篇文章分别讲了 Linux 和 Windows 环境安装 Elasticsearch，有兴趣可以点击以下链接查看： 《windows10 安装 ElasticSearch》 《Linux 下安装 Elasticsearch》
项目由win系统部署到linux系统下，启动项目报错如下： Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'heart_beat.QRTZ_LOCKS' doesn't exist at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeCo
这里我只准备了一台服务器进行搭建测试，遂主库和从库均在一台服务器上，只不过是访问端口不一样而已
上一篇文章已经详细介绍了如何使用Canal中间件将MySQL数据同步至ElasticSearch。然而，由于Canal已经很久没有得到维护，使用过程中可能会遇到许多问题。因此，在尝试Canal的同时，我们还可以考虑使用Logstash来实现类似的功能。本章将重点介绍如何使用Logstash将MySQL数据同步至ElasticSearch，如果你已经掌握了上一篇关于Canal的教程，可以直接从环境准备中的Logstash部分开始阅读。
IP:192.168.1.199，已经安装jenkins和mysql5.6
Logstash与Elasticsearch的安装就不多说了，我之前有两篇文章写的比较详细了ElasticSearch + Logstash + Kibana 搭建笔记 和 Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台。
但是目前MyCat仍主要面对MySQL 5.5, 5.6, 5.7版，对最新的MySQL 8尚未完全支持，需要用户对MySQL 8和MyCat的配置进行一系列的修改。
Sonar 是一个用于代码质量管理的开放平台。通过插件机制，Sonar 可以集成不同的测试工具，代码分析工具，以及持续集成工具。与持续集成工具（例如 Hudson/Jenkins 等）不同，Sonar 并不是简单地把不同的代码检查工具结果（例如 FindBugs，PMD 等）直接显示在 Web页面上，而是通过不同的插件对这些结果进行再加工处理，通过量化的方式度量代码质量的变化，从而可以方便地对不同规模和种类的工程进行代码质量管理。
记录WildFly 14 增加MySQL 8.0.11 数据源的过程，希望对大家有所帮助。
最近在家里捣鼓一个公司自己搭建的demo的时候，发现程序一启动就会出现CommunicationsException: Communications link failure错误，经过一番排查最后发现是数据库url写错造成的，这个过程中也对出现这个错误的解决思路有了一些自己的理解，现和大家分享。该错误的具体信息如下：
客户的一些应用系统使用的JDK1.7版本，在将数据库迁移到MySQL8.0的过程中，发现有些MySQL connector/J的版本无法连接到MySQL8.0。本文描述了在Linux JDK1.7环境下，测试不同版本Connector/J的方法，也可用于为MySQL接口的国产数据库产品选择Connector/J版本。
在生产业务常有将 MySQL 数据同步到 ES 的需求，如果需要很高的定制化，往往需要开发同步程序用于处理数据。但没有特殊业务需求，官方提供的Logstash 就很有优势了。 在使用 Logstash 我们应先了解其特性，再决定是否使用：
元数据服务(metastore）作用是：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。
/usr/local/logstash/sync-config/cicadaes.conf
系统环境及相关安装包： CentOS6.5 64位系统 tomcat6 :apache-tomcat-6.0.39.tar.gz mysql5.1.17 :rpm包 jdk1.6 :jdk-6u29-linux-x64.bin jdbc :mysql-connector-java-3.1.13-bin.jar
1、将db2数据库驱动db2java.jar、db2jcc.jar放入jmeter的lib/下，同时也要放入本地jdk目录下例如：C:\Program Files\Java\jdk1.7.0_751\jre\lib\ext
MySQL数据库连接错误：Unknown database 'bookmanagement'的修复方法；MySQL错误消息分析：Unknown database异常的解决
随着代码量的越来越多，同时对代码质量的要求也越来越高，对于代码review的需求越来越多。因此，引入SonarQube这个工具对Java代码进行质量管控。
Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。
一、安装前准备 1. 安装配置Hadoop，见http://blog.csdn.net/wzy0623/article/details/50681554 2. 下载安装包 mysql-5.7.10-linux-glibc2.5-x86_64 apache-hive-1.2.1-bin.tar.gz mysql-connector-java-5.1.38.tar.gz 二、安装MySQL 1. 解压 tar -zxvf mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz 2. 建立软连接 ln -s /home/grid/mysql-5.7.10-linux-glibc2.5-x86_64 mysql 3. 建立数据目录 mkdir /home/grid/mysql/data 4. 编辑配置文件~/.my.cnf内容如下 [mysqld] basedir=/home/grid/mysql datadir=/home/grid/mysql/data log_error=/home/grid/mysql/data/master.err log_error_verbosity=2 5. 初始化安装，并记下初始密码 mysqld --defaults-file=/home/grid/.my.cnf --initialize 6. 启动MySQL mysqld --defaults-file=/home/grid/.my.cnf --user=grid & 7. 登录MySQL，修改初始密码 mysql -u root -p mysql> ALTER USER USER() IDENTIFIED BY 'new_password'; mysql> exit; 8. 在/etc/profile中添加环境变量 export PATH=$PATH:/home/grid/mysql/bin 三、安装配置hive 1. 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz 2. 建立软连接 ln -s /home/grid/apache-hive-1.2.1-bin hive 3. 建立临时目录 mkdir /home/grid/hive/iotmp 4. 建立配置文件hive-site.xml cp ~/hive/conf/hive-default.xml.template ~/hive/conf/hive-site.xml 5. 新建配置文件hive-site.xml，内容如下：
本文是作者在单机上面从零到一实现增量同步MySQL数据到elasticsearch canal adapter方式(binlog)实现。
sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具规范代码编写。
Centos部署Sonarqube代码质量管理平台
H2是一个采用java语言编写的嵌入式数据库引擎，只是一个类库（即只有一个 jar 文件），可以直接嵌入到应用项目中，不受平台的限制
Linux（Ubuntu平台）Java通过JDBC连接MySQL数据库，与Windows平台类似，步骤如下：
下载地址：https://www.elastic.co/downloads/logstash
默认情况下，Hive会使用Derby来存储元数据（主要是表、列、分区Partition的信息）。Derby是一个嵌入式的本地数据库，只能单进程进行访问，不允许多个连接。因此，Derby只适合本地测试，不适合用在生产环境。Hive支持使用单独的数据库来存储元数据，比如MySql、PostgreSql等，本文将介绍如何配置Hive使用MySql存储元数据。
通常，单一的 Jenkins 对于项目的持续集成够用了。本文总结另外一种流行方案，Jenkins 与 Sonar 集成：Sonar 是 Jenkins 之外独立运行的一个服务。Jenkins 中安装插件 SonarQube(并配置其 Sonar Server 的 URL / AccessToken 等信息)，构建完毕后，该插件把报告数据提交给 Sonar Server 解析，Sonar Server 最终以量化图形方式展示代码质量变化。
Activiti是一个业务流程管理(BPM)框架,它是覆盖了业务流程管理，工作流，服务协作等领域的一个开源，灵活的，易扩展的可执行流程语言框架。在Java工作流引擎中可谓是主流，我们的项目也是使用的这个框架进行流程相关的开发。与流程息息相关的就是我们的流程定义BPMN文件，包含有一系列的标签定义，如果直接去编辑这段标签不仅上手不容易，还容易改出问题，这时候就迫切需要一个可视化的管理编辑器了。事实上Activiti已经提供了这个管理器，它就是Activiti-Exploer。
问题1 MySQL报错MySQL“ERROR 1046（3D000）：未选择数据库”更新查询
需求是，使用spark程序读用户表，统计用户个数，保存到结果表user_count：
如果UTF8字符集且是Java服务器的话，当存储含有emoji表情时，会抛出类似如下异常：
SonarQube是一个用于管理代码质量的开放平台，可以快速的定位代码中潜在的或者明显的错误。目前支持java,C#,C/C++,Python,PL/SQL,Cobol,JavaScrip,Groovy等二十几种编程语言的代码质量管理与检测。
Hitachi Data Systems于2017年改名为Hitachi Vantara 了.
spark SQL经常需要访问Hive metastore，Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始，Spark SQL只需简单的配置，就支持各版本Hive metastore的访问。注意，涉及到metastore时Spar SQL忽略了Hive的版本。Spark SQL内部将Hive反编译至Hive 1.2.1版本，Spark SQL的内部操作(serdes, UDFs, UDAFs, etc)都调用Hive 1.2.1版本的class。
wget http://mirrors.hust.edu.cn/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz
视频地址: https://www.bilibili.com/video/BV1xz4y1k783/
于是elasticsearch提供了可以直接和数据库关联，并且自动根据数据库中的数据更新索引logstash。
图１ 超时报错 就是这个异常(com.mysql.jdbc.exceptions.jdbc4. CommunicationsException:Communications link failure Last packet sent to the server was X ms ago)，是由于MySQL服务在长时间不连接之后断开了，断开之后的首次请求会抛出这个异常。那么既然是连接超时的问题，就要去MySQL中探究一下连接时间是怎么控制的。打开MySQL的控制台，运行:show variables like ‘%timeout%’，查看和连接时间有关的MySQL系统变量，得到如下结果：
java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES) at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:127) at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:95) at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:122) at com.mysql.cj.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:862) at com.mysql.cj.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:444) at com.mysql.cj.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:230) at com.mysql.cj.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:226) at java.sql.DriverManager.getConnection(DriverManager.java:664) at java.sql.DriverManager.getConnection(DriverManager.java:247) at BookManagement.<init>(BookManagement.java:23) at BookManagement.main(BookManagement.java:66)
支付清结算系统"外部对账"部分任务在早上6：00~7:00时间段内对账速度缓慢，且经常造成对账统计结果不准确问题，导致结转记账不准确。
ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。三者相互配合，取长补短，共同完成分布式大数据处理工作。
SonarQube 是一款用于代码质量管理的开源工具，它主要用于管理源代码的质量。 通过插件形式，可以支持众多计算机语言，比如 java, C#, go，C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等。sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具来检测你的代码，帮助你发现代码的漏洞，Bug，异味等信息。以下转自自己的CSDN博客：（关于截图背景颜色请无https://blog.csdn.net/qq_17238449/article/details/97392513
关系行数据库与非关系型数据库之间的数据同步 一、在不使用sqoop的情况下 Mysql–>hive 1.利用naivacat（工具）将数据库中的表导出（导出的时候要主要制表符/t） 2.利用WinSCP（工具）上传到linux指定的文件夹下 3.先在hive建表 create table 表名(idfa string) row format delimited fields terminated by ‘\t'” 4.hive -e “load data local inpath ‘t1.txt’ into table t1” (假设表里面有数据，须要truncate table hive表名。在运行4） truncate table t1;( 仅仅删除表数据) 或者hive -e “load data local inpath ‘t1.txt’ overwrite into table t1”; hive–>Mysql 1.hive -e “sql语句;>>name.txt” 导出在home/dev 2.然后在利用WinSCP（工具）下载到本地 二、在使用sqoop的情况下 1.解压sqoop，配置环境变量： 在/etc/profile中加入：(没有root权限是不能改动的，所以仅仅能在sqoop/bin路径下启动) export SQOOP_HOME/bin:PATH 配置完毕后要运行 source etc/profile 2. 解压mysql，将mysql-connector-java-5.1.24-bin.jar放到
上一篇文章我们安装了SonarQube-7.3，让我们可以在页面查看代码质量。但是具体的扫描工作则需要SonarQube Scanner完成。
/usr/local/bin/mysql –verbose –help | grep -A 1 ‘Default options’
学Python喊了很长时间了，总是因为各种各样的理由搁置，昨天想起来前同事推荐过一本Python的书《Python核心编程》第二版，就火速买了一本，Python的学习也算是个开始了。 当然了，我学习还是蛮浮躁的，总是喜欢循序渐进，深入浅出那种，希望短时间的学习能够看到成效，比如做出几个demo，写出几个算法之类的。 所以我把书先放下，换了个思路来想，如果我学习一门语言，怎么样会和目前的工作结合起来更多呢，bingo,那就调用MySQL吧。 其实mysql模块有点类似于JDBC的一种角色
3.1数据库URL 在连接数据库时必须使用各种与数据库类型相关的参数，比如主机名、端口号和数据库名。JDBC使用了一种与普通URL相类似的语法来描述数据源。 e.g. 常用数据库URL Derby: jdbc:derby://localhost:1527/COREJAVA;create=true PostgreSQL: jdbc:postgresql:COREJAVA MySQL: jdbc:mysql://host:port/database Oracle: jdbc:oracle:thin:@host:port:databse JDBC URL的语法一般为: jdbc:subprotocol:other stuff subprotocol用于指明连接到数据库的特定驱动程序。 other stuff参数的格式随所使用的subprotocol不同而不同。 3.2 驱动程序JAR文件 在运行访问数据库的程序时，需要将驱动程序的JAR文件包括到类路径中（编译时并不需要整个JAR文件） 从命令行启动时，只需要使用下面的命令 java -classpath .;driverJar ProgramName 通过;分号，将当前路径(由 . 字符标示的路径)与驱动程序的JAR文件分隔开。 3.3 启动数据库 数据库服务器在连接之前需要先启动 Derby数据库的启动步骤 (1)打开命令shell(linux)或cmd(windows)窗口C:\"Program Files"\Sun\JavaDB\lib (2)找到derbyrun.jar,一般在JavaDB中(C:\Program Files\Sun\JavaDB\lib) (3)启动服务 : java -jar derbyrun.jar server start (4)配置文件db.properties ij.driver=org.apache.derby.jdbc.ClientDriver ij.protocol=jdbc:derby://localhost:1527/ ij.database=DBNAME;create=true 注意 : 只有配置文件名和database可以使用任意名 (5)在另一个shell/cmd窗口中运行Derby的交互式脚本执行工具 : java -jar derbyrun.jar ij -p db.properties 注意 : 打开交互式执行脚本工具之后，会在derbyrun.jar所在目录下创建以配置文件中ij.database的值命名的文件夹。 (6)在打开的窗口中可以输入SQL语句，以;分号结尾。 (7)退出编辑器EXIT; (8)关闭服务器 : java -jar derbyrun.jar server shutdown 3.4 注册驱动器类 情况一：某些JDBC的JAR文件将自动注册驱动器类(Java Standard Edition Service Provider)，包含META-INF/services/java.sql.Driver文件的JAR文件可以自动注册。 e.g.Derby中lib目录下JAR包derby.jar中包含java.sql.Driver文件。该文件中"org.apache.derby.jdbc.AutoloadedDriver"为Derby的JDBC驱动程序实现名字。 情况二：如果驱动程序JAR不支持自动注册，需要找出数据库提供商使用的JDBC驱动器的名字。 典型的名字如下: Oracle:oracle.jdbc.driver.OracleDriver SQLServer:com.microsoft.jdbc.sqlserver.SQLServerDriver MySQL:org.gjt.mm.mysql.Driver 或com.mysql.jdbc.Driver 注:这里实际上都是调用的com.mysql.jdbc.Driver，下面为org.gjt.mm.mysql.Driver源码
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
