将Mycat-server-1.6.7.1-release-20190627191042-linux重命名为mycat
小编最近公司有个新的需求,数据量比较大,要涉及到分库分表。大概了解了一些主流的中间件,使用和网上资料比较多的是Mycat和sharding-jdbc,小编比较倾向于Mycat。原因很简单就是参考的资料比较多,教学比较多,小编经过一天的尝试,终于完成了!这篇主要是实战,一些知识点请自行百度,小编也是没有了解太多,最主要的目的是看一下效果!网上全使用Docker还是不多,而且很迷糊,小编进行补充,让大家少走弯路!!
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/linzhiqiang0316/article/details/79619246
MyCAT是一个开源的分布式数据库组件,在项目里,一般用这个组件实现针对数据库的分库分表功能,从而提升对数据表,尤其是大数据库表的访问性能。而且在实际项目里,MyCAT分库分表组件一般会和MySQL以及Redis组件整合使用,这样就能从“降低数据表里数据量规模”和“缓存数据”这两个维度提升对数据的访问性能。
不建议使用pip来安装docker-compose插件。pip存在版本更新问题以及和python的版本匹配问题。
修改 MySQL 配置文档 ==/etc/mysql/mysql.conf.d/mysqld.cnf==,在 [mysqld] 段添加以下配置:
随着我们的系统用户不断增加,产出的内容和数据量将不断增长,单台数据库数据量因为过大,将会导致查询速率降低,严重影响用户体验。
首次认识mycat,最容易是从示例着手去了解,比如此次示例是结合mysql完成数据的分库分表,进行横向扩展。
前提需求是已经完成安装了Mysql服务,Mysql的安装可参考:Docker安装Mysql 这里只介绍Mycat1.6.7.6对Mysql8支持使用配置,其他基于mycat完成读写分离、分库分表等配置详见本站其他文章
1.下载jdk,地址 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
读写分离,简单地说是把对数据库的读和写操作分开,以对应不同的数据库服务器。主数据库提供写操作,从数据库提供读操作,这样能有效地减轻单台数据库的压力。
MyCat++ 分库分表:以空间换取时间 1.通过查询mysql中的数据库表([1]),和 mycat中配置的schema([2]) 和 rule([3]) 信息,构建一个路由图 并根据路由规则自动创建子表,mycat server 保存着分库分表的元数据信息,这些元数据信息 可根据[1],[2],[3]进行重建; dataBase-hostNode 分配策略;数据库应该分配在哪台mysql服务器上; table-dataBase 分配策略;表应该分到哪个database里。 分配算法:
进入到 mycat 安装目录 conf 目录下,打开 schema.xml 文件。
性能调优 性能优化本质 JVM调优 深入Tomcat的调优 mysql调优那些事 怎么写优雅的java代码 Spring源码分析 Spring Framework体系结构 spring源码环境搭建 Spring容器实现与组成 Java Bean的前世今生 BeanFactory源码分析 Spring的依赖实现 Spring AOP全解析 Spring Transaction源码解读 Spring Cache源码解读 Spring 5.0新特性分析 Spring MVC源码分析 Spring MVC的使用与
为了进一步提高数据库的高可用,采用双主双从架构,两台主库,分别将对方作为自己的master,自己作为对方的 slave 来进行复制。
在这一阶段,首先是安装了虚拟机. 在安装虚拟机过后,学习了以后,就开始安装在虚拟机上安装jdk, tomcat, mysql .,将这些软件安装好后,我们算是把虚拟机运行环境搭建完毕了. Linux环境下安装(jdk\mysql\tomcat)
前不久作为架构师完成了某知名快消企业的一个业务中台建设。系统上线后,经历了双十一活动的流量高峰,整体运行稳定。最近有空,便将此次架构的思路,心得稍作整理在这篇博客中分享一下。不会深入每一个技术细节,而是把用到的技术、框架、工具做一个简单的回顾,作为日后的参考。
01 高可用 负载均衡(负载均衡算法) 反向代理 服务隔离 服务限流 服务降级(自动优雅降级) 失效转移 超时重试(代理超时、容器超时、前端超时、中间件超时、数据库超时、NoSql超时) 回滚机制(上
jetty相对于tomcat来说,启动速度非常快,方便调试. 在idea的maven项目中,只需要在pom.xml配置文件中配置jetty的插件即可. 全部:
分布式数据库,已经进入了全面快速发展阶段,这种发展,是与时俱进的,与人的需求是分不开的,因为现在信息时代的高速发展,导致数据量和交易量越来越大。这种现象首先导致的就是存储瓶颈,因为MySQL数据库,实质上,还是一个单机版本的数据库,而只要是单机,就必然会遇到的一个问题就是存储问题,因为存储是硬需求,而CPU和内存如果不够的话,只是性能不好,并不会直接否定方案或者架构。
之前面了阿里中间件的提前批,不过没走流程。同期还面了蚂蚁中间件的两轮面试,被告知不走流程就不能面了,所以也没面完。
本系列文章将整理到我在GitHub上的《Java面试指南》仓库,更多精彩内容请到我的仓库里查看
小编最近一直在研究关于分库分表的东西,前几天docker安装了mycat实现了分库分表,但是都在说mycat的bug很多。很多人还是倾向于shardingsphere,其实他是一个全家桶,有JDBC、Proxy 和 Sidecar组成,小编今天以最简单的JDBC来简单整合一下! 现在最新版已经是5.1.1,经过一天的研究用于解决了所有问题,完成了单库分表!!
小编最近一直在研究关于分库分表的东西,前几天docker安装了mycat实现了分库分表,但是都在说mycat的bug很多。很多人还是倾向于shardingsphere,其实他是一个全家桶,有JDBC、Proxy 和 Sidecar组成,小编今天以最简单的JDBC来简单整合一下! 现在最新版已经是5.1.1,小编看了半天也没明白怎么配置,高版本的咱不会,咱只能搞低版本的试试,体验一下,后续在研究高版本的哈!
最近有朋友问到我基于K8s & Spring Cloud的PaaS云平台的相关问题,正好之前在卓望数码 时专门做这个的。考虑到技术选型本身并不涉及业务,也不涉及商业机密,索性整理一下,分享出来。
linux系统、常用命令、应用软件(特别是nginx,tomcat,redis,mysql)、shell
MyCAT 是使用JAVA开发的,必须运行于JRE的环境中,MyCAT的运行依赖不低于JDK7版本的环境
按照数据表中某个字段的某种规则,将记录分散到多个库中,每个库该表中存储一部分记录,所有库中该表的记录并集,为该表所有记录的数据全集。
本文以某个电商为原型,介绍从一百个到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。
constraints 可以匹配 node 标签和 engine 标签,engine.labels 适用于 Docker Engine 标签,如操作系统,驱动程序等,node.labels 适用于上述人为添加到节点的。
在MyCat中,当执行一条SQL语句时,MyCat需要进行SQL解析、分片分析、路由分析、读写分离分析等操作,最终经过一系列的分析决定将当前的SQL语句到底路由到那几个(或哪一个)节点数据库,数据库将数据执行完毕后,如果有返回的结果,则将结果返回给MyCat,最终还需要在MyCat中进行结果合并、聚合处理、排序处理、分页处理等操作,最终再将结果返回给客户端。
工作这些年来,也去了一些地方,有了一些见闻,隐隐感觉很多文化和猫有着千丝万缕的联系。就拿IT行业来说吧,猫有着很高的曝光率,比如大名鼎鼎的tomcat,是由SUN(曾经的千亿帝国这几天新闻不断)的软件构架师詹姆斯·邓肯·戴维森开发,并由Sun贡献给Apache软件基金会,他希望这种动物能够自己照顾自己,将其命名为Tomcat,于是乎这个名字就留下来了。 在Oracle中我最喜欢查看的一个数据字典试图就是cat,这是典型的猫文化,没有其他的技术意味。 最早听到mycat的时候,我意味是一个国外的
之后得到类似于Mycat-web-1.0-SNAPSHOT-20160215151602-linux.tar.gz这个文件,部署到和zookeeper同一台服务器上。 如果要部署到其他机器,需要修改mycat-web\mycat-web\WEB-INF\classes\ mycat.properties配置文件 zookeeper=x.x.x.x:xxxx
随着互联网的迅速发展,数据量的增长和访问量的增加,单一数据库已经不能满足大规模网站的需求。传统的单机数据库在数据量达到一定级别时,系统性能会急剧下降,甚至系统崩溃。为了解决这个问题,数据库集群应运而生。
MyCat权威指南:http://www.mycat.io/document/Mycat_V1.6.0.pdf
安装mysql5.6:https://my.oschina.net/u/3497124/blog/1488479 安装Java1.8:https://my.oschina.net/u/3497124/blog/1525269
cd /usr/local/mycat/conf vim wrapper.conf
系统开发中,数据库是非常重要的一个点。除了程序的本身的优化,如:SQL语句优化、代码优化,数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件,已经在很多产品上进行使用了。希望通过这篇文章的介绍,能学会Mycat的使用。 安装 Mycat官网:http://www.mycat.io/ 可以了解下Mycat的背景和应用情况,这样使用起来比较有信心。 Mycat下载地址:http://dl.mycat.io/ 官网有个文档,属于详
最近花了很长的时间去搜罗整理Java核心技术好文,我把每个Java核心技术的优选文章都整理成了一个又一个的文档。今天就把这些东西分享给老铁们,也能为老铁们省去不少麻烦,想学什么技能了,遇到哪方面的问题了 直接打开文档学一学就好了。不多说,直接上干货!
进入官网 http://www.mycat.org.cn/ 可以看到当前最新版本为 Mycat2,企业中一般不会选择最新版本,一是不够稳定,二是如果出现问题,解决方案不是太容易找到。
master(虚拟机centos7,NAT模式,固定ip):192.168.131.129
如果是在多台 Linux 系统中组建的 MyCAT 集群,那需要在 MyCAT Server 所在的服务器上配置对
http://www.mycat.io/document/mycat-definitive-guide.pdf
横空出世的MyCat截至到2015年4月,保守估计已经有超过60个项目在使用,主要应用在电信领域、互联网项目,大部分是交易和管理系统,少量是信息系统。比较大的系统中,数据规模单表单月30亿。本人也初步尝鲜,体验了一把,见以下描述,供大家参考。 一、安装mycat MyCAT 是使用 JAVA 语言进行编写开发,使用前需要先安装 JAVA 运行环境(JRE),由于 MyCAT 中使用 了 JDK7 中的一些特性,所以要求必须在 JDK7 以上的版本上运行。 环境准备 1) JDK 下载 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 注:必须 JDK7 或更高版本. 2) MySQL 下载 http://dev.mysql.com/downloads/mysql/5.5.html#downloads 注:MyCAT 支持多种数据库接入,如:MySQL、 SQLServer、 Oracle、 MongoDB 等,推荐使用 MySQL 做集群。 3) MyCAT 项目主页 https://github.com/MyCATApache/ 注:MyCAT 相关源码、文档都可以在此地址下进行下载。 windows下可以下载Mycat-server-1.4-RELEASE-yyyymmddxxxx-win.tar 将其解压在某个目录下,建议解压到本地某个盘符根目录下(不建议使用中文目录),如下为解压后的: D:\>cd mycat D:\mycat>dir 驱动器 D 中的卷没有标签。 卷的序列号是 0006-4285 D:\mycat 的目录 2015/09/24 14:55 <DIR> . 2015/09/24 14:55 <DIR> .. 2015/09/24 14:55 <DIR> bin //bin 程序目录 2015/09/24 14:51 <DIR> catlet 2015/09/24 16:35 <DIR> conf //conf 目录下存放配置文件 2015/09/24 14:55 <DIR> lib //lib 目录下主要存放 mycat 依赖的一些 jar 文件 2015/09/25 10:49 <DIR> logs //log 目录下主要是日志存放 2015/09/22 23:30 217 version.txt D:\mycat>more version.txt //版本信息 BuildTime 2015-09-22 15:30:06 GitVersion b9af103db1f04afca17edaa05bfe3118ed0b23c2 MavenVersion 1.4-RELEASE GitUrl https://github.com/MyCATApache/Mycat-Server.git MyCatSite http://www.mycat.org.cn QQGroup 106088787 二、配置mycat 1、mycat的配置 文件全部基于xml文件来完成,位于mycat路径下的conf目录 通常包括以下配置文件:全部基于xml文件来完成,位于mycat路径下的conf目录,通常包括以下配置文件: autopartition-long.txt cacheservice.properties dnindex.properties ehcache.xml index_to_charset.properties log4j.xml //日志文件的相关配置 partition-hash-int.txt partition-range-mod.txt router.xml rule.xml schema.xml sequence_conf.properties sequence_db_conf.properties sequence_time_conf.properties server.xml wrapper.conf 2、基本配置 修改server.xml如下 <user name="test"> //配置连
系统开发中,数据库是非常重要的一个点。除了程序的本身的优化,如:SQL语句优化、代码优化,数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件,已经在很多产品上进行使用了。希望通过这篇文章的介绍,能学会Mycat的使用。
微服务架构是当前很热门的一个概念,它不是凭空产生的,是技术发展的必然结果。虽然微服务架构没有公认的技术标准和规范草案,但业界已经有一些很有影响力的开源微服务架构平台,架构师可以根据公司的技术实力并结合项目的特点来选择某个合适的微服务架构平台,以此稳妥地实施项目的微服务化改造或开发进程。 本文盘点了四种常用的微服务架构方案,分别是ZeroC IceGrid、Spring Cloud、基于消息队列与Docker Swarm。 ZeroC IceGrid微服务架构 ZeroC IceGrid作为一种微服务架构,它
作者个人研发的在高并发场景下,提供的简单、稳定、可扩展的延迟消息队列框架,具有精准的定时任务和延迟队列处理功能。自开源半年多以来,已成功为十几家中小型企业提供了精准定时调度方案,经受住了生产环境的考验。为使更多童鞋受益,现给出开源框架地址:
每个方法都有优缺点,我们选择对程序代码改动最小(只改数据源)的方法三,讲解mycat的配置和使用。
通过mycat来实现读写分离:使用mycat提供的读写分离功能,mycat连接多个数据库,数据源只需要连接mycat,对于开发人员而言他还是连接了一个数据库(实际是mysql的mycat中间件),而且也不需要根据不同 业务来选择不同的库,这样就不会有多余的代码产生
概念: MyCat 对自身不支持的 Sql 语句提供了一种解决方案——在要执行的 SQL 语句前添加额外的一段由注解SQL 组织的代码,这样 Sql 就能正确执行,这段代码称之为“注解”。注解的使用相当于对 mycat 不支持的 sql语句做了一层透明代理转发,直接交给目标的数据节点进行 sql 语句执行,其中注解 SQL 用于确定最终执行 SQL的数据节点。注解的形式是:
领取专属 10元无门槛券
手把手带您无忧上云