首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >开源数据库中间件-MyCa初探与分片实践

开源数据库中间件-MyCa初探与分片实践

作者头像
蒋老湿
修改于 2019-12-09 06:18:29
修改于 2019-12-09 06:18:29
7950
举报
文章被收录于专栏:技术栈技术栈
  • 如今随着互联网的发展,数据的量级也是撑指数的增长,从GB到TB到PB。对数据的各种操作也是愈加的困难,传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性,减少对事务的支持,减少对复杂查询的支持,来获取性能上的提升。
  • 但是,在有些场合NoSQL一些折衷是无法满足使用场景的,就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的,所以还是需要使用关系性数据库。如果使用关系型数据库解决海量存储的问题呢?此时就需要做数据库集群,为了提高查询性能将一个数据库的数据分散到不同的数据库中存储。

MyCat简介

  • Mycat 背后是阿里曾经开源的知名产品——Cobar。Cobar 的核心功能和优势是 MySQL 数据库分片,此产品曾经广为流传,据说最早的发起者对 Mysql 很精通,后来从阿里跳槽了,阿里随后开源的 Cobar,并维持到 2013 年年初,然后,就没有然后了。
  • Cobar 的思路和实现路径的确不错。基于 Java 开发的,实现了 MySQL 公开的二进制传输协议,巧妙地将自己伪装成一个 MySQL Server,目前市面上绝大多数MySQL客户端工具和应用都能兼容。比自己实现一个新的数据库协议要明智的多,因为生态环境在哪里摆着。
  • Mycat 是基于 cobar 演变而来,对 cobar 的代码进行了彻底的重构,使用 NIO 重构了网络模块,并且优化了 Buffer 内核,增强了聚合,Join 等基本特性,同时兼容绝大多数数据库成为通用的数据库中间件
  • 简单的说,MyCAT就是:一个新颖的数据库中间件产品支持mysql集群,或者mariadb cluster,提供高可用性数据分片集群。你可以像使用mysql一样使用mycat。对于开发人员来说根本感觉不到mycat的存在。

MyCat支持的数据库:

MyCat下载及安装

MySQL安装与启动

JDK:要求jdk必须是1.7及以上版本

MySQL:推荐mysql是5.5以上版本

MySQL安装与启动步骤如下:( 步骤1-5省略 )

  1. 将MySQL的服务端和客户端安装包(RPM)上传到服务器
  1. 查询之前是否安装过MySQL

rpm -qa|grep -i mysql

  1. 卸载旧版本MySQL

rpm -e --nodeps 软件名称

  1. 安装服务端

rpm -ivh MySQL-server-5.5.49-1.linux2.6.i386.rpm

  1. 安装客户端

rpm -ivh MySQL-client-5.5.49-1.linux2.6.i386.rpm

  1. 启动MySQL服务

service mysql start

  1. 登录MySQL

mysql -u root

  1. 设置远程登录权限

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY '123456' WITH GRANT OPTION;

在本地SQLyog 连接远程MySQL进行测试

MyCat安装及启动

MyCat的官方网站: www.mycat.org.cn

下载地址: github.com/MyCATApache…

  1. 将Mycat-server-1.4-release-20151019230038-linux.tar.gz上传至服务器
  2. 将压缩包解压缩。建议将mycat放到/usr/local/mycat目录下
代码语言:txt
AI代码解释
复制
tar -xzvf Mycat-server-1.4-release-20151019230038-linux.tar.gz
mv mycat /usr/local
  1. 进入mycat目录的bin目录,启动: ./mycat start 停止:./mycat stop

mycat 支持的命令{ console | start | stop | restart | status | dump }

Mycat的默认端口号为:8066

MyCat分片

什么是分片

简单来说,就是指通过某种特定的条件,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)上面,以达到分散单台设备负载的效果。

数据的切分(Sharding)根据其切分规则的类型,可以分为两种切分模式。

  1. 一种是按照不同的表(或者Schema)来切分到不同的数据库(主机)之上,这种切分可以称之为数据的垂直(纵向)切分
  1. 另外一种则是根据表中的数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库(主机)上面,这种切分称之为数据的水平(横向)切分。

MyCat分片策略:

分片相关的概念

逻辑库(schema) :

  • 前面一节讲了数据库中间件,通常对实际应用来说,并不需要知道中间件的存在,业务开发人员只需要知道数据库的概念,所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

逻辑表(table):

  • 既然有逻辑库,那么就会有逻辑表,分布式数据库中,对应用来说,读写数据的表就是逻辑表。逻辑表,可以是数据切分后,分布在一个或多个分片库中,也可以不做数据切分,不分片,只有一个表构成。

分片表:

  • 是指那些原有的很大数据的表,需要切分到多个数据库的表,这样,每个分片都有一部分数据,所有分片构成了完整的数据。 总而言之就是需要进行分片的表。

非分片表:

  • 一个数据库中并不是所有的表都很大,某些表是可以不用进行切分的,非分片是相对分片表来说的,就是那些不需要进行数据切分的表。

分片节点(dataNode)

  • 数据切分后,一个大表被分到不同的分片数据库上面,每个表分片所在的数据库就是分片节点(dataNode)。

节点主机(dataHost)

  • 数据切分后,每个分片节点(dataNode)不一定都会独占一台机器,同一机器上面可以有多个分片数据库,这样一个或多个分片节点(dataNode)所在的机器就是节点主机(dataHost),为了规避单节点主机并发数限制,尽量将读写压力高的分片节点(dataNode)均衡的放在不同的节点主机(dataHost)。

分片规则(rule)

  • 前面讲了数据切分,一个大表被分成若干个分片表,就需要一定的规则,这样按照某种业务规则把数据分到某个分片的规则就是分片规则,数据切分选择合适的分片规则非常重要,将极大的避免后续数据处理的难度。

MyCat分片配置

  1. 配置schema.xml
    • schema.xml作为MyCat中重要的配置文件之一,管理着MyCat的逻辑库、逻辑表以及对应的分片规则、DataNode以及DataSource。弄懂这些配置,是正确使用MyCat的前提。这里就一层层对该文件进行解析。
    • schema 标签用于定义MyCat实例中的逻辑库
    • Table 标签定义了MyCat中的逻辑表 rule用于指定分片规则,auto-sharding-long的分片规则是按ID值的范围进行分片 1-5000000 为第1片 5000001-10000000 为第2片.... 具体设置我们会在第5小节中讲解。
    • dataNode 标签定义了MyCat中的数据节点,也就是我们通常说所的数据分片。
    • dataHost标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心跳语句。
    • 在服务器上创建3个数据库,分别是db1 db2 db3
    • 修改schema.xml如下:<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://org.opencloudb/"> <schema name="PINYOUGOUDB" checkSQLschema="false" sqlMaxLimit="100"> <table name="tb\_test" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" /> </schema> <dataNode name="dn1" dataHost="localhost1" database="db1" /> <dataNode name="dn2" dataHost="localhost1" database="db2" /> <dataNode name="dn3" dataHost="localhost1" database="db3" /> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1" url="192.168.25.142:3306" user="root" password="123456"> </writeHost> </dataHost> </mycat:schema>
  2. 配置 server.xml
    • server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。在system中添加UTF-8字符集设置,否则存储中文会出现问号 <property name="charset">utf8</property>
    • 修改user的设置 , 我们这里为 PINYOUGOUDB设置了两个用户<user name="test"> <property name="password">test</property> <property name="schemas">PINYOUGOUDB</property> </user> <user name="root"> <property name="password">123456</property> <property name="schemas">PINYOUGOUDB</property> </user>

MyCat分片测试

进入mycat ,执行下列语句创建一个表:

代码语言:txt
AI代码解释
复制
CREATE TABLE tb_test (
  id BIGINT(20) NOT NULL,
  title VARCHAR(100) NOT NULL ,
  PRIMARY KEY (id)
) ENGINE=INNODB DEFAULT CHARSET=utf8 

创建后你会发现,MyCat会自动将你的表转换为大写,这一点与Oracle有些类似。

我们再查看MySQL的3个库,发现表都自动创建好啦。好神奇。

接下来是插入表数据,注意,在写INSERT语句时一定要写把字段列表写出来,否则会出现下列错误提示:

错误代码: 1064 partition table, insert must provide ColumnList

我们试着插入一些数据:

代码语言:txt
AI代码解释
复制
INSERT INTO TB_TEST(ID,TITLE) VALUES(1,'goods1');
INSERT INTO TB_TEST(ID,TITLE) VALUES(2,'goods2');
INSERT INTO TB_TEST(ID,TITLE) VALUES(3,'goods3');

我们会发现这些数据被写入到第一个节点中了,那什么时候数据会写到第二个节点中呢? 我们插入下面的数据就可以插入第二个节点了

INSERT INTO TB_TEST(ID,TITLE) VALUES(5000001,'goods5000001');

因为我们采用的分片规则是每节点存储500万条数据,所以当ID大于5000000则会存储到第二个节点上。 目前只设置了两个节点,如果数据大于1000万条,会怎么样呢?执行下列语句测试一下 INSERT INTO TB_TEST(ID,TITLE) VALUES(10000001,'goods10000001');

MyCat分片规则

rule.xml用于定义分片规则 ,我们这里讲解两种最常见的分片规则

  1. 按主键范围分片rang-long,在配置文件中我们找到 <tableRule name="auto-sharding-long"> <rule> <columns>id</columns> <algorithm>rang-long</algorithm> </rule> </tableRule>
代码语言:txt
AI代码解释
复制
- tableRule 是定义具体某个表或某一类表的分片规则名称,columns用于定义分片的列,algorithm代表算法名称, 我们接着找rang-long的定义

<function name="rang-long" class="org.opencloudb.route.function.AutoPartitionByLong"> <property name="mapFile">autopartition-long.txt</property> </function>

代码语言:txt
AI代码解释
复制
- Function用于定义算法 mapFile 用于定义算法需要的数据,我们打开autopartition-long.txt

range start-end ,data node index # K=1000,M=10000. 0-500M=0 500M-1000M=1 1000M-1500M=2

  1. 一致性哈希murmur
    • 当我们需要将数据平均分在几个分区中,需要使用一致性hash规则, 我们找到function的name为murmur 的定义,将count属性改为3,因为我要将数据分成3片

<function name="murmur" class="org.opencloudb.route.function.PartitionByMurmurHash"> <property name="seed">0</property> <!-- 默认是0 --> <property name="count">3</property> <!-- 要分片的数据库节点数量,必须指定,否则没法分片 --> <!-- 一个实际的数据库节点被映射为这么多虚拟节点,默认是160倍,也就是虚拟节点数是物理节点数的160倍 --> <property name="virtualBucketTimes">160</property> <!-- <property name="weightMapFile">weightMapFile</property> 节点的权重,没有指定权重的节点默认是1。 以properties文件的格式填写,以从0开始到count-1的整数值也就是节点索引为key, 以节点权重值为值。所有权重值必须是正整数,否则以1代替 --> <!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property> 用于测试时观察各物理节点与虚拟节点的分布情况,如果指定了这个属性, 会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件,没有默认值,如果不指定,就不会输出任何东西 --> </function>

代码语言:txt
AI代码解释
复制
- 我们再配置文件中可以找到表规则定义

<tableRule name="sharding-by-murmur"> <rule> <columns>id</columns> <algorithm>murmur</algorithm> </rule> </tableRule>

代码语言:txt
AI代码解释
复制
- 但是这个规则指定的列是id ,如果我们的表主键不是id ,而是order\_id ,那么我们应该重新定义一个tableRule:

<tableRule name="sharding-by-murmur-order"> <rule> <columns>order_id</columns> <algorithm>murmur</algorithm> </rule> </tableRule>

代码语言:txt
AI代码解释
复制
- 在schema.xml中配置逻辑表时,指定规则为sharding-by-murmur-order `<table name="tb_order" dataNode="dn1,dn2,dn3" rule="sharding-by-murmur-order" />` 我们测试一下,创建订单表 ,并插入数据,测试分片效果。

了解数据库读写分离

数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能。对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置

Mycat读写分离和自动切换机制,需要mysql的主从复制机制配合。

扩展思考

  1. 连表查询怎么做
  2. 分片策略是每个表需要配吗?如果不配置的话会怎么样?
  3. 分片策略有哪些,都应对什么场景比较多
  4. 支持事务吗?怎么支持的?
  5. 查询夸库时, 返回的结果集是怎么样的?效率怎么样呢?
  6. 不同的分片策略下,实例扩展怎么操作
  7. 缺点是怎么样的
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年08月10日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
slave have equal MySQL server UUIDs
    最近在部署MySQL主从复制架构的时候,碰到了"Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs;  these UUIDs must be different for replication to work." 这个错误提示。即主从架构中使用了相同的UUID。检查server_id系统变量,已经是不同的设置,那原因是?接下来为具体描述。 
Leshami
2018/08/13
8330
关于 MySQL GTID 复制
MySQL5.7以后都基本用GTID方式复制了,相对于binlog和position号方式,在failover时候减少很多人工切换操作
星哥玩云
2022/08/18
4760
Mysql主从同步报错解决:Fatal error: The slave I/O thread stops because ..
在搭建Mysql主从架构过程中,由于从服务器是克隆的主服务器系统,导致主从Mysql uuid相同, Slave_IO无法启动,报错如下: Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.
非著名运维
2022/06/22
2.6K0
Mysql主从同步报错解决:Fatal error: The slave I/O thread stops because ..
使用Innobackupex快速搭建(修复)MySQL主从架构
    MySQL的主从搭建大家有很多种方式,传统的mysqldump方式是很多人的选择之一。但对于较大的数据库则该方式并非理想的选择。使用Xtrabackup可以快速轻松的构建或修复mysql主从架构。本文描述了使用innobackupex快速来搭建或修复主从架构。供大家参考。
Leshami
2018/08/13
6310
Linux 环境搭建 MySQL8.0.28 主从同步环境
首先在介绍MySQL 主从时,我们来看看 DB-Engines 排行榜上四月数据库的变化,前三甲居然都有小幅度增长,相反增长迅猛的 PG 和 MongoDB 有所减少,一个月的增长趋势说明不了问题,下图是从 13 年开始的趋势图,Oracle 和 MySQL 渐渐趋平,学习了解 MySQL 还是很有必要的。下面开始进入正题。
JiekeXu之路
2022/05/17
1.1K0
Linux 环境搭建 MySQL8.0.28 主从同步环境
CentOS 7.2下MySQL主从复制配置
MySQL的 Replication 是一个异步的复制过程(mysql5.1.7以上版本分为异步复制和半同步两种模式),从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成,其中两个线程(Sql线程和IO线程)在 Slave 端,另外一个线程(IO线程)在 Master 端。
星哥玩云
2022/08/17
5310
技术分享 | mysqlreplicate 源码分析
1.内置了innodb引擎或者使用了innodb引擎的插件,即为数据库必须有innodb引擎存在
爱可生开源社区
2022/08/23
5710
MySQL基于GTIDs的MySQL Replication
1、GTIDs(Global transaction identifiers)全局事务标识符,是mysql 5.6新加入的一项技术
星哥玩云
2022/08/18
4310
有深度有温度的MySQL主从搭建教程
MySQL 主从搭建一直是以一个很有意思的话题,搭好了很有成就感。松哥之前还专门录过视频教大家搭建 MySQL 主从,一起来回顾下:
江南一点雨
2021/04/22
6370
深入理解MySQL 5.7 GTID系列(二):GTID相关内部数据结构
前一部分是SERVER_UUID,后面一部分是执行事务的唯一标志,通常是自增的。内部使用 GTID这种数据结构表示,后面会描述。
阿炳数记
2019/02/27
1.2K0
深入理解MySQL 5.7 GTID系列(二):GTID相关内部数据结构
10. 选主算法、多版本兼容性及滚动升级 | 深入浅出MGR
本文介绍MGR的选主算法,以及当MGR集群中有多个不同版本混搭时,如何才能正常运行,有什么注意事项。
GreatSQL社区
2022/03/30
5250
MySQL之GTID
GTID,全称Global transaction identifiers,也称之为全局事务ID。MySQL-5.6.2开始支持,MySQL-5.6.10后完善,GTID 分成两部分,一部分是服务的UUid,UUID保存在mysql数据目录的auto.cnf文件中, 这是一个非常重要的文件,不能删除,这一部分是不会变的。下面是一个uuid的值举例:
AsiaYe
2019/11/06
1.2K0
MySQL之GTID
故障案例:主从同步报错Fatal error: The slave I/O thread stops because master and slave have equal MySQL server
场景一:因为数据量非常,大概有1.4T,需要在原先master1-slave1的情况下再创建一个库slave2,并且挂在slave1下,即master1-slave1-slave2的结构。为了方便,当时停掉从库salve1,show master status记录状态,开启log_slave_updates,并且关闭salve1,然后将这个从库的data文件夹直接copy到新的从库,结果在创建slave2和slave1的主从关系时报错
拓荒者
2019/03/11
5K0
安装MySQL Enterprise Monitor
    MySQL Enterprise Monitor是专门为MySQL数据库而设计的一款企业级监控,能非常好地与MySQL各方面特性相结合,包括:MySQL的关键性能指标、主机、磁盘、备份、新特性相关以及各种场景下的架构配置,并支持从单节点到海量节点部署的环境。它不仅能够全面地监控MySQL的运行状态,还能及时发现潜在的问题并给出优化建议。本文描述了MySQL Enterprise Monitor的安装过程。
Leshami
2018/08/13
1.4K0
安装MySQL Enterprise Monitor
【DB宝45】MySQL高可用之MGR+Consul架构部署
基于目前存在很多MySQL数据库单点故障,传统的MHA,PXC等方案用VIP或者DNS切换的方式可以实现、基于数据库的数据强一致性考虑,采用MGR集群,采用consul服务注册发现实现应用端通过动态DNS 访问MGR集群,实现数据库高可用,自动化切换的方案。
AiDBA宝典
2021/03/29
1.3K0
【DB宝45】MySQL高可用之MGR+Consul架构部署
MyCat分库分表实时同步到GreatSQL
MyCat作为经典的分库分表中间件,在长时间内被广泛认为是管理超大MySQL数据库集合的有效解决方案。近来接到客户需求,需要将MyCat集群迁移到GreatSQL中,并且在一段时间内需要实时从MyCat中同步数据到GreatSQL中,全量同步数据比较容易操作,增量同步有如下两个棘手的问题:
GreatSQL社区
2024/01/10
1880
MyCat分库分表实时同步到GreatSQL
【DB宝35】使用MySQL 8.0 克隆(clone)插件快速添加MGR节点
MySQL 8.0.17的克隆插件允许在本地或从远程 MySQL 实例在线克隆数据,从此搭建从库可以不再需要备份工具(PXB或mysqldump)来实现了。克隆数据是存储在 InnoDB 其中的数据的物理快照,其中包括库、表、表空间和数据字典元数据。克隆的数据包含一个功能齐全的数据目录,允许使用克隆插件进行 MySQL 服务器配置。
AiDBA宝典
2021/01/07
2.1K0
【DB宝35】使用MySQL 8.0 克隆(clone)插件快速添加MGR节点
MySQL高可用方案MGR+consul组合测试
今天来简单理一下MGR和consul的组合方案,前期的准备和步骤还是比较多的,晚上完成了基础的调试,来来回回切换了好多次,还算有点意思。
jeanron100
2018/10/24
2.2K0
Kubernetes 部署 MySQL 高可用读写分离
简介: 在有状态应用中,MySQL是我们最常见也是最常用的。本文我们将实战部署一个一组多从的MySQL集群。
小陈运维
2022/06/08
1K0
面试官你好,我已经掌握了MySQL主从配置和读写分离,你看我还有机会吗?
假设各位都已经安装好了 MySQL 数据库,本次操作采用的 MySQL 版本是 5.7.16。正好还有一台 Mac闲着,所以干脆就用两台物理机直接操作了,没有空闲机器的可以在虚拟机操作是一样的。
古时的风筝
2020/07/30
1.1K0
推荐阅读
相关推荐
slave have equal MySQL server UUIDs
更多 >
交个朋友
加入腾讯云官网粉丝站
蹲全网底价单品 享第一手活动信息
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档