首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

mysql 表级读写分离

基础概念

MySQL表级读写分离是一种数据库架构优化策略,旨在提高数据库系统的性能和可用性。在这种架构中,主数据库(Master)负责处理写操作(如INSERT、UPDATE、DELETE),而从数据库(Slave)则负责处理读操作(如SELECT)。通过将读写操作分离到不同的数据库实例上,可以有效减轻主数据库的压力,提高系统的整体性能。

优势

  1. 提高性能:读写分离可以将读操作和写操作分散到不同的数据库实例上,从而提高系统的吞吐量和响应速度。
  2. 增强可用性:当主数据库出现故障时,可以从数据库中选择一个接管主数据库的角色,保证系统的持续可用性。
  3. 简化扩展:随着业务量的增长,可以通过增加从数据库的数量来扩展系统的读取能力。

类型

  1. 基于SQL语句的读写分离:通过解析SQL语句,将读操作和写操作分别路由到不同的数据库实例。
  2. 基于表的读写分离:将不同的表分配到主数据库和从数据库上,实现更细粒度的读写分离。

应用场景

  1. 高并发读取场景:适用于需要处理大量读取请求的应用,如电商网站的商品展示页面。
  2. 读写比例失衡的应用:当应用中读操作远多于写操作时,读写分离可以显著提高系统性能。
  3. 需要保证数据一致性的场景:通过读写分离,可以在一定程度上减少对主数据库的写操作压力,从而降低数据不一致的风险。

遇到的问题及解决方法

问题1:数据延迟

原因:由于从数据库需要从主数据库同步数据,可能会出现数据延迟的情况。

解决方法

  1. 优化主从复制配置:调整MySQL的主从复制参数,如innodb_flush_log_at_trx_commitsync_binlog,以减少数据同步的延迟。
  2. 使用半同步复制:启用MySQL的半同步复制功能,确保在主数据库提交事务后,至少有一个从数据库接收到并记录了该事务的二进制日志。

问题2:读写一致性

原因:在读写分离架构中,由于数据同步的延迟,可能会出现读取到旧数据的情况。

解决方法

  1. 使用最终一致性模型:对于一些对数据一致性要求不高的场景,可以接受最终一致性模型。
  2. 强制读取主数据库:对于需要强一致性的读操作,可以直接从主数据库读取数据。
  3. 使用中间件或代理:部署数据库中间件或代理,如MySQL Router或MaxScale,它们可以智能地选择从哪个数据库实例读取数据,以保证数据的一致性。

示例代码

以下是一个简单的基于SQL语句的读写分离示例,使用Python和mysql-connector-python库:

代码语言:txt
复制
import mysql.connector
from mysql.connector import pooling

# 创建连接池
dbconfig = {
    "host": "master_host",
    "user": "user",
    "password": "password",
    "database": "database"
}
master_pool = mysql.connector.pooling.MySQLConnectionPool(pool_name="master_pool", pool_size=5, **dbconfig)

dbconfig_slave = {
    "host": "slave_host",
    "user": "user",
    "password": "password",
    "database": "database"
}
slave_pool = mysql.connector.pooling.MySQLConnectionPool(pool_name="slave_pool", pool_size=5, **dbconfig_slave)

def execute_query(query, params=None, read_only=False):
    try:
        if read_only:
            conn = slave_pool.get_connection()
        else:
            conn = master_pool.get_connection()
        cursor = conn.cursor()
        cursor.execute(query, params)
        result = cursor.fetchall()
        cursor.close()
        conn.commit()
        return result
    except mysql.connector.Error as err:
        print(f"Error: {err}")
    finally:
        if conn.is_connected():
            conn.close()

# 示例查询
read_only_query = "SELECT * FROM users WHERE id = %s"
write_query = "UPDATE users SET name = %s WHERE id = %s"

# 读取操作
result = execute_query(read_only_query, (1,), read_only=True)
print(result)

# 写入操作
execute_query(write_query, ("new_name", 1))

参考链接

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

mysql 读写分离_详解MySQL读写分离

主从复制的原理 MySQL的主从复制和读写分离两者有着紧密的联系,首先要部署主从复制,只有主从复制完成了才能在此基础上进行数据的读写分离。...读写分离的原理 简单来说,读写分离就是只在主服务器上写,只在从服务器上读。基本原理是让主数据库处理事务性查询,而从服务器处理select查询。数据库复制被用来把事务性查询导致的变更同步到从数据库中。...-u root -p123456 create database test; //建库测试 二、搭建MySQL读写分离 1、配置前端代理服务器 1) 安装JDK环境(amoeba基于jdk开发) tar...// 安装mysql客户端 mysql -u amoeba -p123456 -h 192.168.30.32 -P8066 //用代理地址登录数据库 3、测试读写分离 1) 在MASTER上新建的数据库或者里面的...的读写分离,而amoeba充当代理服务器,负责将客户的请求进行转发,分配到相应的服务器。

7.3K10

mysql读写分离优点_mysql读写分离

什么是读写分离 在数据库集群架构中,让主库负责处理事务性查询,而从库只负责处理select查询,让两者分工明确达到提高数据库整体读写性能。...读写分离的好处 1)分摊服务器压力,提高机器的系统处理效率 读写分离适用于读远比写的场景,如果有一台服务器,当select很多时,update和delete会被这些select访问中的数据堵塞,等待select...在Mycat中间件出现之前,MySQL主从复制集群,如果要实现读写分离,一般是在程序段实现,这样就带来了一个问题,即数据段和程序的耦合度太高,如果数据库的地址发生了改变,那么我的程序也要进行相应的修改,...实现读写分离 准备工作 步骤一:创建数据库 #创建数据库 CREATE DATABASE weibo_simple 步骤二:创建用户 CREATE TABLE `t_users` ( `user_id...NULL COMMENT ‘删除标记 1:已删除 0:未删除’, PRIMARY KEY (`user_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 步骤三:创建微博

2.5K20
  • MySQL 读写分离

    MySQL Proxy最强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询,而从数据库处理SELECT查询。...使用读写分离最大的作用无非是环境服务器压力。可以看下这张图: ?...二 读写分离的好处 1.增加冗余 2.增加了机器的处理能力 3.对于读操作为主的应用,使用读写分离是最好的场景,因为可以确保写的服务器压力更小,而读又可以接受点时间上的延迟。...,通过主库发送来的binlog恢复数据,但是,最重要区别在于主库向从库发送binlog是异步的,从库恢复数据也是异步的 5.读写分离适用与读远大于写的场景,如果只有一台服务器,当select很多时,update...四 读写分离示意图 ?

    2.4K30

    MySQL读写分离

    读写分离,提升MySQL并发首选 只能用多MySQL实例承担大量读写请求。MySQL是典型单机数据库,不支持分布式部署。用一个单机数据库的多实例来组成一个集群,提供分布式数据库服务非常困难。...把使用单机MySQL的系统升级为读写分离的多实例架构非常容易,一般不需要修改系统的业务逻辑,只需要简单修改DAO代码,把对数据库的读写请求分开,请求不同的MySQL实例就可以了。...MySQL读写分离方案 部署一主多从多个MySQL实例,并让它们之间保持数据实时同步 分离应用程序对数据库的读写请求,分别发送给从库和主库 MySQL自带主从同步功能,配置就可实现一个主库和几个从库间数据同步...总结 随着系统的用户增长,当单个MySQL实例快要扛不住大量并发的时候,读写分离是首选的数据库扩容方案。读写分离的方案不需要对系统做太大的改动,就可以让系统支撑的并发提升几倍到十几倍。...读写分离后,是否可以满足高并发写呢,比如秒杀系统,能够满足瞬间大量订单创建写数据库吗? 即使做了读写分离,一般也不会用MySQL直接抗秒杀请求,还是需要前置保护机制,避免大量的请求打到MySQL

    2.2K30

    MySQL 读写分离

    # MySQL 读写分离 介绍 一主一从 原理 准备 一主一从读写分离 schema.xml配置 server.xml配置 测试 docker 搭建MySQL一主一从 测试 # 介绍 读写分离,简单地说是把对数据库的读和写操作分开...所以我们要想实现读写分离,就得配置writeHost关联的是主库,readHost关联的是从库。...而仅仅配置好了writeHost以及readHost还不能完成读写分离,还需要配置一个非常重要的负责均衡的参数 balance,取值有4种,具体含义如下: 参数值 含义 0 不开启读写分离机制 , 所有读操作都发送到当前可用的...上分发 3 所有的读请求随机分发到writeHost对应的readHost上执行, writeHost不负担读压力 所以,在一主一从模式的读写分离中,balance配置1或3都是可以完成读写分离的。...-- DML 权限设置 --> <!

    2.2K20

    Mysql读写分离

    什么是读写分离? 在Mysql读写分离实际上就是让主数据库处理主动写操作,让从数据库处理主动读操作。...实现Mysql读写分离 其实实现Mysql读写分离最简单的方案就是开启主从同步,在后端配置主数据库的连接和从数据库的连接,如果需要处理更新数据操作,就是用主数据库连接完成更新操作,如果只是select...所以本篇文章重点介绍如何使用mysql-proxy来实现Mysql读写分离。...然后再查看从数据库test1数据的数据: ? 所以可以发现我们写数据的时候是写入到主数据库中,也就是写操作已经成功分离了。 然后接着继续使用root账号查询test1数据的数据: ?...到这里我们对于mysql读写分离的配置也成功解决了,在读取操作很多的情况下我们就可以采用主从同步 + 读写分离降低主数据库的负载提高并发的可能性。

    2.5K10

    Mysql读写分离

    前言 读写分离本身是没有主从复制的,我们要配置主从复制后再配置读写分离。 现在常见的两种方式 MyCat MySQL Router MyCat 是优化而来,支持半自动化分片,join。...因为需要DBA对每个的分片策略进行配置和干涉。 MySQL Router MySQL Proxy 和 MySQL Router 是官方提供的两个玩具,不推荐使用。...MySQL Proxy:应用程序连接 MySQL Proxy 后,MySQL Proxy 会自动将写请求和读请求分离,分别发送给 Master 和 Slave。...但是 MySQL Router 启动后,包含读端口和写端口,因此就需要应用程序自己将读和写进行分离,分别发送到 MySQL Router 相应的端口上。应用程序需要额外将读写操作进行分流,麻烦。...-P8066 注意端口号是Mycat端口号8066 验证读写分离 在主从节点均开启日志记录 # 把日志输出到;开启日志记录 SET GLOBAL log_output = 'TABLE'; SET GLOBAL

    1.4K20

    MySQL 读写分离

    一 什么是读写分离 MySQL Proxy最强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询,而从数据库处理SELECT查询。...使用读写分离最大的作用无非是环境服务器压力。可以看下这张图: ?...二 读写分离的好处 1.增加冗余 2.增加了机器的处理能力 3.对于读操作为主的应用,使用读写分离是最好的场景,因为可以确保写的服务器压力更小,而读又可以接受点时间上的延迟。...,通过主库发送来的binlog恢复数据,但是,最重要区别在于主库向从库发送binlog是异步的,从库恢复数据也是异步的 5.读写分离适用与读远大于写的场景,如果只有一台服务器,当select很多时,update...四 读写分离示意图 ?

    5.5K60

    MySQL读写分离

    1、简介   当今MySQL使用相当广泛,随着用户的增多以及数据量的增大,高并发随之而来。然而我们有很多办法可以缓解数据库的压力。分布式数据库、负载均衡、读写分离、增加缓存服务器等等。...这里我们将采用读写分离技术进展缓解数据库的压力。   其中实现读写分离的技术有很多方法,这里我们将采用mysql-proxy这个中间软件来实现。...这个软件中含有一个读写分离的lua文件,这也是我们使用mysql-proxy实现读写分离必用的文件,它需要lua解析器进行解析。因此我们还需要安装一个lua解析器。...安装成功 5、MySQL读写分离测试   1)、修改rw-splitting.lua文件   修改默认连接,进行快速测试,不修改的话要达到连接数为4时才启用读写分离   #cp /usr/local/mysql-proxy.../rw-splitting.lua   //定义lua读写分离脚本路径 PROXY_PID=/usr/local/mysql-proxy/run/mysql-proxy.pid   //定义mysql-proxy

    2.4K61

    mysql mycat读写分离_mycat读写分离原理

    假设有如下几个数据库,arp库是a库的复制库,brp库是b库的复制库,需要搭建成mycat模式,配置成单个实例模式,同时配置成读写分离模式 mysqldatabasetable a.mysql.com.cnt_database1...-8t_table mycatdatabasetable mycat.mysql.com.cnt_databaset_table schema.xml配置读写分离数据库,并定义读写分离的模式 [envuser...和arp.mysql.com.cn,这两个数据库通过mycat配置成读写分离,但是发现复制库的cpu长时间处于100%状态,且该数据库的Read的QPS明显要高于Write的QPS,而主数据库的CPU长期处于空闲状态...,针对该现象做原因分析 该数据库由4个分库,每个分库中只有1张,但是最高的数据行数达到了1800W行((⊙﹏⊙)b),通过修改代码将每一条SQL的耗时打印到日志中观察发现,用户的使用行为中针对该数据库的...schema.xml配置,发现dataHost的blance配置可以满足我们这样的需求,balance的具体配置如下: balance 属性 负载均衡类型,目前的取值有 3 种: 1. balance=”0″, 不开启读写分离机制

    1.4K30

    mysql读写分离延迟_解决Mysql读写分离数据延迟

    使用MySQL Proxy解决MySQL主从同步延迟 MySQL的主从同步机制非常方便的解决了高并发读的应用需求,给Web方面开发带来了极大的便利。...使用MySQL Proxy可以很方便的解决这个问题。MySQL Proxy是基于MySQL Client 和 MySQL Server之间的代理程序,能够完成对Client所发请求的监控、修改。...MySQL Proxy的工作原理也较简单。...read_query()中加入代码,我们可以截取出当前的请求是insert、update还是select,然后把 insert和update请求发送到Master中,把select请求发送到Slave中,这样就解决了读写分离的问题...在解决了读写分离后,如何解决同步延迟呢? 方法是在Master上增加一个自增,这个仅含有1个的字段。当Master接收到任何数据更新的请求时,均会触发这个触发器,该触发器更新自增中的记录。

    1.7K10

    Mysql之Mycat读写分离及分库分

    6、一个新颖的数据库中间件产品 Mycat原理 ​ Mycat的原理中最重要的一个动词是“拦截”,它拦截了用户发送过来的SQL语句,首先对SQL语句做了一些特定的分析:如分片分析、路由分析、读写分离分析...读写分离 · 基础架构图 ?.../> TESTDB:逻辑库名 balance属性 负载均衡类型,目前的取值有3种: 1. balance="0", 不开启读写分离机制...'server_id'; 总结: 以上案例实现了1主1从的读写分离功能,写操作落到主库,读操作落到从库.如果主库宕机,从库不能在继续提供服务了 读写分离和高可用 [root@db01 conf]#...-uroot -p123456 -h 127.0.0.1 -P 8066 show variables like 'server_id'; 读写分离测试 mysql -uroot -p -h 127.0.0.1

    90250

    mysql读写分离

    我们公司的网站做项目使用的是自己封装的Mysql查询函数(注意,是函数,不是过程),没有使用框架,使用的模板也是老板自己写的,所以做读写分离是件比较麻烦的事情。...一般来说,读写分离有2中方法: 1.代码端 在代码段数据库访问部分进行修改,这点如果项目本身采用框架,或者封装了访问过程,又保证没有直接通过mysql_query()函数来进行查询的话是很简单的一个方法...,很多框架默认都是直接读写分离的,只要稍微修改一下配置文件即可。...另一个优点是,代理支持水平垂直分分库,只要做好相应的规则,那么外界访问的时候就不需要管数据库的分问题。...两个比较有名的开源数据库代理软件: 1.Amoeba_proxy 2.Mysql_proxy 我们用的是第一个,具体原因嘛,很简单,mysql_proxy 已经好几年没维护了。。。

    74750

    mysql 读写分离altas

    /encrypt altas 6、配置altas cd /usr/local/mysql-proxy/conf vi test.conf 1.配置范例及说明如下: [mysql-proxy] (...proxy-read-only-backend-addresses = 192.168.0.13:3306,192.168.0.14:3306 (必备,根据实际情况配置)用户名与其对应的加密过的MySQL...proxy-address = 0.0.0.0:1234 (必备,默认值即可)Atlas监听的管理接口IP和端口 admin-address = 0.0.0.0:2345 (可选项,可不设置)分设置...,此例中person为库名,mt为名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分则不需要设置该项,子表需要事先建好,子表名称为名_数字,数字范围为[0,子表数-1],如本例里,子表名称为.../mysql-proxyd test start restart stop test是配置文件名字test.conf 连接 mysql -h127.0.0.1 -P1234 -uroot -proot

    1.1K30

    MySQL 读写分离原理

    读写分离概念 基于主从复制的读写分离,是我们在单机环境下,数据库的性能到瓶颈了,可以通过读写分离,提高后台服务性能。...存储这一块的增删改查的并发的处理能力,主库专门负责相对少的写操作,从库专门负责相对多的读操作,主库的数据更改通过主从复制同步到从库 读写分离就是在主服务器上修改,数据会同步到从服务器,从服务器只能提供读取数据...,我们就要进行读写分离的操作 图中的MySQL主服务器专门做写操作,下面连着2个MySQL从服务器专门做读操作,读请求转发到B、C,写请求转发到A 如果我们在客户端上直接用代码写死,insert、update...而这时如果有某个机器挂掉了,代码也不会知道,还是按照原来的方式转发请求,通信就会出现问题,所以把读写分离用代码实现肯定不合适 引入中间件MyCat 这时候就需要引入数据库中间件了,实际上,读写分离,分库分都是需要依赖数据库中间件...在MyCat上配置读写分离,我们在客户端上的代码不用做任何变更,代码上不需要区分哪个请求是读,哪个请求是写,代码直接访问的是MyCat,由MyCat解析请求,根据SQL的读写性质转发到负责相应操作的服务器

    20210

    MySQL 主从,读写分离

    主从,读写分离 为什么要配置主从 通过增加从服务器来提高数据库的性能,主服务器提供写入和更新,从服务器提供读取 提高数据安全,因为数据已复制到从服务器,从服务器可以终止复制进程,所以,可以在从服务器上备份而不破坏主服务器相应数据...Ubuntu 已经安装 MySQL(主机),从机在 Docker 安装(环境所限),主从 MySQL 版本尽量选择一样 查看 MySQL 版本,登陆 MySQL select version()...=mysql -d --network=host -v /home/python/mysql_slave/data:/var/lib/mysql -v /home/python/mysql_slave/...mysql.conf.d:/etc/mysql/mysql.conf.d mysql:5.7.22 MYSQL_ROOT_PASSWORD 是创建mysql root用户的密码 # 测试 mysql...master_db.sql 参数解释 ​ -u :用户名 ​ -p :示密码 ​ –all-databases :导出所有数据库 ​ –lock-all-tables :执行操作时锁住所有

    1.4K20

    mysql读写分离配置

    mysql读写分离配置 随着网站访问和请求量的增加,单台数据库服务器的连接已耗尽,会出现连接请求还在等待,或是数据库服务器崩溃等现象,这时候我们考虑如何减少数据库的连接,可以通过优化代码、使用缓存、数据库读写分离等方式解决此问题...什么是读写分离:将数据库的读、写操作分别作用到不同的数据库(不同物理机)上。...今天刚配置好 windows系统环境:本机+VM虚拟机:MySql5.6,先安装好MySql 找到MySql5.6的 my.ini配置文件,在 C:\ProgramData\MySQL\MySQL...拷贝到它的relay log(中继日志)中 3、slave重做中继日志中的事件 可以通过中间价实现读写分离,如Ameba,Corba,mysql-Proxy(官方) 实践 A:主库操作...库是否新增了t和数据 再执行update命令试试 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/133165.html原文链接:https://javaforall.cn

    80920
    领券