首页
学习
活动
专区
圈层
工具
发布

mysql水平拆分与垂直拆分的详细介绍 原

垂直拆分 垂直拆分是指数据表列的拆分,把一张列比较多的表拆分为多张表 通常我们按以下原则进行垂直拆分: 把不常用的字段单独放在一张表; 把text,blob等大字段拆分出来放在附表中; 经常组合查询的列放在一张表中...; 垂直拆分更多时候就应该在数据表设计之初就执行的步骤,然后查询的时候用jion关键起来即可; 水平拆分 水平拆分是指数据表行的拆分,表的行数超过200万行时,就会变慢,这时可以把一张的表的数据拆成多张表来存放...uid_temp来提供自增的ID,该表的唯一用处就是提供自增的ID; insert into uid_temp values(null); 得到自增的ID后,又通过取模法进行分表插入; 注意,进行水平拆分后的表...,字段的列和类型和原表应该是相同的,但是要记得去掉auto_increment自增长 另外 部分业务逻辑也可以通过地区,年份等字段来进行归档拆分; 进行拆分后的表,只能满足部分查询的高效查询需求,这时我们就要在产品策划上...比如我们是按年来进行归档拆分的,这个时候在页面设计上就约束用户必须要先选择年,然后才能进行查询; 在做分析或者统计时,由于是自己人的需求,多点等待其实是没关系的,并且并发很低,这个时候可以用union

2.5K30

MySQL在Square的拆分实践

现在所有的交易相关信息存储在MySQL中。这种电商类的网站,整体规模及也有一些值得学习的地方。 下面一起看看Square在MySQL方面的经验。...因为Square有MySQL主从结构更多的是在多IDC之间部署,考虑到机房之间IDC的可用性问题,并没有把业务过度的依赖的其它从库,而且把所有的业务尽量压在了主节点上。...高可用切换使用基于域名和VIP结合的方式. 主节点担任更多的读写工作。 每个节点在不同的IDC中。...Square在使用MySQL方面的建议: 1. 考虑到所有节点都有可能会失败 2. 每个进程都要考虑到管理 3. MySQL的Replcaiton是一个不错的架构 4....把MySQL当成队例或是Cache来用 9. HA环境,生产中要进行定期测试 10. 从应用层考虑拆分 11. 限制每个应用拆分的DB大小在1TB以内 12. 保持较小的集群, 拒绝大实例 13.

1.7K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL字段内容拆分及合并

    数据拆分及合并 需求: 使用一条SQL获得tb_user表中每个人持有的剑名(剑名用“|”分隔),即得到如下结果 拆解需求: 1) 先将tb_user表中的c_no按逗号拆分 2)将拆分后c_no中的各个...id与tb_sword中的id关联,获取剑名 3) 最后将每一个user对应的剑名合并成一个字段 分段SQL如下: 步骤1: 每一个user的c_no按逗号拆分为对应的c_id,此方法需借助于mysql.help_topic...SUBSTRING_INDEX( SUBSTRING_INDEX( a.c_no, ',', b.help_topic_id + 1 ), ',',- 1 ) c_id FROM tb_user a JOIN mysql.help_topic...SUBSTRING_INDEX( SUBSTRING_INDEX( a.c_no, ',', b.help_topic_id + 1 ), ',',- 1 ) c_id FROM tb_user a JOIN mysql.help_topic...SUBSTRING_INDEX( SUBSTRING_INDEX( a.c_no, ',', b.help_topic_id + 1 ), ',',- 1 ) c_id FROM tb_user a JOIN mysql.help_topic

    4.9K30

    MySQL在Square的拆分实践

    现在所有的交易相关信息都存储在MySQL中。这种电商类的网站,整体规模也有一些值得学习的地方。 下面一起看看Square在MySQL方面的经验。...因为Square有MySQL主从结构更多的是在多IDC之间部署,考虑到机房之间IDC的可用性问题,并没有把业务过度的依赖的其它从库,而且把所有的业务尽量压在了主节点上。...高可用切换使用基于域名和VIP结合的方式。主节点承担更多的读写工作。 每个节点在不同的IDC中。...Square在使用MySQL方面的建议: 1. 考虑到所有节点都有可能会失败 2. 每个进程都要考虑到管理 3. MySQL的Replcaiton是一个不错的架构 4....把MySQL当成队例或是Cache来用 9. HA环境,生产中要进行定期测试 10. 从应用层考虑拆分 11. 限制每个应用拆分的DB大小在1TB以内 12. 保持较小的集群, 拒绝大实例 13.

    1.2K30

    MySQL Installer 方式安装MySQL

    一、下载MySQL 首先,去数据库的官网https://dev.mysql.com/downloads/windows/installer/8.0.html下载MySQL。...二、安装MySQL 打开刚刚下载好的安装包,开始安装MySQL。 选择 I accept 然后点击next进入下一步。...一路点击next,并check你的root密码,MySQL就成功在你的电脑上安装完成了。...安装完成后进入MySQL的安装目录,进入MySQL Sever,其目录下的文件如下: bin目录下保存了MySQL常用的命令工具以及管理工具、data目录是MySQL默认用来保存数据文件以及日志文件的地方...(我的因刚安装还没有data文件夹)、docs目录下是MySQL的帮助文档、include目录和lib目录是MySQL所依赖的头文件以及库文件、share目录下保存目录文件以及日志文件。

    1.5K10

    MySQL 安装方式

    所有平台的 MySQL 下载地址为: MySQL 下载 。 挑选你需要的 MySQL Community Server 版本及对应的平台。...---- Linux/UNIX 上安装 MySQL Linux平台上推荐使用RPM包来安装Mysql,MySQL AB提供了以下RPM包的下载地址: MySQL - MySQL服务器。...你需要该选项,除非你只想连接运行在另一台机器上的MySQL服务器。 MySQL-client - MySQL 客户端程序,用于连接并操作Mysql服务器。...开发这个分支的原因之一是:甲骨文公司收购了 MySQL 后,有将 MySQL 闭源的潜在风险,因此社区采用分支的方式来避开这个风险。...---- 使用 MySQL Client(Mysql客户端) 执行简单的SQL命令 你可以在 MySQL Client(Mysql客户端) 使用 mysql 命令连接到 MySQL 服务器上,默认情况下

    84110

    MySQL字符串的合并及拆分

    按照指定字符进行合并或拆分是经常碰到的场景,MySQL在合并的写法上比较简单,但是按指定字符拆分相对比较麻烦一点(也就是要多写一些字符)。本文将举例演示如何进行按照指定字符合并及拆分。...(Tips:Oracle数据库中可以使用listagg或wm_concat等多种方式实现,也比较简单,可以自行测试) 02 拆分 按指定字符拆分字符串,也是比较常见的场景。...但是MySQL数据库中字符串的拆分没有其他数据库那么方便(其他数据库直接有拆分函数),且需要借助mysql库中的mysql.help_topic表来辅助实现。...OK, 2 rows affected (0.01 sec) Records: 2 Duplicates: 0 Warnings: 0 按照逗号拆分 mysql> SELECT a.id, substring_index...03 结语 本文介绍了MySQL常用的合并及拆分方法,对于擅长写SQL的同学也可以使用其他方式实现,以便解决权限不足(例如拆分时需要使用mysql库的help_topic表的权限)等情况下的需求。

    7.9K10

    【说站】mysql垂直拆分是什么意思

    mysql垂直拆分是什么意思 概念 1、指数据列的分割,将列多的表分割成多个表。表格的记录虽然不多,但字段长,表格占有空间大。 搜索表格时需要大量IO,性能大幅度降低。...可以使得行数据变小,一个数据块( Block )就能存放更多的数据,在查询时就会减少 I/O 次数 可以达到化利用 Cache 的目的,具体在垂直拆分的时候可以将不常变的字段放一起,将经常改变的放一起...主键出现冗余,需要管理冗余列 会引起表连接JOIN操作,可以通过在业务服务器上进行join来减少数据库压力 依然存在单表数据量过大的问题 事务处理复杂 以上就是mysql垂直拆分的介绍,希望对大家有所帮助...更多mysql学习指路:MySQL 推荐操作系统:windows7系统、mysql5.8、DELL G3电脑

    2.3K20

    记录一次MySQL大表拆分和迁移

    背景# 最近遇到一个关于MySQL单表过大的问题,该表存放的主要是日志文件,且其中有一个字段存放的数据过大,导致占用空间过大以及查询效率的降低,这种设计其实是不合理的。...解决方案# 根据上面的背景,可得出以下这些问题,也给出了解决方案: 问题 解决方法 1 某字段占用空间较大,在MySQL中为text类型,存储的是json格式的数据,该字段平均占用空间为5KB 对字段进行压缩...具体做法: 每次查询1万条数据 查询的时候只查询需要的字段,即id字段和需要压缩的字段,id字段为主键,采用主键索引 采用分页查询的方式,即每次查询完记录最后一条数据的id,下一次查询直接在这个id的基础上查询...语句如:select id, detail from log_table where id > last_id limit 10000;这里假设要压缩的字段名为detail,表名为log_table,这种方式不仅命中了索引...内需要采用读写锁锁住,防止并发安全问题,因为里面有一个用来判空的map,是否需要判空根据不同业务决定 2.2.3 步骤三更新# 如果一条一条更新速度是极慢的,所以不推荐这种方法,这里采用的是批量更新的方式

    2K10

    MYSQL数据闪回方式

    MYSQL官方截止目前还没有出来数据闪回特性,也许后续版本会出现。...闪回方式: 一、利用mysql自带的mysqlbinlog命令解析binlog,再通过grep、sed等命令把binlog中相关SQL误操作给逆向回来,然后导入SQL文件来恢复错误操作。...`user`|### SET' > rollback.sql 将解析出来的日志再进行处理,将where和set数据反转后再导入恢复 这种方式比较麻烦,需要自己写一套转换脚本 二、利用彭立勋提供的工具...-o rollback.sql 此工具自动将where和set数据反转 将sql直接source即可 以上四种方式其实原理都一样,都是对binlog进行解析,再讲sql反向应用,达到恢复的效果,有时间可以试验一下...`user`|### SET' UPDATE `mysql`.

    3.5K80
    领券