Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >SQL调优思路

SQL调优思路

原创
作者头像
一个风轻云淡
发布于 2024-06-26 16:42:16
发布于 2024-06-26 16:42:16
2020
举报

前言

SQL调优是数据库管理和开发中的关键环节,它涉及到对数据库查询语句的精细调整,以及整个数据库结构的优化。这个过程并不仅仅局限于编写高效的查询语句,而是涉及到数据库的整个生命周期,包括表的设计、索引的创建、以及更高级的架构设计,如主从复制和读写分离策略。在处理大量数据时,还可能涉及到分库分表等技术来提升性能。

SQL调优的目的是多方面的,不仅包括提升查询的响应速度,还包括减少服务器的资源消耗,提高系统的稳定性和可靠性。这通常涉及到对查询计划的分析,以找出可能导致性能瓶颈的环节,并进行相应的优化措施。

表设计优化

在数据库设计中,遵循合理的范式原则是至关重要的。这意味着我们需要根据业务规则和数据特性来设计表结构,以消除数据冗余和维护数据一致性,从而提升数据存储的效率和质量。然而,在某些情况下,为了提高查询效率,我们可能会采取适当的反范式策略,比如将某些经常一起查询的字段冗余存储在同一个表中,以减少表之间的连接操作。

选择正确的数据类型对于优化数据库性能同样重要。对于数值类型的字段,我们应该根据数值的范围来选择最合适的整数类型,例如使用TINYINT来存储小范围的整数,如布尔值或状态码;使用INT来存储常规大小的整数,如用户ID或计数器;使用BIGINT来存储大范围的整数,如大型计数器或ID。对于字符串类型的字段,我们应该根据字符串的特性和长度来选择数据类型,例如使用CHAR来存储固定长度的字符串,如国家代码或性别标识;使用VARCHAR来存储可变长度的字符串,如个人姓名或地址;使用TEXT来存储较长的文本内容,如文章或评论。

索引优化

索引是帮助MySQL高效获取数据的数据结构,主要是用来提高数据检索的效率,降低数据库的IO成本,同时通过索引列对数据进行排序,降低数据排序的成本,也能降低了CPU的消耗。

通俗来说, 索引就相当于一本书的目录, 可以根据页码快速查找到指定的内容, 目的就是加快数据库的查询速度,但这也就意味着书中如果要增加一个章节,修改目录是比较麻烦的,使用索引适用于经常查询很少修改的业务

在 MySQL 中,通常有以下两种方式访问数据库表的行数据:

1) 顺序访问

  • 顺序访问是在表中实行全表扫描,从头到尾逐行遍历,直到在无序的行数据中找到符合条件的目标数据。
  • 顺序访问实现比较简单,但是当表中有大量数据的时候,效率非常低下。例如,在几千万条数据中查找少量的数据时,使用顺序访问方式将会遍历所有的数据,花费大量的时间,显然会影响数据库的处理性能。

2) 索引访问

  • 索引访问是通过遍历索引来直接访问表中记录行的方式。
  • 使用这种方式的前提是对表建立一个索引,在列上创建了索引之后,查找数据时可以直接根据该列上的索引找到对应记录行的位置,从而快捷地查找到数据。索引存储了指定列数据值的指针,根据指定的排序顺序对这些指针排序。
  • 注意: 建立索引后, 查询速度不一定会变快,例如, 你在teacher表中建立了关于id的索引, 如果你按照name查询, 那么查询速度也不会变快,查询得用到你建立的索引

sql语句优化

  1. 避免开头模糊查询:如LIKE ‘%value’,这种查询会导致数据库无法使用索引,因为它必须检查每个字符。
  2. 减少IN和NOT IN的使用:虽然IN运算符在某些情况下可以使用索引,但如果列表过长或与NULL值一起使用,它可能会导致性能下降。
  3. 谨慎使用OR:当使用OR连接多个条件时,如果每个条件都不能有效利用索引,那么可能会导致全表扫描。
  4. 避免NULL值判断:查询中的NULL值判断(如IS NULL或IS NOT NULL)通常会导致索引失效,因为索引不存储NULL值。
  5. 避免在WHERE子句中使用函数和表达式:对索引列使用函数或表达式(如WHERE UPPER(column) = ‘VALUE’)会阻止索引的使用。
  6. 避免使用不等于运算符:如<>或!=,这些运算符通常会导致索引失效。
  7. 避免隐式类型转换:在比较不同类型的数据时,数据库可能会进行隐式类型转换,这会导致索引不被使用。
  8. **避免使用SELECT ***:只选择需要的列,可以减少不必要的数据传输和处理。
  9. 避免使用通配符选择所有列:在SELECT语句中使用通配符可能会检索不需要的数据,增加I/O消耗。
  10. 优化多表关联查询:在JOIN操作中,将小表放在前面,大表放在后面,可以减少总的扫描行数。
  11. 使用UNION ALL代替UNION:UNION ALL不会去重,但它比UNION更快,因为UNION需要额外的一步来去除重复行。

MySQL通过创建并填充临时表的方式来执行union查询。除非确实要消除重复的行,否则建议使用union all。原因在于如果没有all这个关键词,MySQL会给临时表加上distinct选项,这会导致对整个临时表的数据做唯一性校验,这样做的消耗相当高。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
SQL优化
此优化方案指的是通过优化 SQL 语句以及索引来提高 MySQL 数据库的运行效率,具体内容如下:
时代疯
2021/07/22
7930
SQL 性能调优
我们要做到不但会写SQL,还要做到写出性能优良的SQL,以下为笔者学习、摘录、并汇总部分资料与大家分享! (1)选择最有效率的表名顺序(只在基于规则的优化器中有效) ORACLE 的解析器按照从右到左的顺序处理FROM子句中的表名,FROM子句中写在最后的表(基础表 driving table)将被最先处理,在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。如果有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交叉表是指那
似水的流年
2018/01/18
2.8K0
MySQL - SQL优化干货总结(吐血版)
BATJTMD等大厂的面试难度越来越高,但无论从大厂还是到小公司,一直未变的一个重点就是对SQL优化经验的考察。一提到数据库,先“说一说你对SQL优化的见解吧?”。SQL优化已经成为衡量程序猿优秀与否的硬性指标,甚至在各大厂招聘岗位职能上都有明码标注,如果是你,在这个问题上能吊打面试官还是会被吊打呢?
陈哈哈
2020/07/03
1.3K0
SQL 性能调优
我们要做到不但会写SQL,还要做到写出性能优良的SQL,以下为笔者学习、摘录、并汇总部分资料与大家分享!
似水的流年
2019/12/13
3.4K0
聊聊 MySQL 的优化思路
在群里看到有小伙伴面试时,被问到 MySQL 该怎么优化的问题,不知道该如何回答。
小林coding
2021/11/02
9540
聊聊 MySQL 的优化思路
数据库优化方案之SQL脚本优化
随着数据库数据越来越大,数据单表存在的数据量也就随之上去了,那么怎么样让我们的脚本查询数据更快呢?
用户1112962
2019/11/15
1.4K0
数据库性能优化-索引与sql相关优化
     索引是帮助MySQL高效获取数据的数据结构。索引是在存储引擎中实现的,所以每种存储引擎中的索引都不一样。如MYISAM和InnoDB存储引擎只支持BTree索引;MEMORY储存引擎可以支持HASH和BTREE索引。
洋仔聊编程
2019/01/15
1.9K0
MySQL数据库知识点
结构化查询语言(Structured Query Language)简称SQL,是一种数据库查询语言。
Vincent-yuan
2021/09/10
7990
MySQL数据库知识点
数据库查询优化的一般步骤_sql创建数据库失败
使⽤ EXPLAIN 判断 SQL 语句是否合理使用索引,尽量避免 extra 列出现:Using File Sort、Using Temporary 等。
全栈程序员站长
2022/09/25
1.2K0
数据库查询优化的一般步骤_sql创建数据库失败
如何定位及优化SQL语句的性能问题
在现如今的软件开发中,关系型数据库是做数据存储最重要的工具。无论是Oracale还是Mysql,都是需要通过SQL语句来和数据库进行交互的,这种交互我们通常称之为CRUD。在CRUD操作中,最最常用的也就是Read操作了。而对于不同的表结构,采用不同的SQL语句,性能上可能千差万别。本文,就基于MySql数据库,来介绍一下如何定位SQL语句的性能问题。
咸鱼学Python
2020/07/21
1.3K0
如何进行全方面MySQL调优?
  和其它数据库相比,MySQL有点与众不同,它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上,插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。
挽风
2021/04/13
4870
如何进行全方面MySQL调优?
【建议收藏】MySQL 三万字精华总结 —锁机制和性能调优(四)
在数据库中,除传统的计算资源(如CPU、RAM、I/O等)的争用以外,数据也是一种供许多用户共享的资源。数据库锁定机制简单来说,就是数据库为了保证数据的一致性,而使各种共享资源在被并发访问变得有序所设计的一种规则。
码农编程进阶笔记
2021/07/20
9730
【建议收藏】MySQL 三万字精华总结 —锁机制和性能调优(四)
精选MySQL面试题[111题](附刷题小程序)
MySQL内建的复制功能是构建大型,高性能应用程序的基础。将 MySQL 的数据分布到多个系统上去,这种分布的机制,是通过将 Mysql 的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。
一行Java
2022/04/07
7720
精选MySQL面试题[111题](附刷题小程序)
老司机总结的12条 SQL 优化方案(非常实用)
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
芋道源码
2022/06/20
9200
老司机总结的12条 SQL 优化方案(非常实用)
SQL性能优化的47个小技巧,果断收藏!
3、所有表必须使用Innodb存储引擎 没有特殊要求(即Innodb无法满足的功能如:列存储,存储空间数据等)的情况下,所有表必须使用Innodb存储引擎(mysql5.5之前默认使用Myisam,5.6以后默认的为Innodb)。 Innodb 支持事务,支持行级锁,更好的恢复性,高并发下性能更好。 4、每个Innodb表必须有个主键 Innodb是一种索引组织表:数据的存储的逻辑顺序和索引的顺序是相同的。每个表都可以有多个索引,但是表的存储顺序只能有一种。 Innodb是按照主键索引的顺序来组织表的
路人甲Java
2023/08/29
3330
SQL性能优化的47个小技巧,果断收藏!
面试必备!91 道 MySQL 面试题(含答案)
结构化查询语言(Structured Query Language)简称SQL,是一种数据库查询语言。
Python进击者
2020/03/26
9830
数据库性能优化之SQL语句优化
在应用系统开发初期,由于开发数据库数据比较少,对于查询SQL语句,复杂视图的的编写等体会不出SQL语句各种写法的性能优劣,但是如果将应用系统提交实际应用后,随着数据库中数据的增加,系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据,劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍,可见对于一个系统不是简单地能实现其功能就可,而是要写出高质量的SQL语句,提高系统的可用性。
哲洛不闹
2018/09/19
5.8K0
敖丙工作以来总结的大厂SQL调优姿势
这天我正在午休呢,公司DBA就把我喊醒了,说某库出现大量慢SQL,很快啊,很快,我还没反应过来,库就挂了,我心想现在的用户不讲武德啊,怎么在我睡觉的时候大量请求呢。
敖丙
2020/11/24
7330
MySQL数据库:SQL优化与索引优化
假如有联合索引 (emp_no 、title、from_date ),那么下面的 SQL 中 emp_no 可以用到索引,而title 和 from_date 则使用不到索引。
全栈程序员站长
2022/06/29
1.4K0
42 张图带你撸完 MySQL 优化
一般传统互联网公司很少接触到 SQL 优化问题,其原因是数据量小,大部分厂商的数据库性能能够满足日常的业务需求,所以不需要进行 SQL 优化,但是随着应用程序的不断变大,数据量的激增,数据库自身的性能跟不上了,此时就需要从 SQL 自身角度来进行优化,这也是我们这篇文章所讨论的。
架构师修行之路
2021/08/06
4720
42 张图带你撸完 MySQL  优化
相关推荐
SQL优化
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档