我们都知道,在关系型数据库中,索引的存在是非常重要的,但是不合理的索引反而会影响到业务的性能,那怎么才能合理的设计索引也是业务高效访问数据库需要考虑的?如何才能评估索引创建的合理呢?今天我们给出其中一个评估指标:Cardinality
直方图是表上某个字段在按照一定百分比和规律采样后的数据分布的一种描述,最重要的作用之一就是根据查询条件,预估符合条件的数据量,为sql执行计划的生成提供重要的依据
Non_unique:如果是唯一索引,则值为 0,如果可以有重复值,则值为 1 Key_name:索引名字 Seq_in_index:索引中的列序号,比如联合索引 idx_a_b_c (a,b,c) ,那么三个字段分别对应 1,2,3 Column_name:字段名 Collation:字段在索引中的排序方式,A 表示升序,NULL 表示未排序 Cardinality:索引中不重复记录数量的预估值,该值等会儿会详细讲解 Sub_part:如果是前缀索引,则会显示索引字符的数量;如果是对整列进行索引,则该字段值为 NULL Null:如果列可能包含空值,则该字段为 YES;如果不包含空值,则该字段值为 ’ ’ Index_type:索引类型,包括 BTREE、FULLTEXT、HASH、RTREE 等
最近在极客时间看丁奇大佬的《MySQL45讲》,真心觉得讲的不错,把其中获得的一些MySQL方向的经验整理整理分享给大家,有兴趣同学可以购买相关课程进行学习。
1.下面三种方式,在多数情况下效率是基本相同的,但问题在于,很多情况下,我们数据库可能有脏数据,比如重复数据,或者某条数据重要字段是null的,那下面的这几种,会把这种脏数据也统计上,本质都是统计满足条件的行数的:
最近在做一个批量数据导入到MySQL数据库的功能,从批量导入就可以知道,这样的数据在插入数据库之前是不会进行重复判断的,因此只有在全部数据导入进去以后在执行一条语句进行删除,保证数据唯一性。
DML操作是指对数据库中表记录的操作,主要包括表记录的插入(insert),更新(update),删除(delete)和查询(select),是开发人员日常使用最频繁的操作。
昨天有个网友在公众号留言问我~ 统计符合B列条件的A列不重复的计数(多个重复算一个) 我读了两边,领悟了他的问题,就是统计符合条件的另外一列的不重复单元格个数! 这个问题有三个关键点 1、符合条件
本篇是讲B+树的应用场景,也就是我们平时在写sql语句时需要思考的问题,这里重点总结一下
数据库使用索引以找到特定值,然后顺指针找到包含该值的行。在表中建立索引,然后在索引中找到符合查询条件的索引值,最后通过保存在索引中的ROWID(相当于页码)快速找到表中对应的记录。索引的建立是表中比较有指向性的字段,相当于目录,比如说行政区域代码,同一个地域的行政区域代码都是相同的,那么给这一列加上索引,避免让它重复扫描,从而达到优化的目的!
不管是任何数据库.都会有查询功能.而且是很重要的功能.上一讲知识简单的讲解了表的查询所有.
上篇文章说了连接查询的成本,主要由驱动表的扇出值和被驱动表的查询方法决定,而成本这些都是可以在%cost%表查看的,因为分为server和engine表,server不管理数据成本,里面包含连接管理,查询缓存,sql解码,sql优化,engine就是数据引擎成本,而distinct,union等特殊查询,会建立临时表,临时表看数据量可能建立磁盘或者内存,比如distinct会用unique索引建立临时表去重。
在MySQL数据库中,经常会遇到需要对数据进行分组和去重的情况。为了达到这个目的,我们通常会使用GROUP BY和DISTINCT这两个关键字。虽然它们都可以用于去重,但是它们具有不同的用法和效果。本文将详细解析MySQL中的GROUP BY和DISTINCT的用法,并比较它们对同一字段的去重效果是否相同。
1)当使用组函数的select语句中没有group by子句时,中间结果集中的所有行自动形成一组,然后计算组函数;
基本语法: insert into {表名}({字段列表}) values({值列表1}), ({值列表2}), …
读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。
1. 之前我们所学的都是DDL语句,接下来所学的才是真正的DML语句。 插入数据的sql语句就是insert into table_name (column1, column2, ……) values (data1, data2, ……),values左边的括号不加时,默认代表对表的所有列进行插入,不忽略任何一列,加上括号时,可以自己指定某些列进行插入,但值得注意的是如果某些列没有default约束,你还将其忽略进行数据插入的话,则插入数据的操作一定会失败。values右边的括号个数表示向表中插入几行的数据,括号中用逗号分隔开来的数据分别一 一对应表中的列字段。
索引管理 索引是什么? 索引就好比一本书的目录,它会让你更快的找到内容; 让获取的数据更有目的性,从而提高数据库检索数据的性能; 索引建立在表的列上(字段)。 索引的设计理念 数据库索引的设计原则:
create index `sindex` on `test` (`aaa`,`bbb`,`ccc`);
有些 MySQL 数据表中可能存在重复的记录,有些情况我们允许重复数据的存在,但有时候我们也需要删除这些重复的数据。
Percona Toolkit简称pt工具,是Percona公司开发用于管理MySQL的工具,功能包括检查主从复制的数据一致性、检查重复索引、定位IO占用高的表文件、在线DDL等,DBA熟悉掌握后将极大提高工作效率。
前面我们说了join查询原理,最基本的是嵌套查询,这种不推荐,如果数据量庞大,因为内存是有限的,不能放下所有的数据,可能查询到后面的时候,前面的数据就从内存从释放,为了减少磁盘的查询次数,有了join buffer这个缓存区,专门放被驱动表的数据,用来匹配查询出来的驱动表数据是否符合,当然还是建议用索引来查询。
本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
out_increment表示当前列为自动增长列,由DBMS分配该列的值,可以保证不重复
查询数据的本质:mysql会到你本地的硬盘上找到对应的文件,然后打开文件,按照你的查询条件来找出你需要的数据。下面是完整的一个单表查询的语法 select * from,这个select * 指的是要查询所有字段的数据。 SELECT distinct 字段1,字段2... FROM 库名.表名 #from后面是说从库的某个表中去找数据,mysql会去找到这个库对应的文件夹下去找到你表名对应的那个数据文件,找不到就直接报错了,找到了就继续后面的操作 WHERE 条件 #从表中找符合条件的数据记录,where后面跟的是你的查询条件 GROUP BY field(字段) #分组 HAVING 筛选 #过滤,过滤之后执行select后面的字段筛选,就是说我要确定一下需要哪个字段的数据,你查询的字段数据进行去重,然后在进行下面的操作 ORDER BY field(字段) #将结果按照后面的字段进行排序 LIMIT 限制条数 #将最后的结果加一个限制条数,就是说我要过滤或者说限制查询出来的数据记录的条数关于上面这些内容,我们在下面一个一个的来详细解释
分页功能是很常见的功能,特别是当数据量越来越大的时候,分页查询是必不可少的。实现分页功能有很多种方式,如果使用的ORM框架是mybatis的话,有开源的分页插件可以使用,如:Mybatis-PageHelper。如果不使用分页插件,那么就需要手动分页了,由于不同的数据库实现分页的SQL语句并不一致,如Mysql使用的是limit关键字,而Oracle使用的是rownum,所以本文本文讲解的分页方案只适用于Mysql数据库。
建立表s1,id字段为int类型,设置为自增主键 create table s1( id int AUTO_INCREMENT PRIMARY KEY, name char(20), age int );
前一阵在写很多sql及类sql语句,发现自己的记忆力可以说是相当烂了,上午刚查过插入语句怎么写,下午就忘记了需要重新查,,而且隐隐约约的有点强迫症??只要记得不是特别清晰,就需要去重新查,看,记一遍,十分浪费时间,因此在这里将自己用到的sql语句记下来,方便后续的查找!!
SELECT * FROM tb_stu WHERE sname like ‘刘%’
MySQL 的 SELECT 语句用于从数据库表中检索数据。功能强大,语句结构复杂多样。不过基本的语句格式像下面这个样子。
在使用MySQL的过程中,我们知道可以通过mysqldump或者select into outfile的方法将MySQL中的数据给转换成csv文件,这里简单介绍一下:
一查询数值型数据: SELECT * FROM tb_name WHERE sum > 100; 查询谓词:>,=,<,<>,!=,!>,!<,=>,=<
登录【控制台】,选择【弹性MapReduce】进入左侧的【集群监控】,可以看到监控分为服务监控与主机监控
本篇文章会介绍Redis在项目开发中会有那些应用场景,对每个应用场景会有一个简要概述,并且会在接下来的时间对每个场景整理出文章与对应代码供开发者阅读。
慢查询 // 慢查询 缓慢的查询,低效的性能导致影响正常业务 MySQL默认10秒内没有响应SQL结果,为慢查询 // 检查慢查日志是否开启: show variables like 'slow_query_log'; // 检查慢日志路径 show variables like '%slow_query_log%'; // 开启慢日志 set global slow_query_log=on; // 慢日志判断标准(默认查询时间大于10s的sql语句) show variables like 'long
执行计划是SQL语句经过查询分析器后得到的 抽象语法树 和 相关表的统计信息 作出的一个查询方案,这个方案是由查询优化器自动分析产生的。由于是动态数据采样统计分析出来的结果,所以可能会存在分析错误的情况,也就是存在执行计划并不是最优的情况。
学习MySQL的知识,学习好索引是非常重要的,索引分类、索引如何正确添加、索引失效的场景、底层数据结构等问题是面试中必问的,就这些内容我们一起学习巩固下。
完全的范式和反范式是不存在的,在实际操作中建议混用这两种策略,可能使用部分范式化的schema、缓存表、以及其他技巧。
作为一个后端工程师,想必没有人没用过数据库,跟我一起复习一下MySQL吧,本文是我学习《MySQL实战45讲》的总结笔记的第五篇,总结了MySQL索引相关的实践使用问题。
给定一个字符串“S”,找出其中不含有重复字符的最长子串的长度。例如:S=‘ABCABCBB’,则不含重复字符的最长字串长度为3.。S=‘ABCDFG’,则不含重复字符的最长字串长度为6。要求设计一个Python程序实现该功能?
之前的查询都是横向查询,它们都是根据条件一行一行的进行判断,而使用聚合函数查询是纵向查询,它是对一列的值进行计算,然后返回一个结果值。另外聚合函数会忽略空值NULL。
此小结与索引其实没有太多的关联,但是为了便于理解索引的内容,添加此小结作为铺垫知识。
命名规则:表名_字段名 1、需要加索引的字段,要在where条件中 2、数据量少的字段不需要加索引 3、如果where条件中是OR关系,加索引不起作用 4、符合最左原则
短网址服务是用于缩短网址,方便用户记忆和访问的一种服务。它通常通过将长网址与短网址服务提供的接口进行匹配,从而实现缩短网址的目的。短网址服务可以降低用户输入长网址时的错误率,提高用户体验,同时也可以减轻服务器的压力,提高网站的访问速度。目前市面上有许多短网址服务,如google的goo.gl、新浪的sina.lt等。
领取专属 10元无门槛券
手把手带您无忧上云