最近在极客时间看丁奇大佬的《MySQL45讲》，真心觉得讲的不错，把其中获得的一些MySQL方向的经验整理整理分享给大家，有兴趣同学可以购买相关课程进行学习。
在需要输出网站用户注册数或者插入数据之前判断是否有重复记录时，就需要获取满足条件的MySQL查询的记录数目,接下来介绍两种查询统计方法，感兴趣的朋友可以了解下啊，或许对你有所帮助
有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。
简单的数据我们可以直接从一个表中获取，但在真实的项目中查询符合条件的数据通常需要牵扯到多张表，这就不得不使用多表查询。多表查询分为多表连接查询、符合条件链接查询、子查询。多表连接查询包括内连接、外连接、全连接。符合条件连接查询本质上是多表连接查询+过滤条件。子查询是将一个查询语句嵌套在另一个查询语句中，内层查询语句的查询结果作为外层查询语句的数据源。
当我们对一张数据表中的记录进行统计的时候，习惯都会使用 count 函数来统计，但是 count 函数传入的参数有很多种，比如 count(1)、count(*)、count(字段) 等。
Non_unique：如果是唯一索引，则值为 0，如果可以有重复值，则值为 1 Key_name：索引名字 Seq_in_index：索引中的列序号，比如联合索引 idx_a_b_c (a,b,c) ，那么三个字段分别对应 1,2,3 Column_name：字段名 Collation：字段在索引中的排序方式，A 表示升序，NULL 表示未排序 Cardinality：索引中不重复记录数量的预估值，该值等会儿会详细讲解 Sub_part：如果是前缀索引，则会显示索引字符的数量；如果是对整列进行索引，则该字段值为 NULL Null：如果列可能包含空值，则该字段为 YES；如果不包含空值，则该字段值为 ’ ’ Index_type：索引类型，包括 BTREE、FULLTEXT、HASH、RTREE 等
over_clause 表示 COUNT 以窗口函数工作，MySQL 8.0 开始支持，这个不在本文展开，感兴趣的同学请参考 Section 14.20.2, “Window Function Concepts and Syntax”。
1. 之前我们所学的都是DDL语句，接下来所学的才是真正的DML语句。 插入数据的sql语句就是insert into table_name (column1, column2, ……) values (data1, data2, ……)，values左边的括号不加时，默认代表对表的所有列进行插入，不忽略任何一列，加上括号时，可以自己指定某些列进行插入，但值得注意的是如果某些列没有default约束，你还将其忽略进行数据插入的话，则插入数据的操作一定会失败。values右边的括号个数表示向表中插入几行的数据，括号中用逗号分隔开来的数据分别一 一对应表中的列字段。
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
No.67 Hadoop 实践案例——记录去重 Mr. 王：现在我们看一个和 WordCount 很相似，在实际中应用也很多的例子——记录去重。 小可 ：嗯，从字面上理解就是将重复的数据记录去除吧？ Mr. 王 ：是的，就是如此。这个工作在实际的应用中是非常常见的，在进行数据管理时，不论是录入记录错误，还是新旧数据的原因，都是非常容易出现重复的记录的。很多时候，重复的记录会对我们进行个数统计等操作产生影响，造成统计结果错误。另外，出现重复记录的数据集合可能会非常大，单靠人工挑重，或者是靠简单的单机去查找会
转载声明 本文为灯塔大数据原创内容，欢迎个人转载至朋友圈，其他机构转载请在文章开头标注：转自：灯塔大数据；微信：DTbigdata 编者按：灯塔大数据将每周持续推出《从零开始学大数据算法》的连载，本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作，以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用，带我们在大数据技术的海洋里徜徉～每周五定期更新 上期回顾&查看方式 在上一期，我们学习了“Hello World”程序的相关内容。PS：了解了上期详细内容，请在自定义菜单栏中点击“灯塔数据”—
ERROR 1025 (HY000): Error on rename of ‘./test/#sql-27c_2308’ to ‘./test/student’ (errno: 150) 更改类型编码类型时 出现此错误一般为有外键约束 解决方法 暂时停止外键检查 set foreign_key_checks=0; 4.6
今天上班的时候，业务方问了我这样一个问题：我有一个表，需要添加一个唯一的字段，但是目前这个字段存在一些重复值，有没有好的解决办法。
1，没有数据库，使用磁盘文件存储数据； 2， 层次结构模型数据库； 3，网状结构模型数据库； 4，关系结构模型数据库：使用二维表格来存储数据; 5，关系-对象模型数据库； MySQL就是关系型数据库！
使用select对列进行查询时，不仅可以直接以列的原始值作为结果，而且还可以将列值进行计算后所得值作为查询结果，即select子句可以查询表达式的值,表达式可由列名、常量及算术运算符组成。 查询结果计算列显示“无列名”,一般要给计算列加列标题。 其中：表达式中可以使用的运算符有：加+、减-、乘*、除/、取余%
读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。
我们都知道，在关系型数据库中，索引的存在是非常重要的，但是不合理的索引反而会影响到业务的性能，那怎么才能合理的设计索引也是业务高效访问数据库需要考虑的？如何才能评估索引创建的合理呢？今天我们给出其中一个评估指标：Cardinality
where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)
例如： insert…select插⼊结果集 注意：字段列表1与字段列表2的字段个数必须相同，且对应字段的数据类型尽量保持⼀致。例如：
如果是小表,随便怎么折腾都行; 如果是大表(至少1千万条记录以上,或者占用10G以上空间), 我们可能需要想办法加快这个速度 , 这时可以参考下面方法:
面试题：MySQL的union all和union有什么区别、MySQL有哪几种join方式(阿里面试题)
在《Apache Flink 漫谈系列 - SQL概览》中我对JOIN算子有过简单的介绍，这里我们以具体实例的方式让大家对JOIN算子加深印象。JOIN的本质是分别从N(N>=1)张表中获取不同的字段，进而得到最完整的记录行。比如我们有一个查询需求：在学生表(学号，姓名，性别)，课程表(课程号，课程名，学分)和成绩表(学号，课程号，分数)中查询所有学生的姓名，课程名和考试分数。如下：
注意：若数据表中含有主键，而主键具有唯一性，所以在数据复制时还要考虑主键冲突的问题
数据质量（Data Quality）是数据分析结论有效性和准确性的基础也是最重要的前提和保障。数据质量保证（Data Quality Assurance）是数据仓库架构中的重要环节，也是ETL的重要组成部分。 我们通常通过数据清洗（Data cleansing）来过滤脏数据，保证底层数据的有效性和准确性，数据清洗一般是数据进入数据仓库的前置环节，一般来说数据一旦进入数据仓库，那么必须保证这些数据都是有效的，上层的统计聚合都会以这批数据作为基础数据集，上层不会再去做任何的校验和过滤，同时使用稳定的
select语句除了可以查看数据库中的表格和视图的信息外,还可以查看SQL Server的系统信息、复制、创建数据表。其查询功能强大，是SQL语言的灵魂语句，也是SQL中使用频率最高的语句。
从表面意思上看，MySQL分表就是将一个表分成多个表，数据和数据结构都有可能会变。MySQL分表分为垂直分表和水平分表。
ETL (Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程)，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用，必不可少。
上一篇我们介绍了在有主键的表中删除重复数据，今天就介绍如何删除没有主键的表的重复数据。
在《SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式，介绍过程中大家发现Apache Flink在语法语义上是遵循ANSI-SQL标准的，那么再深思一下传统数据库为啥需要有JOIN算子呢？在实现原理上面Apache Flink内部实现和传统数据库有什么区别呢？本篇将详尽的为大家介绍传统数据库为什么需要JOIN算子，以及JOIN算子在Apache Flink中的底层实现原理和在实际使用中的优化！
前面我们说了join查询原理，最基本的是嵌套查询，这种不推荐，如果数据量庞大，因为内存是有限的，不能放下所有的数据，可能查询到后面的时候，前面的数据就从内存从释放，为了减少磁盘的查询次数，有了join buffer这个缓存区，专门放被驱动表的数据，用来匹配查询出来的驱动表数据是否符合，当然还是建议用索引来查询。
数据清洗(Data Cleaning)是把数据记录中的错误数据辨认识别出来，然后将其去除，是对数据重新进行检查和校验的过程。数据清洗的目标是去除重复记录，消除异常数据，修正错误数据，确保数据一致性，并提高数据质量。数据仓库是关于特定主题的数据集合，数据来自不同类型的业务系统，并包含历史性数据，这样，在数据仓库中就会出现错误数据或者冲突数据的情况，将这类数据称为“脏数据”。根据确切的清洗规则和算法“洗掉”“脏数据”，这就是数据清洗。
平时工作中可能会遇到这种情况，当试图对表中的某一列或几列创建唯一索引时，系统提示ORA-01452 ：不能创建唯一索引，发现重复记录。这个时候只能创建普通索引或者删除重复记录后再创建唯一索引。
SELECT * FROM tb_stu WHERE sname like ‘刘%’
本文介绍了四种基础排序算法的原理、实现和优化，分别是冒泡排序、选择排序、寻找孤立数字和进制转换。
一查询数值型数据: SELECT * FROM tb_name WHERE sum > 100; 查询谓词:>,=,<,<>,!=,!>,!<,=>,=<
通常情况下，当访问某张表的时候，读取者首先必须获取该表的锁，如果有写入操作到达，那么写入者一直等待读取者完成操作（查询开始之后就不能中断，因此允许读取者完成操作）。当读取者完成对表的操作的时候，锁就会被解除。如果写入者正在等待的时候，另一个读取操作到达了，该读取操作也会被阻塞（block），因为默认的调度策略是写入者优先于读取者。当第一个读取者完成操作并解放锁后，写入者开始操作，并且直到该写入者完成操作，第二个读取者才开始操作。因此：要提高MySQL的更新/插入效率，应首先考虑降低锁的竞争，减少写操作的等待时间。 （本专题在后面会讨论表设计的优化）本篇，要讲的优化是增删改。
该文介绍了如何去除重复数据的方法，分为完全重复和部分重复。对于完全重复，使用distinct关键字去重；对于部分重复，使用子查询和row_number()分析函数。这些方法适用于不同的数据库系统，如Oracle、MySQL和Hive。
同类：给一个字符串str，找到str中最长的连续子串(不区分大小写)，返回其长度。
增删改查是大部分框架的功能，如果有两个并发请求修改同一个数据怎么办？或者插入本来应该是唯一却重复的数据怎么办？或者插入和修改有其他辅助动作比如保存到另外的表比如校订审计日志。
在使用mysql时，有时需要查询出某个字段不重复的记录，这时可以使用mysql提供的distinct这个关键字来过滤重复的记录，但是实际中我们往往用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段，例如有如下表user:
我知道，一说到数字经济，数字化转型，数字化人才，你第一感觉就是：跟我有半毛钱关系。诶，不要着急！
唯一约束用于保证数据表中字段的唯一性，即表中字段的值不能重复出现。唯一约束是通过unique定义的。语法如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
