文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    MySQL中distinct和group by去重的区别

    MySQL中distinct和group by去重的区别 在MySQL中，我们经常需要对查询结果进行去重，而DISTINCT和GROUP BY是实现这一功能的两种常见方法。...虽然它们在很多情况下可以互换使用，但它们之间还是存在一些差异的。接下来，我们将通过创建测试数据和执行不同的查询来探讨这两种方法的区别。...而使用GROUP BY可以查询一个或多个字段。 使用业务场景不同 统计去重之后的总数量需要使用DISTINCT，而统计分组明细或在分组明细的基础上添加查询条件时，就得使用GROUP BY。...而当去重的字段没有索引时，DISTINCT的性能可能会高于GROUP BY，因为在MySQL 8.0之前，GROUP BY有一个隐藏的功能会进行默认的排序，这样就会触发filesort从而导致查询性能降低...总结 大部分场景下DISTINCT是特殊的GROUP BY，但二者也有细微的区别，比如它们在查询结果集上、使用的具体业务场景上，以及性能上都是不同的。

    85400

    MySQL中的数据去重，该用DISTINCT还是GROUP BY？

    在MySQL数据库操作中，数据去重是常见的需求。当我们需要从查询结果中排除重复记录时，通常会面临两个选择：使用DISTINCT关键字或GROUP BY子句。...本文将从语法、性能、使用场景等多个角度详细分析这两种方法的差异，帮助你在实际开发中做出更合适的选择。...-- 计算不同部门的数量 SELECT COUNT(DISTINCT department_id) FROM employees; 子查询中的去重 -- 在子查询中使用DISTINCT SELECT...**避免SELECT ***：只选择需要的列，减少数据处理量 考虑数据分布：对于高基数（唯一值多）的列，去重操作代价更高 结论 在MySQL中，DISTINCT和GROUP BY都可以用于数据去重，两者在性能上通常差异不大...，特别是在现代MySQL版本中，优化器会对它们进行相似的处理。

    1.4K10

    MySQL中的数据去重，该用DISTINCT还是GROUP BY？

    在日常工作中，数据库查询操作无处不在，而处理数据中的重复项与分组汇总是非常常见的需求。 MySQL 提供了两种常见的方式来管理和检索唯一值：SELECT DISTINCT 和 GROUP BY。...在DISTINCT中，NULL 被视为一个独立的值，因此即使列中有多个 NULL 值，结果中只会保留一个 NULL。...与GROUP BY使用对比 示例 1：检索唯一的客户城市 场景：我们希望查询 customers 表中的唯一城市，不关心重复的城市名称。...GROUP BY的隐式排序问题 在 MySQL 8.0 之前，GROUP BY 默认对结果进行隐式排序。这可能导致额外的排序操作（filesort），增加了查询开销。...filesort 从 MySQL 8.0 开始，GROUP BY 不再强制进行隐式排序，性能接近 DISTINCT，尤其是在无索引的大数据场景下，二者效率更加一致。

    70100

    为什么不建议在 Docker 中跑 MySQL？

    —1— 前言 容器的定义：容器是为了解决“在切换运行环境时，如何保证软件能够正常运行”这一问题。...下面，我们就聊一下 Docker 不适合跑 MySQL 的 N 个原因！ —2— 数据安全问题 不要将数据储存在容器中，这也是 Docker 官方容器使用技巧中的一条。容器随时可以停止、或者删除。...目前腾讯云的 TDSQL 和阿里的 Oceanbase 都是直接部署在物理机器，而非 Docker 。 —4— 状态问题 在 Docker 中水平伸缩只能用于无状态计算服务，而不是数据库。...目前，腾讯云的 TDSQL（金融分布式数据库）和阿里云的 Oceanbase（分布式数据库系统）都直接运行中在物理机器上，并非使用便于管理的 Docker 上。...然而在 Docker 中水平伸缩只能用于无状态计算服务，数据库并不适用。 —5— 总结 MySQL 也不是全然不能容器化。

    5.4K20

    为什么不建议在 Docker 中跑 MySQL？

    下面，我们就聊一下 Docker 不适合跑 MySQL 的 N 个原因！ 数据安全问题 不要将数据储存在容器中，这也是 Docker 官方容器使用技巧中的一条。容器随时可以停止、或者删除。...项目地址：https://github.com/YunaiV/onemall 状态问题 在 Docker 中水平伸缩只能用于无状态计算服务，而不是数据库。...目前，腾讯云的TDSQL（金融分布式数据库）和阿里云的Oceanbase（分布式数据库系统）都直接运行中在物理机器上，并非使用便于管理的 Docker 上。...然而在 Docker 中水平伸缩只能用于无状态计算服务，数据库并不适用。 难道 MySQL 不能跑在容器里吗？ MySQL 也不是全然不能容器化。...---- ---- 欢迎加入我的知识星球，一起探讨架构，交流源码。

    5.7K20

    浅谈MySQL分页查询的工作原理

    前言 MySQL 的分页查询在我们的开发过程中还是很常见的，比如一些后台管理系统，我们一般会有查询订单列表页、商品列表页等。...示例： SELECT * FROM `goods` order by create_time limit 0,10; 在了解order by和limit的工作原理之前，我们首先回顾下 MySQL...注： 下面没有特别说明默认 MySQL 的引擎为 InnoDB 为讲述方便使用 select * ，生产环境不建议使用 1.1....如果 MySQL 认为内存足够大，会优先选择全字段排序，把需要的字段都放到 sort_buffer 中，这样排序后就会直接从内存里面返回查询结果了，不用再回到原表去取数据。...先查询 510 条数据，按照ORDER BY的工作原理进行条件查询和排序，最后汇总的结果在返回给客户端之前，MySQL 会截取第 501 到 510 条数据，最后把这 10 行记录返回给前端。

    3.3K30

    为什么不建议在 Docker 中跑 MySQL Redis

    为什么不建议在 Docker 中跑 MySQL Redis ? 容器的定义：容器是为了解决“在切换运行环境时，如何保证软件能够正常运行”这一问题。...下面，我们就聊一下 Docker 不适合跑 MySQL 的 N 个原因！ 数据安全问题 不要将数据储存在容器中，这也是 Docker 官方容器使用技巧中的一条。容器随时可以停止、或者删除。...状态问题 在 Docker 中打包无状态服务是很酷的，可以实现编排容器并解决单点故障问题。但是数据库呢？将数据库放在同一个环境中，它将会是有状态的，并使系统故障的范围更大。...云简化了虚拟机操作和替换的复杂性，因此不需要在夜间或周末没有人工作时间来测试新的硬件环境。当我们可以迅速启动一个实例的时候，为什么我们需要担心这个实例运行的环境？...如果将你的数据库放在容器中，那么将浪费你的项目的资源。因为你需要为该实例配置大量额外的资源。在公有云，当你需要 34G 内存时，你启动的实例却必须开 64G 内存。在实践中，这些资源并未完全使用。

    3.5K10

    MYSQL 中的查询技巧 与 MYSQL 8 并行查询

    最近公司的系统一点点的开始了拆分，从ORACLE 转移到 MYSQL 中，部分程序员的想法在使用MYSQL中还是没有转变过来，直接将ORALCE中的查询语句直接搬到了MYSQL。...这就直接抛出一个问题，就是MYSQL的查询技巧还重要吗？当然如果你还要用MYSQL 来进行数据库的提取和查询，那就必须重视MYSQL的查询技巧。...下面我们可以看看MYSQL 中的index merge 的功能到底能提升查询性能多少 1 我们先关闭index_merge 很明显，索引都白搭了 2 我们打开index_merge 明显看到，查询中使用...，后面其实我还做了一些其他的测试，例如将时间的范围扩大，发现目前的MYSQL 8.015 很聪明的走了应该走的索引，看了MYSQL8.0 这个版本的查询优化器要比MYSQL 5.7 进步不少。...(*) 这样经常被诟病的查询方式也在并行度中获益。

    10.1K60

    MySQL中的join查询

    前言 Mysql的join是什么，join这个单词的意思是加入、参加、连接，而在数据库中，也是连接的意思，将两个表连接起来查询出我们想要的数据。...在数据库中，join的用法主要分成三种，分别是左连接、右连接和内连接，但是实际运用中，两个表之间的操作，是一共有七种，那我们今天就开始认识一下这七种用法吧 下面所有的椭圆都代表两个不同的表，假定左边为test1...`uid`; [20210608204132317.png] 在表中，test1中的109和108，test2的100没有被查询出来 总结：查询到的内容是两个表共有的部分 6.左独有 [7f64dbcc47d5736d8a1a3fc32e862282...test2.uid IS NULL; [2021060820420379.png] 这里查询出了test1表中独有108、109的数据 总结：查询的是左表中右表没有的内容 7.右独有 [06ada01c20ebe487a33f578e6ada3214...test1.uid IS NULL; [20210608204237365.png] 这里查询出了test2表中独有100的数据 总结：查询的是右表中左表没有的内容

    5.9K11

    我的Mysql查询SQL优化总结

    清楚 SQL 的执行顺序后，接下来可以看一下在日常查询使用中，常见的拖慢查询的 SQL 使用，这些原因可以通过改写 SQL 来进行优化。 2、联表查询 过于复杂的联表查询通常是导致查询效率低下的原因。...3、子查询 在 MySQL 5.6 版本后对子查询进行了优化，但是优化器的优化始终是有限的，在某些场景下子查询仍然是会称为导致查询效率低下的一个点。...根据 MySQL 官方手册中的子查询优化章节，子查询的优化主要有以下三种方式： Semi-join : 半联接，即有左表和右表进行联接，联接结果只显示左表的结果而不显示右表 Materialization...在一些网站或者 APP 中，我们有时候会发现没有页数可以选择，只有下一页（不断下拉）的选项，这大概率就是利用游标实现的翻页。...5、赘述：in、or与union all的性能对比 在开发过程中，总会遇到这种情况，比如项目中存在两个数据源，一个sql查询语句中的筛选条件是从另外一个数据库中查询获得，这时就不得不采用以上这3种方式（

    2.7K40

    在【用户、角色、权限】模块中如何查询不拥有某角色的用户

    用户与角色是多对多的关系， 一个角色可以被赋予给多个用户，一个用户也可以拥有多个角色； 查询不拥有某角色的所有用户， 如果用leftjoin查询，会造成重复的记录： 举例错误的做法： select...`create_time` desc limit 38; 这个查询虽然用到了（or `system_user_role`.`role_id` is null ）防止结果缺失，但会有重复的记录出现！...如果一个用户， 被赋予了角色（id为6ce3c030-a2e0-11e9-8bdc-495ad65d4804） 该用户又被赋予了另一个角色（id为其他值） 那么这个查询中会查出该用户， 违背了我们的需求...system_user_role.user_id and system_user_role.role_id = '6ce3c030-a2e0-11e9-8bdc-495ad65d4804' ); 这个做法用到了not exists子查询...注意：这样的子查询是可以设置与父查询的关联条件的（where system_user.id = system_user_role.user_id） 这种查询比（not in）查询要快的多！

    5.5K20

    面试官：MySQL 中的 distinct 和 group by 哪个效率更高？

    先说大致的结论（完整结论在文末）： 在语义相同，有索引的情况下：group by和distinct都能使用索引，效率相同。 在语义相同，无索引的情况下：distinct效率高于group by。...放在查询语句中的第一个字段前使用，且作用于主句所有列。...，DISTINCT可以被看作是特殊的GROUP BY，它们的实现都基于分组操作，且都可以通过松散索引扫描、紧凑索引扫描(关于索引扫描的内容会在其他文章中详细介绍，就不在此细致介绍了)来实现。...在mysql 8.0中，已经移除了这个功能，所以不再需要通过添加order by null 来禁止隐式排序了，但是，查询结果可能与以前的 MySQL 版本不同。...但从Mysql8.0开始，Mysql就删除了隐式排序，所以，此时在语义相同，无索引的情况下，group by和distinct的执行效率也是近乎等价的。

    2.3K10

    MYSQL 8 VS MYSQL 5.7 在复杂查询中 到底好了多少

    MySQL 8 最终是要大面积替换MYSQL5.7 , 之前的文字可能给人感觉MYSQL 8 还不如 MYSQL 5.7 ，实际上不然，任何东西新的一定有问题，解决解决就好了，在复杂查询这块 MYSQL...下面是MYSQL 8 和 MYSQL 5.7 在一个稍微复杂查询的执行计划 对比上面的图，一样的语句，一样的数据库，一样的表，一样的数据行数和内容，mysql 8 由于各种优化，去掉了 using firesort...当然也有一些差强人意的，下面的两个查询时间上基本相同，可能需要更多的将语句重新格式的时间，mysql 8 还慢了0.2秒 MYSQL 8 总体来说mysql 在hash join , 免filesort...的新功能对大部分查询语句是有帮助的，但实际上在测试中有些简单的语句，MYSQL 8 并不能占据什么便宜，或者说还可能会比MYSQL 5.7 慢了“一眨眼” 的功夫。...最后总结一下， 如果当前MYSQL 5.X 中运行的系统逻辑并不复杂，执行的语句都是简单的，那换了MYSQL 8 可能并不能得到什么好处，甚至会“挨骂”。

    3.5K30

    MySQL中的GROUP BY和DISTINCT：去重的效果与用法解析

    在MySQL数据库中，经常会遇到需要对数据进行分组和去重的情况。为了达到这个目的，我们通常会使用GROUP BY和DISTINCT这两个关键字。虽然它们都可以用于去重，但是它们具有不同的用法和效果。...本文将详细解析MySQL中的GROUP BY和DISTINCT的用法，并比较它们对同一字段的去重效果是否相同。...使用GROUP BY语句，我们可以同时获取每个城市的学生人数；而使用DISTINCT语句，我们只能获得不重复的城市名，无法获取学生人数。当然，我很乐意继续为您写作。下面是文章的剩余部分。4....结论通过本文的介绍，我们了解了Mysql中的Group和Distinct的用法，并对它们进行了比较和对比。Group By关键字用于将结果集按照指定的字段进行分组，适用于分组计算和聚合操作。...在实际使用中，我们需要根据具体的需求选择适当的关键字。如果只需要去重某个字段的值，可以使用Distinct关键字。如果需要对结果集进行分组计算和聚合操作，可以使用Group By关键字。

    11.3K50

    MySQL的OR条件查询不走索引？可以这样解决

    今天这篇文章我们来简单介绍一下MySQL的OR条件查询，以及它可能会引发的索引失效（即不走索引）的场景以及解决方案。方便大家在实践中，留意是否正确使用了OR条件查询。...MySQL的OR条件查询简介 在 MySQL 中，OR 条件查询是一种利用 OR 逻辑操作符在 WHERE 子句中连接多个条件的查询方式。...不走索引案例分析 如果查询条件中包含 OR 操作符，通常情况下，即使其中一个条件是基于索引的，MySQL 也可能不会使用该索引，转而执行全表扫描（Table Scan）。...原因：MySQL 查询优化器无法高效地利用索引来处理 OR 条件，尤其是在多个条件中一个或多个字段没有索引的情况下。...MySQL 的查询优化器在处理 OR 时效率较差。 第二、优化建议： 尽量避免使用 OR，使用 UNION ALL 或 UNION 替代。 根据查询条件频率，合理为字段创建索引。

    32210

    Python在我SEO工作中的应用一 - 数据采集

    本系列前言一直想写Python与SEO的系列文章，因为随着SEO工作的开展，以及自身Python水平的提高，Python在SEO中的应用越来越多，使用的范畴也越来越广。...SEO与数据采集SEO工作离不开数据采集。获取某个频道所有URL，查询一批网页的收录/排名情况，采集竞争对手的特定数据，都需要用到数据采集。...，我在这篇文章中采用了第三方库threadpool的形式实现了多线程。...4.6 抓取网页JS内容很多网站会将重点内容放在JS中，增加了抓取的难度。这种可以通过Selenium+PhantomJS+Xpath的方式抓取。5. 终极爬虫终极爬虫就属Scrapy了。...备注Python只是抓取工具，火车头也是一款不错的抓取工具，我跟隔壁小伙伴培训就是讲的火车头采集，界面简单，容易上手；题图为SEO的一生，版权在图片上。

    11210
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券