首页
学习
活动
专区
圈层
工具
发布

mysql线上排错 group_concat_max_len group_concat函数 引起的查询数据丢失 实践笔记

mysql线上排错 group_concat_max_len group_concat函数 引起的查询数据丢失 实践笔记 0.问题场景 1.写几个sql来验证。...2.这时就需要修改 group_concat_max_len 参数到需要的大小,比如102400,扩大一百倍。使得我们使用GROUP_CONCAT函数查询的时候可以正常返回。...修改的方式有两种: 2.1方法一:(永久生效需要重启)在MySQL的配置文件中加入如下配置: #先查询group_concat_max_len的长度 show variables like "group_concat_max_len..."; # 在mysqld下加入 group_concat_max_len = 102400 重启生效 #再次查询group_concat_max_len的长度 show variables like..."group_concat_max_len"; 2.2.方法二:(临时使用,重启失效)更简单的操作方法,执行SQL语句: #先查询group_concat_max_len的长度 show variables

3.2K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Mysql常用sql语句(12)- group by 分组查询

    测试必备的Mysql常用sql语句系列 https://www.cnblogs.com/poloyy/category/1683347.html 前言 group by 关键字可以根据一个或多个字段对查询结果进行分组...group by 一般都会结合Mysql聚合函数来使用 如果需要指定条件来过滤分组后的结果集,需要结合 关键字;原因:where不能与聚合函数联合使用 having group by 的语法格式 GROUP...group by 单字段分组的栗子 对sex单个字段进行分组查询 select * from yyTest group by sex; ?...(*) from yyTest group by department; # sum总和 select sum(age) from yyTest group by department; # max...最大值 select max(age) from yyTest group by department; # min最小值 select min(age) from yyTest group by department

    5.5K21

    玩转Mysql系列 - 第8篇:分组查询详解(group by & having)

    本篇内容 分组查询语法 聚合函数 单字段分组 多字段分组 分组前筛选数据 分组后筛选数据 where和having的区别 分组后排序 where & group by & having & order...by & limit 一起协作 mysql分组中的坑 in多列查询的使用 分组查询 语法: SELECT column, group_function,......分组中,select后面只能有两种类型的列: 出现在group by后的列 或者使用聚合函数的列 聚合函数 函数名称 作用 max 查询指定列的最大值 min 查询指定列的最小值 count 统计查询结果的行数...示例 需求:获取每个用户下单的最大金额及下单的年份,输出:用户id,最大金额,年份,写法如下: mysql> select user_id 用户id, max(price) 最大金额...in多列查询的使用,下去可以试试 mysql系列大概有20多篇,喜欢的请关注一下,欢迎大家加我微信itsoku或者留言交流mysql相关技术!

    9.4K31

    MySQL:如何查询出每个 Group 的 Top n 条记录?

    需求: 查询出每月 order_amount(订单金额) 排行前3的记录。 例如对于2019-02,查询结果中就应该是这3条: ?...解决方法 MySQL 5.7 和 MySQL 8.0 有不同的处理方法。 1. MySQL 5.7 我们先写一个查询语句。...接下来,把上面的SQL语句作为一个子查询,然后使用一个 where 条件就可以轻松拿到每组的 top 3。 最终语句: ? 执行结果: ? 2....MySQL 8 MySQL 8 引入了一个 rank() 函数,可以更简便的实现排行的功能。 ? 执行结果: ? 效果和 5.7 中的方法是一致的。 我们看下语句中的 rank() 方法: ?...翻译整理自: https://towardsdatascience.com/mysql-how-to-write-a-query-that-returns-the-top-records-in-a-group

    4.5K20

    MySQL——优化嵌套查询和分页查询

    ,是因为MySQL不需要在内存中创建临时表来完成这个逻辑上需要两个步骤的查询工作;并且Not exists表示MYSQL优化了LEFT JOIN,一旦它找到了匹配LEFT JOIN标准的行, 就不再搜索了...优化分页查询 在MySQL中做分页查询,MySQL 并不是跳过 offset 行,而是取 offset+N 行,然后返回放弃前 offset 行,返回 N 行,那当 offset 特别大的时候,效率就非常的低下...例如“limit 1000,20”,此时MySQL排序出前1020条数据后仅仅需要第1001到1020条记录,前1000条数据都会被抛弃,查询和排序的代价非常高。...通过索引覆盖在索引上完成扫描和排序(索引有序),最后通过主键(InnoDB引擎索引会通过主键回表)回表查询,最大限度减少回表查询的I/O次数。...总结 对于嵌套查询和分页查询的优化,归根结底就是遵循SQL优化原则之一——减少回表查询的I/O次数。对于分页查询优化,更建议使用第一种优化方案,性能更好,稳定性更高。 参考 《深入浅出MySQL》

    3.7K21

    MySQL(八)子查询和分组查询

    (实际上,MySQL执行了2个select操作),where子句中使用子查询,必须保证select语句具有与where子句中相同数目的列;   子查询一般与in操作符结合使用,但也可用于测试等于(=)、...格式化SQL:包含子查询的select语句一般相较来说阅读和调试更为不方便,特别是它比较复杂的情况下,因此把子查询分解为多行并且适当缩进,能极大的简化子查询的使用。...,orders是一个计算字段,由圆括号内的子查询建立,它对检索出的每个用户执行一次, 子查询中where子句它使用了完全限定表名,它告诉SQL比较orders表和usertable表中的user_id列...相关子查询(correlated subquery):涉及外部查询的子查询(任何时候只要列名可能存在多叉性,就必须使用这种语法[表名和列名有一个句点分隔])。...PS:使用子查询建立查询的最可靠方法是逐渐进行(首先建立最内层的查询,确认后用硬编码数据建立外层查询,由内到外) 二、组合查询 MySQL允许执行多个查询(多条select语句),并将结果作为单个查询结果集返回

    5.1K20

    记录MySQL报错1055:ONLY_FULL_GROUP_BY模式下的GROUP BY查询问题及解决方法

    这个错误的产生,主要是因为在MySQL数据库版本为5.7及以上时,默认开启了ONLY_FULL_GROUP_BY SQL模式。...在这个模式下,对于GROUP BY操作有严格的要求:SELECT语句中的查询列,如果不在GROUP BY子句中出现,那么这个查询就是非法的。...这是因为,非聚合列在GROUP BY操作中没有明确的值,所以MySQL无法确定如何对这些列进行分组。为了解决这个问题,我们可以采取以下两种方法:第一种方法在MySQL的配置文件中进行设置。...第二种方法在Navicat中,输入下列SQL语句进行查询:SELECT @@GLOBAL.sql_mode;查询结果如下,类似如下:ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES...,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION通过上面的查询结果,可以看到 开启了 ONLY_FULL_GROUP_BY

    8.9K20

    MySQL 查询结果倒叙后分组(先order by,再按order by的结果group by)

    方案1:按需要GROUP BY的关键字段简单查询出全部数据,然后在程序中再次过滤、倒叙、取首。...局限性:批量查询时,数据量不可控,范围越大,内存越可能扛不住,单次查询结果量可预估时酌情考虑,不确定的话不推荐。 方案2:子查询的ORDER BY配合LIMIT使用。...局限性:需要对可能导致查询结果中GROUP BY字段数据非唯一的情况做考虑(本需求要求查询结果中销售数据唯一,影响唯一的字段是check_time(大)、create_time(小),若还有其他字段,则需要再次关联...MAX的结果),影响字段越多,则关联的子查询越多,降低性能。...auth_user_id IN (1,2,3) GROUP BY auth_user_id ) max_result_time ON max_result_time.auth_user_id

    4.1K50

    MySQL中distinct和group by去重的区别

    MySQL中distinct和group by去重的区别 在MySQL中,我们经常需要对查询结果进行去重,而DISTINCT和GROUP BY是实现这一功能的两种常见方法。...接下来,我们将通过创建测试数据和执行不同的查询来探讨这两种方法的区别。...: SQL代码: SELECT aid, COUNT(*) FROM pageview GROUP BY aid; distinct和group by的区别 查询结果集不同 使用DISTINCT去重时,...而使用GROUP BY可以查询一个或多个字段。 使用业务场景不同 统计去重之后的总数量需要使用DISTINCT,而统计分组明细或在分组明细的基础上添加查询条件时,就得使用GROUP BY。...而当去重的字段没有索引时,DISTINCT的性能可能会高于GROUP BY,因为在MySQL 8.0之前,GROUP BY有一个隐藏的功能会进行默认的排序,这样就会触发filesort从而导致查询性能降低

    53400

    MySQL索引和查询优化

    常见于排序 order by 和分组查询 group by。 using index:表示相应的 SELECT 操作中使用了覆盖索引(Covering Index),避免访问了表的数据行,效率不错。...select tables optimized away:在没有 group by 子句的情况下基于索引优化 MIN/MAX 操作或者对于 MyISAM 存储引擎优化 COUNT(*) 操作,不必等到执行阶段再进行计算...字段类型和编码 MySQL 返回字符串长度 CHARACTER_LENGTH(同CHAR_LENGTH)方法返回的是字符数,LENGTH 函数返回的是字节数,一个汉字三个字节。...查看 SQL 进程和杀死进程 如果你执行了一个 SQL 的操作,但是迟迟没有返回,你可以通过查询进程列表看看它的实际执行状况。...超大分页 在慢查询日志中发现了一些超大分页的慢查询如 Limit 40000,1000,因为 MySQL 的分页是在 Server 层做的,可以采用延迟关联在减少回表。

    1.8K118

    MySQL慢查询(中):正确的处理姿势,你get到了吗?

    通过梳理 MySQL中的 SQL执行过程我们发现,任何流程的执行都存在其执行环境和规则,主要导致慢查询最根本的问题就是需要访问的数据太多,导致查询不可避免的需要筛选大量的数据。...在MySQL中,应该用内置的日期和时间数据类型,而不是用字符串来存储时间;以及用整型数据类型存储IP地址。 (3)尽量避免NULL:应该指定列为NOT NULL,除非你想存储NULL。...2.3 查询缓存 MySQL查询缓存会保存查询返回的完整结果。当查询命中缓存,MySQL会立刻返回结果,而跳过了后续解析、优化以及执行阶段,会有效提升查询性能。...,但是由于查询缓存设置内存不足,新缓存加入时MySQL会将某些缓存逐出,导致后续查询未命中。...实际开发过程中,大家往往会强调数据库层完成尽可能多的工作,这样做的初衷是认为网络通信、查询解析和优化是一件代价很高的事情,其实MySQL从设计上让连接和断开都很轻量级,同时在返回一个小查询结果方面很高效

    1.4K40
    领券