系统从圣诞节那天晚上开始，每天晚上固定十点多到十一点多这个时段，大概瘫痪1h左右，过这时段系统自动恢复。系统瘫痪时的现象就是，网页和App都打不开，请求超时。系统架构：
昨天遇到一个问题, 200万的表里查询9万条数据, 耗时达63秒. 200万数据不算多, 查询9万也还好. 怎么用了这么长的时间呢? 问题是一句非常简单的sql. select * from tk_t
想要优化 MySQL 查询，就必须要弄清楚 MySQL 在执行查询的时候到底做了哪些事，包含哪些子任务。每一项子任务都可能会导致查询缓慢。MySQL 执行查询的流程如下：
我们在开发的过程中使用分页是不可避免的，通常情况下我们的做法是使用limit加偏移量：select * from table where column=xxx order by xxx limit 1,20。当数据量比较小时（100万以内），无论你翻到哪一页，性能都是很快的。如果查询慢，只要在where条件和order by 的列上加上索引就可以解决。但是，当数据量大的时候（小编遇到的情况是500万数据），如果翻到最后几页，即使加了索引，查询也是非常慢的，这是什么原因导致的呢？我们该如何解决呢？
一、背景 我们在开发的过程中使用分页是不可避免的，通常情况下我们的做法是使用limit加偏移量：select * from table where column=xxx order by xxx limit 1,20。当数据量比较小时（100万以内），无论你翻到哪一页，性能都是很快的。如果查询慢，只要在where条件和order by 的列上加上索引就可以解决。但是，当数据量大的时候（小编遇到的情况是500万数据），如果翻到最后几页，即使加了索引，查询也是非常慢的，这是什么原因导致的呢？我们该如何解决呢？
我们在开发的过程中使用分页是不可避免的，通常情况下我们的做法是使用limit加偏移量：
刚入职的时候，同事就提醒过我，涉及三四张表的时候，数据量大，尽量不用连表查询，用单表。我最近还真的是遇到了。因为联表查询导致引发的慢sql。
select ...from table where exist (子查询)；
今天和大家聊聊分库分表技术，大家面试的时候肯定都有这样的经历，面试官动不动就问分库分表、高并发、虚拟机、分布式事务等等这些高大上的技术。所以我们还是有必要要了解一下的。
在实际MySQL业务中，一般会先验证sql有没有问题，如果没有问题，再写业务代码。实际ES业务中，也一样，先DSL确认没有问题，再写业务代码。
表中只有一个字段时 count(*) 效率最高，count(列名) 当列名是主键时，它的效率高于 count(1)，其他情况 count(1) 效率更高。
星球一位小伙伴面试了 网易，遇到了一个 性能类的面试题：CPU飙升900%，该怎么处理？
所谓的性能优化，一般针对的是MySQL查询的优化。既然是优化查询，我们自然要先知道查询操作要经过哪些环节，然后思考可以在哪些环节进行优化。
岳毅，携程高级研发经理，负责酒店数据智能平台研发，大数据技术创新工作。喜欢探索研究大数据的开源技术框架。
很明显，不同的类型存储的长度有很大区别的，对查询的效率有影响，字段长度对索引的影响是很大的。
数据库的管理是一个非常专业的事情，对数据库的调优、监控一般是由数据库工程师完成，但是开发人员也经常与数据库打交道，即使是简单的增删改查也是有很多窍门，这里，一起来聊聊数据库中很容易忽略的问题。 字段长度省着点用 先说说我们常用的类型的存储长度： 列类型存储长度tinyint1字节smallint2字节int4字节bigint8字节float4字节decimal(m,d)0-4字节datetime8字节timestamp4字节char(m)m个字节varchar(m)可变长度text可变长度 很明显，不同的类
sql语句与索引优化 –> 数据表优化 –> 系统配置优化 –> 硬件提升优化
列表分区能把几种不同的数据整合在一个分区里，列表分区明确指定了根据某字段的某个具体值进行分区，而不是像范围分区那样根据字段的值范围来划分的。
检索性能的优化涉及知识点比较零散，我以官方文档的检索性能优化部分作为大框架和主线，结合实战经验和咨询经验用通俗易懂的语言做下解读。
本篇是MySQL知识体系总结系列的第二篇，该篇的主要内容是通过explain逐步分析sql，并通过修改sql语句与建立索引的方式对sql语句进行调优，也可以通过查看日志的方式，了解sql的执行情况，还介绍了MySQL数据库的行锁和表锁。
这类似于一张日志表，因此数据量很大，想要统计用户积分做排行榜时，表数据可能如下：
问题描述： 在使用mybatisplus插件进行分页查询时分页参数不起作用，总是查出来全部数据。
一说海量数据有人就说了直接用大数据，那只能说不太了解这块，为此我们才要好好的去讲解一下海量的处理
根据上图可以看到QPS：10.73k,实际上真实的并发大量数据到达的时候，我这里最高的QPS是将近15k.而目前单个数据库分片(实例)4CPU8G内存的配置下，最高的性能是7k的QPS。
全文检索是 20世纪末产生的一种新的信息检索技术。经过几十年的发展，特别是以计算机技术为代表的新一代信息技术应用，使全文检索从最初的字符串匹配和简单的布尔逻辑检索技术演进到能对超大文本、语音、图像、活动影像等 非结构化数据 进行综合管理的复合技术。由于内涵和外延的深刻变化，全文检索系统已成为新一代管理系统的代名词，衡量全文检索系统的基本指标和全文检索的内涵也发生巨大变化。
最近有一个数据库的延迟问题比较明显，大体的逻辑是有一批数据需要在缓存中校验，如果数据过期，就需要重新刷新数据，整个数据量大概有2000万，更新的数据量平均在600万左右，也就意味着基线变更数据是600万左右，需要根据数据的热度适时更新。
SELECT GREATEST(@found := 1, id) AS id ,'uesrs' AS which_tb1
#基于PhalApi的DB集群拓展 V0.1bate ##前言## 先在这里感谢phalapi框架创始人@dogstar,为我们提供了这样一个优秀的开源框架. 编写本次拓展出于的目的是解决大量数据写入
说说最近的一个案例吧，线上阿里云RDS上的一个游戏日志库最近出现了一点问题，随着游戏人数的增加，在线日志库的数据量越来越大，最新的日志库都已经到50G大小了，在线变更的时间非常长。
通常使用QPS（Queries Per Second，每秒查询书）和TPS（Transactions Per Second）来查看数据库的效率。
本人是一个测试工程师，主要负责接口以及性能方便的压测，目前在一家医疗数据公司任职，既然是做医疗数据，所以主要公司的主要业务就做是医疗软件。
58 集团业务种类繁多，目前包括的业务有 58 同城、赶集网、安居客、58 金融公司、中华英才网、驾校一点通等，数据库种类包括 MySQL、Redis、MongoDB、ES、TiDB。我们自己构建了“58 云 DB 平台”，整合了所有数据库的一体化运维。
关系型数据库的事务特性可以帮我们解决很多难题，比如数据的一致性问题，所以常规业务持久化存储都会mysql 来兜底。但mysql 的性能是有限的。当业务规模发展到上百万用户，访问量达到上万QPS时，单台mysql实例很难应付。
例如，使用 MySQL 数据库判重，或使用 List.contains() 或 Set.contains() 判重就不可行，因为 MySQL 在数据量大时查询就会非常慢，而数据库又是及其珍贵的全局数据库资源。
得物供应链业务是纷繁复杂的，我们既有JIT的现货模式中间夹着这大量的仓库作业环节，又有到仓的寄售，品牌业务，有非常复杂的逆向链路。在这么复杂的业务背后，我们需要精细化关注人货场车的效率和成本，每一单的及时履约情况，要做到这一点我们需要各粒度和维度的数据来支撑我们的精细化管理。
索引类似大学图书馆建书目索引，可以提高数据检索的效率，降低数据库的IO成本。MySQL在300万条记录左右性能开始逐渐下降，虽然官方文档说500~800w记录，所以大数据量建立索引是非常有必要的。MySQL提供了Explain，用于显示SQL执行的详细信息，可以进行索引的优化。
OFFSET 和 LIMIT 对于数据量少的项目来说是没有问题的，但是，当数据库里的数据量超过服务器内存能够存储的能力，并且需要对所有数据进行分页，问题就会出现，为了实现分页，每次收到分页请求时，数据库都需要进行低效的全表遍历。
既然秃头填坑, 那就该让这变得更加有价值, 有必要总结出来, 减少其他同事踩坑的可能。
最近在给几位朋友做模拟面试和简历优化，发现很多人一看到什么千万级数据之类的面试题就会腿软。
糟糕的代码，对代码维护、性能、团队协作都会造成负面影响，所以，先设计再实现，谋而后动。
索引是帮助 MySQL 高效获取数据的数据结构（有序）。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查询算法，这种数据结构就是索引。
松哥原创的 Spring Boot 视频教程已经杀青，感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程
零氪科技作为全球领先的人工智能与医疗大数据平台，拥有国内最大规模、体量的医疗大数据资源库和最具优势的技术支撑服务体系。多年来，零氪科技凭借在医疗大数据整合、处理和分析上的核心技术优势，依托先进的人工智能技术，致力于为社会及行业、政府部门、各级医疗机构、国内外医疗器械厂商、药企等提供高质量医疗大数据整体解决方案，以及人工智能辅助决策系统（辅助管理决策、助力临床科研、AI 智能诊疗）、患者全流程管理、医院舆情监控及品牌建设、药械研发、保险控费等一体化服务。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
