资深数据库专家，专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生，为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。
近期收到慢日志监控报警，在慢日志平台查看，主要瓶颈在于几条创建临时表的SQL语句，占用了大量的临时空间，需要优化。
MySQL 哈希索引又基于哈希表（散列表）来实现，所以了解什么是哈希表对 MySQL 哈希索引的理解至关重要。接下来，我们来一步一部介绍哈希表。
仅支持通过使用 in-place 方式从 MySQL 5.7 升级到 MySQL 8.0 升级； 不支持从 MySQL 8.0 降级到 MySQL 5.7（或从MySQL 8.0 版本降级到任意一个更早的 MySQL 8.0 版本）。唯一受支持的替代方案是在升级之前对数据进行备份。
经常会遇到这种情况，我们的业务已经稳定地运行一段时间了，并且流量渐渐已经上去了。这时候，却因为某些原因（比如功能调整或者业务扩展），你需要对数据表进行调整，加字段 or 修改表结构。 可能很多人说 alter table add column … / alter table modify …，轻轻松松就解决了。 这样其实是有风险的 ，对于复杂度比较高、数据量比较大的表。调整表结构、创建或删除索引、触发器，都可能引起锁表，而锁表的时长依你的数据表实际情况而定。 本人有过惨痛的教训，在一次业务上线过程中没有评估好数据规模，导致长时间业务数据写入不进来。 那么有什么办法对数据库的业务表进行无缝升级，让该表对用户透明无感呢？下面我们一个个来讨论。
顾名思义，cluster（集群）由一台及以上主机节点组成并提供存储及搜索服务，为方便理解可以将其看作为mysql集群； elasticsearch集群名称在配置文件ES_HOME/config/elasticsearch.yml中定义，集群名称默认为elasticsearch，可通过cluster.name: my-application属性定义； 单台节点在集群中的名字可通过node.name: node-1属性定义，默认为自动生成的一个uuid值；
MySQL从5.7后引入了json数据类型以及json函数，可以有效的访问json格式的数据。json数据类型相对于字符串，具有以下优点：
JSON 类型 JSON（JavaScript Object Notation）是一种轻量级的数据交换格式。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。它易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。JSON 可以将 JavaScript 对象中表示的一组数据转换为字符串，然后就可以在网络或者程序之间轻松地传递这个字符串，并在需要的时候将它还原为各编程语言所支持的数据格式。 在MySQL 5.7中，就已经支持JSON数据类型。在MySQL 8.x版本中，JSON类型提
里面讲到了 DataX 的概况、框架设计、核心架构、插件体系、核心优势，由阿里出品，并在阿里内部被广泛使用，其性能、稳定都是经过了严格考验的。得益于它的框架设计
EXPLAIN： 为 SELECT语句中使用到的每个表返回一条信息。它按照MySQL在处理语句时读取它们的顺序列出这些表。MySQL使用循环嵌套算法解析所有连接。意味着MySQL从第一个表中读取一行，然后在第二个表，第三个表中找到匹配的行，等等。
有时候大家在做电商商品推广的时候会涉及到一些json串的存储，同时在检索的时候会通过json中里面的段就进行相关检索，这样的话就可能会引入虚拟列这个概念。下面用一个简单的例子来介绍一下虚拟列的使用。
排序规则（Collation）是比较和排序字符串的一种规则，每个字符集都会有默认的排序规则，可以使用命令 SHOW CHARSET 来查看：
MySQL5.7 新增两种字段类型：Json 和 Generated，Generated 型的产生和 Json 的关系密不可分，如果没有Generated 类型，Json 类型在强大，生产中可能也无法使用，因为 Json 不支持索引，但是如果要查询 Json 里的数据，没有索引就是全表扫描，在执行效率上肯定是不能用于生产环境的，但是有了 Generated 类型就不同了，Generated 类型简单地说是一个虚拟字段，值是不可更新的，值来源其他字段或者字段间计算或是转化而来的，这种类型是可以创建索引，利用 Generated 的特性，就可以间接的给 Json 类型中的 key 创建索引，解决 Json 不能创建索引的问题。简而言之， Generated 类型的产生，为 Json 类型在索引方面的问题提供了支持。JSON 的值包含单个值、数组、元组、标注的 Json 格式等几种格式。
注：本次安装为测试环境，使用CentOS 6.5的系统，所装软件均为直接yum，如果线上部署，请使用公司提供的软件版本
MySQL 9.0 作为第一个被标记为“创新版本”的发布，带来了多项新特性，旨在提升数据库的性能、功能、安全性和易用性。文章整合多渠道信息内容，文章总结了MySQL9.0的新特性、新特性用途与8.0版本的主要差异，分析了MySQL9.0在GIS方面的功能特点。
上一篇我们主要讲了 MySQL 失效的场景到底有哪些原因导致的，并且提到了如果 SQL 中如果使用了函数，则可能会导致索引失效的问题。具体可查看文章：
JSON 字段类型在当前的版本中自身没有索引，那么在生产中是非常可怕的，JSON 字段的增、删、改、查效率可想而知，基本没法用，也许是基于此，MySQL5.7 中提供了 Generated 字段类型，网上有叫生成列或是计算列的。这里先来了解一下什么是 Generated Column。
在MySQL8.0中重新设计了redo log，主要改进fsync，使得效率更高，减少锁，优化flush机制，不会频繁flush。同时，支持更高用户并发请求。
数据库通过锁机制来解决并发场景-共享锁（读锁）和排他锁（写锁）。读锁是不阻塞的，多个客户端可以在同一时刻读取同一个资源。写锁是排他的，并且会阻塞其他的读锁和写锁。简单提下乐观锁和悲观锁。
MySQL 8.3 主要更新：用于标记事务分组的 GTID、JSON EXPLAIN 格式增强、一些功能删除等。
前言 本文主要针对的是关系型数据数据库MySql。键值类数据库可以参考最简大数据Redis。先简单梳理下Mysql的基本概念，然后分创建时和查询时这两个阶段的优化展开。 1.0 基本概念简述 1.1
1 MySQL8.0 pre-GA（pre General Avaliable:公共可用的先行版）于2018年3月19日发布，版本号为 8.0.12
本文来自：http://bigdatadecode.club/MysqlToHDFSWithCanal.html
以下内容采集自 2019年9月19日 San Francisco Oracle open 大会内容。主题 What’s New in MySQL Optimizer and Executor?
实战问题：有数百万数据需要导入 Elasticsearch 做性能对比测试，但当前数据存储在 Mysql 中，且核心字段以 Json 字符串形式存储。Mysql 存储如下所示：
作为一个 DBA，想必都有过被慢查询折腾的经历，本文对常规和非常规手段进行了整理，由浅及深，简单介绍几个慢查询的分析手段。
1.性能优越:快速！在适量级的内存的 MongoDB 的性能是非常迅速的，它将热数据存储在物理内存中，使得热数据的读写变得十分快，
非关系型数据库(nosql ),属于文档型数据库。先解释一下文档的数据库，即可以存放xml、json、bson类型系那个的数据。这些数据具备自述性（self-describing），呈现分层的树状数据结构。数据结构由键值(key=>value)对组成。
在我们日常开发过程中，有时候因为对索引列进行函数调用，导致索引失效。举个例子，比如我们要按月查询记录，而当我们 表中只存时间，如果我们使用如下语句，其中create_time为索引列
在Terminal窗口下执行 go get github.com/beego/bee在%GOPATH%\bin下会有bee.exe文件
MySQL5.7的发行声明中，官方称之为里程碑式的版本，除了运行速度大幅度提升之外，还添加了之前版本没有的功能，如本文所述的原生JSON数据类型功能。 在此版本之前，MySQL所有的JSON数据类型，全部是使用text等文本类型来实现的，数据的处理只能在应用代码级来实现，十分不方便。
原文：https://mysqlserverteam.com/whats-new-in-mysql-8-0-generally-available/
用如下简单的sql进行mysql查询时，发现了出现了out of memory结果。
导读 mysql在5.7版本之后出了一个json类型字段，方便存储不规则字段，常用为表单的业务字段，原先mysql加个业务字段需要修改表结构。通过json字段则不需要。 例子 没有json类型 字段 解释 id 主键 name 姓名 age 年龄 address 地址 phone 电话 isDel 是否删除 运用json类型 字段 解释 id 主键 user_json 用户json {“name”:“翟”,“age”:“26”…} isDel 是否删除 如果用户增加删除一个字段，json更加灵活，不需要
代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。
线上的MySQL服务器，最近有很多慢查询。需要统计出行数大于100万的表，进行统一优化。
在我们梳理的开发规范里面，明确规定对于lob类型的使用原则只有一个，那就是尽量不要使用。但是很明显，开发同学走到了我们前面，如果你碰到开发同学使用JSON数据类型该怎么建议呢，至少在建议前我们也得了解下JSON类型的使用要领吧。
这家公司的真名就叫做“三藏”，和我的名字“悟空”很契合，唐三藏给悟空面试，合情合理，还带有一丝趣味，所以我就去面试了。三藏公司是一家小厂，技术负责人面的我，欲知面试结果，文末揭晓。
MySQL 是全球最受欢迎的开源数据库，长期位于 DB-Engines Ranking 排行榜第二名，在世界范围内拥有数量庞大的企业用户和开发者。然而，随着时间的推移，MySQL 用户正面临新挑战。Oracle 官宣将在 2023 年 10 月终止 MySQL 5.7 版本的官方技术支持。据第三方统计显示，目前仍有超过一半的 MySQL 服务器运行在 5.7 版本。在未来几个月，大量的 MySQL 实例必须升级至 8.0 及更高版本，否则将无法享受 Oracle 提供的技术支持和重要补丁更新，企业级用户将面临重大考验。
如果是GBK编码，则一个中文汉字占2个字节，英文占1个字节 如果是UTF8编码，则一个中文汉字占3个字节，而英文字母占1字节。 比如定义某个字段数据类型为：varchar(32)，表示这个可以存储 32 个字符，此时表示的是字符，所以跟中英文无关，也就是该字段可以存储 32 个中文，或者是 32 个英文，或者是 32 个中文和英文的混搭都行。但如果字符数超过 32 个的话就会报错。
| 作者 王文安，腾讯CSIG数据库专项的数据库工程师，主要负责腾讯云数据库 MySQL 的相关的工作，热爱技术，欢迎留言进行交流。 ---- 作为一个 DBA，想必都有过被慢查询折腾的经历，一个慢查询有时候真的很让人抓狂，本文对常规和非常规手段进行了整理，由浅及深，简单介绍几个慢查询的分析手段。 需要说明的是，下面所有的手段都是原生支持的功能（≥MySQL 5.6），因此在各类 RDS 和原生数据库中都不会有什么使用上的差异，这里图方便就用腾讯云数据库 MySQL 来作为测试环境了，版本为 5.7。
MySQL是目前世界上最流行的、开源的、免费的关系型数据库，由甲骨文公司所有，值得一提的是该公司另一个商业化（也就是说要收钱，而且并不开源）的数据库Oracle目前虽占据了数据库市场的半壁江山，但是随着MySQL的健康发展以及其免费开源的特点，包括阿里巴巴在内的不少公司正在逐渐摆脱对Oracle的依赖，将其数据库迁移构建于MySQL之上。
redis存储对象主要有两种方式： （1）采用json序列化成字符串的方式进行存储 （2）采用二进制的方式进行存储
doris执行异常：[Err] 1064 - errCode = 2, detailMessage = cannot combine SELECT DISTINCT with aggregate functions or GROUP BY
实际上一直都有在学习，只是公众号的算法机制让很多人刷不到，看得人比较少，这才将这些内容分享到各个群和朋友圈，希望能让更多人看到。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
