上篇文章我们说了mysql客户端到服务端会不同的字符集不断转换，其中服务端有三个重点的系统变量，1.处理客户端发来的字节串：character_set_client。2.吧请求的字节串从character_Set_cliect转成character_set_connection。3.吧字节串返回给客户端:character_Set_result。
上一篇呢，从理论上介绍了MYSQL字符集和校对规则是什么以及如何正确的使用字符集；关于第一部分的内容可参考：深入理解MySQL字符集及校对规则(一)
计算机上可以运行多个程序，比如QQ，微信，idea，每个程序就是一个进程（PID），mysql服务器和客户端本质就是一个进程，进程都有唯一id，简称PID。
目录 1、一个建表语句引出的问题 2、查看当前电脑使用的字符集 3、你发现这个问题了吗？ 4、你不熟悉的几个命令 1）连接器connection的作用与工作流程(文字叙述) ① 连接器的作用 ② 连接器的工作流程 2）图示法讲解connection的作用与工作流程 ① 第一种方式 ② 第二种方式 5、上述两种图示法的实际操作演示 1）先了解如下几个代码 2）代码演示过程如下 6、产生乱码的两个原因 1）编码和解码不一致导致的乱码 2）传输过程中，丢失字节导致的乱码 7、对实际情况的分析(什么都不设置，系统默认是如何呢？) 1）MySQL系统参数如下 2）set names gbk的含义
那么就带来一个问题，怎么用二进制来表示我们程序中需要使用的信息呢，比如 数字、字符、表情等等。
# Auther: Aaron Fan ''' ASCII:不支持中文，1个英文占1个字节 Unicode(万国码，支持所有国家的文字显示)：支持中文，但是每个英文和中文都占2个字节 UTF-8（是一种针对Unicode的可变长度字符编码，又称万国码。）： 英文依然按照ASCII的方式占1个字节，所有的中文字符统一是3个字节 Unicode里面支持各个国家的编码转换，比如当中国的gbk格式的软件在日本打开出现乱码的时候， 必须把gbk转成Unicode编码后才可以正常显示。 GBK：
点击(此处)折叠或打开 #-*- coding: utf-8 -*- import sys print sys.getfilesystemencoding() # s 是 utf8 编码 s = "hi,你就要成功了." # 用decode转成python内部的unicode编码,用repr输出内部形式 s_unicode = s.decode("utf8") print repr(s_unicode) # 用e
最开始电脑的字符集是ASCII，英文在ASCII中每个字母占1个字节，但ASCII不支持中文，所以后来出现了Unicode；
计算机里面，编码方法有很多种，英文的一般用ascii,而中文有unicode，utf-8,gbk,utf-16等等。
（1）varchar (N)：中的N指的是字符的长度，即：该字段最多能存储多少个字符(characters)，不是字节数。不管是一个中英文字符或者数字、或者一个汉字，都当做一个字符。 【 a,我，1 都是一个字符，但是a和1是一个字节，‘我’（utf8下）是3个字节。 utf8mb4下：汉字也是3个字节，表情符号是4个字节 】 （2）varchar 最多能存储 65535 个字节的数据。 65535 = 所有字段的长度 + 变长字符的长度标识 + NULL标识位 变长字符的长度标识：用1到2个字节表示实际长度（长度 >255 时,需要2个字节； <255 时，需要1个字节） NULL标识位：varchar字段定义中带有 default null 允许列空,则需要 1 bit 来标识，每 8 个bits的标识组成一个字段。一张表中存在N个varchar字段，那么需要（N+7）/8 （取整）bytes存储所有的NULL标识位。
案例：在tb_article文章表中添加一个addtime字段，类型为date(年-月-日)
MySQL出现乱码的原因有很多，一般与character_set参数有关。我们先来看看有哪些参数：
版权声明：本文为博主原创文章，欢迎扩散，扩散请务必注明出处。 https://blog.csdn.net/robinson_0612/article/details/91175314
在平时的mysql运维操作中，经常会碰到插入中文字段后出现乱码的情况，产生中文乱码的原因一般有： 1）mysql的编码格式不对，是latin1编码。强烈推荐将mysql下的编码格式都改为utf8，因为它兼容世界上所有字符！ 2）mysql的表的语系设定问题(包含character与collation) 3）客户端程式(例如php)的连线语系设定问题 下面就对Mysql下处理数据表中中文字段乱码问题的操作做一记录： 为了防止后续操作出现乱码现象，最好在创建库或数据表的时候就设置正确的编码。 创建数据
云端传下来的中文是Unicode编码，通过cjson把它转成了utf-8格式。这个格式在STM32上显示是乱码，需要转换成GBK才行。
TSINGSEE青犀视频云边端架构产品在接入多级通道时，在视频广场侧边栏都会显示分栏菜单，目的是为了让通道的区分更加清晰。近期我们在测试EasyCVR项目时，发现视频广场列表出现乱码现象。
以下配置项是Linux系统的本地化（localization）设置，用于控制系统在不同方面如何呈现和处理数据。下面是每个配置项的解释：
MySQL会出现中文乱码的原因不外乎下列几点： 1.server本身设定问题，例如还停留在latin1 2.table的语系设定问题(包含character与collation) 3.客户端程式(例如php)的连线语系设定问题
编码转换 一些老的项目，文件编码用的还是gbk，很不利于扩展及维护。经常需要在程序中进行判断及转码，容易出现乱码现象。最好的方式就是将整个项目转成utf-8。那么如何批量将一个目录下的文件转编码？ 思路 找出目录下的所有文件类型 遍历要转码的文件类型，如.php 利用vim的set fileencoding=utf8进行转码 具体实现 设置~/.vimrc set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936 set termencoding=ut
在平时的mysql运维操作中，经常会碰到插入中文字段后出现乱码的情况，产生中文乱码的原因一般有： 1）mysql的编码格式不对，是latin1编码。强烈推荐将mysql下的编码格式都改为utf8，因为它兼容世界上所有字符！ 2）mysql的表的语系设定问题(包含character与collation) 3）客户端程式(例如php)的连线语系设定问题
背景：目前正在进行业务重构，需要对使用MySQL的业务库表进行重新设计，在迁移时，遇到了中文字符乱码问题（源库表的默认编码是LATIN1，新库表的默认编码为UTF8），故重新学习了下MySQL编码和解码相关知识，并整理了在遭遇乱码时的一些常用技巧。（本文发布于云+社区：https://cloud.tencent.com/developer/article/1370123）
character-set-server/default-character-set：服务器字符集，默认情况下所采用的。 character-set-database：数据库字符集。 character-set-table：数据库表字符集。 优先级依次增加。所以一般情况下只需要设置character-set-server，而在创建数据库和表时不特别指定字符集，这样统一采用character-set-server字符集。 character-set-client：客户端的字符集。客户端默认字符集。当客户端向服务器发送请求时，请求以该字符集进行编码。 character-set-results：结果字符集。服务器向客户端返回结果或者信息时，结果以该字符集进行编码。 在客户端，如果没有定义character-set-results，则采用character-set-client字符集作为默认的字符集。所以只需要设置character-set-client字符集。
3、字符无需区分大小写时，采用默认的xx_ci校验集可以，否则选择xx_bin校验集(生产环境中,尽量不要修改校验集)
在web服务端开发中，字符的编解码几乎每天都要打交道。编解码一旦处理不当，就会出现令人头疼的乱码问题。
由于客户需求，需要按照汉字的首字拼音排序，项目开发中免不了数据的排序问题，排序中又免不了对中文的处理。今天分享一下如何在mysql中对中文进行排序，介绍下thinkphp连贯操作的order底层原理
今天工作上遇到了一个比较奇葩的问题，这个问题有多方面的尴尬的原因产生。经过了一天的胡乱猜想，终于在公司大佬的指导下解决这个问题。由于公司的安全保密要求，不能直接用公司代码演示，我在自己的电脑上，把之前写的一个demo改造了一下，复现这个问题。废话少说，直接上代码。
原因 网上很多内容都是采用utf8编码的，gbk无法编码字符’\U0001f914’，所以’utf8’格式的数据被转成’gbk’，会因为无法编码unicode的某些字符而出错。 解决
在做接口联调的时候出现访问对方的时候需要把编码转成gb18030格式的，我这边默认是utf8，这个困扰了很长时间，在网上百度发现大部分字符串转编码都是使用string.getByte(“编码格式”)的方式字节转码，可事实上这样是行不通的。原因有点难说，这里我就说一下可行的方案。
4.0版本以下，varchar(20)，指的是20字节，如果存放UTF8汉字时，只能存6个（每个汉字3字节） 5.0版本以上，varchar(20)，指的是20字符，无论存放的是数字、字母还是UTF8汉字（每个汉字3字节），都可以存放20个，最大大小是65532字节 Mysql4中最大也不过是20个字节,但是Mysql5根据编码不同,存储大小也不同。
本文作者：IMWeb 陈映平 原文出处：IMWeb社区 未经同意，禁止转载 写在前面 在web服务端开发中，字符的编解码几乎每天都要打交道。编解码一旦处理不当，就会出现令人头疼的乱码问题。
http://cenalulu.github.io/linux/character-encoding/
在显示 utf8中文数据时会乱码，但是你用cmd告诉MySQL服务器器我使用的是GBK，你要给我返回GBK数据就可以正常显示了，如下图。这也是为什么PHP,Java,Python等编程连接数据库时都要指定数据库的结果集。
Q:什么是存储引擎？ A：比如一个视频文件可以转成mp4,avi,wmv,而存储进磁盘中也会存在不同类型的文件系统中如linux中的ext3,ext4,xfs等.(直观区别就是占用系统的空间大小与清晰程度可能不一样);
字符(Character)是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。 字符集(Character set)是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。计算机要准确的处理各种字符集文字，需要进行字符编码，以便计算机能够识别和存储各种文字。 字符编码（Character encoding）是把字符集中的某个字符编码为指定字符集中字符，以便文本在计算机中存储和通过通信网络的传递。常见的例子包括将拉丁字母表编码成ASCII，ASCII将字母、数字和其它符号编号，并用7比特的二进制来表示。 字符序(collation)是指同一个字符集内字符之间的比较规则。只有确定字符序后，才能在一个字符集上定义什么是等价的字符，以及字符之间的大小关系。一个字符可以包含多种字符序。MySQL字符序命名规则是：以字符序对应的字符集名称开头，以国家名居中(或以general居中)，以ci、cs、或bin结尾。以ci结尾的字符序表示大小写不敏感，以cs结尾的字符序表示大小写敏感，以bin结尾的字符序表示按二进制编码值比较。
我们看到，尽管使用数据库时我们能够正常的添加和显示中文，但是在使用程序连接数据库时并不能够正常显示中文，为此我们需要修改MySQL的默认编码，编辑my.ini（MySQL配置文件）文件对编码进行修改 设置MySQL的默认字符集为utf8，找到客户端配置[client]在下面添加。 default-character-set=utf8 找到服务器配置[mysqld]在下面添加 default-character-set=utf8 设定MySQL数据库以utf8编码运行，连接MySQL数据库时使用utf8编码 停止和重新启动MySQL net stop mysql net start mysql
在使用MySQL时要注意6个需要编码的地方：系统的编码、客户端、服务端、库、表、列。字符集编码不仅影响数据存储,还影响client程序和数据库之间的交互.在mysql中输入命令show session variables like '%char%'能够看到例如以下一些字符集（下面是以win10为例，生产中多数时linux，在linux里面除了latin1之外都是utf8的字符集）:
#-- coding:gbk -- 指定文件编码 #Author:lei import sys print(sys.getdefaultencoding()) s = "你好" print(s) print(s.encode("gbk")) #编码都会转成bytes类型 print(s.encode("utf-8")) gbk_to_utf8 = s.encode("gbk").decode("gbk").encode("utf-8") print(gbk_to_utf8) #unicode 统一的万维码
| 导语 本文主要介绍了业务中常见的ASCII、GB2312、GBK、GB18030、UTF8、ANSI、Latin1中文编码。如果你在业务中也曾经被乱码搞晕过，不妨我们一起探究一下。 PS：文末有今天儿童节粉丝福利活动哦！ 最近我的业务中涉及到了包含中文文本的内容解析。业务场景是用户上传一个包含中文的文本文件，我们需要根据约定好的字段格式解析该文本，并将内容导入到数据库中。但用户所传上来的文件中文编码经常会不一样，于是我们的数据库中经常会有乱码出现。为了解决该问题，就有了这篇文章…… 1、字符编码要做
#字符编码:就是人类使用的英文字母、汉字、特殊符号等信息，通过转换规则，将其转换为计算机可以识别的二进制数字的一种编码方式
字符集问题比较枯燥，知数堂MySQL DBA实战班中，经常遇到一些很利害的同学也对字符集一知半解，想着应该有很多同学也存在这个问题。 那么我们把课程中的内部证明方法整理出来，也让大家感受一下:知数堂MySQL DBA的实战班的风格： 就是干。
在MySQL中，最常见的字符集有ASCII字符集、latin字符集、GB2312字符集、GBK字符集、UTF8字符集等，下面我们简单介绍下这些字符集：
win10中，在命令行情况下，Mysql显示各个端所使用的字符集命令： Microsoft Windows [版本 10.0.16299.64] (c) 2017 Microsoft Corporation。保留所有权利。 C:\Windows\system32>mysql -u root -proot Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 1 Server version
上篇我们介绍了mysql字符集的种类，主要windows用gbk，mac默认utf8，还有字符集的服务器级别，数据库级别，表级别，连行都有级别，每一行都可以有不同的字符集：
这里我已经将MySQL的数据库编码设置为UTF-8，所以下面现实的都是UTF-8。
在mysql中，用于转义的函数有addslashes，mysql_real_escape_string，mysql_escape_string等，还有一种情况是magic_quote_gpc，不过高版本的PHP将去除这个特性。
对于MySQL自带的客户端来说，这个编码过程使用的字符集和我们使用的操作系统的默认字符集是一样的，类Unix系统的默认字符集就是utf8，Windows系统的默认字符集就是gbk。
创建数据库时，显式指定字符集和排序规则，同时，当切换到当前数据库后，参数 character_set_database，collation_database 分别被覆盖为当前显式指定的字符集和排序规则。举个简单例子，创建数据库 ytt_new2，显式指定字符集为 latin1，同时排序规则为 latin1_bin。之后在切换到数据库 ytt_new2 后，对应的系统参数也被修改。
简单来说，字符编码的本质是建立整数和字符的映射。从而使得字符可以在计算机内以整数的形式表示，方便传输。比如，我们可以定义 ‘a’ = 1，’b’ = 2，’c’ = 3，就是在进行字符编码。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
