这就是为什么我们在浏览器的地址栏中能看到中文，但是把地址拷贝出来后中文就变成了一些奇怪的串了。
在使用Zabbix监控中，发现最新值中有些项对应的值为乱码，其他字段显示正常。检查对应的值，发现应该是中文被显示为乱码。
前言 曾几何时 Python 中文乱码的问题困扰了我很多很多年，每次出现中文乱码都要去网上搜索答案，虽然解决了当时遇到的问题但下次出现乱码的时候又会懵逼，究其原因还是知其然不知其所以然。现在有的小伙伴为了躲避中文乱码的问题甚至代码中不使用中文，注释和提示都用英文，我曾经也这样干过，但这并不是解决问题，而是逃避问题，今天我们一起彻底解决 Python 中文乱码的问题。
================================================起================================================
Cheerio 是 node.js 的抓取页面的模块，为服务器特别定制的，快速、灵活、适合各种 Web 爬虫程序，可以让我们用 JQuery 语法来解析爬取的网页数据。
ASCII,ISO-8859-1,GB2312,GNBK,UTF-8,UTF-16等
一.背景 在日常Ulink活动跟进过程中，有时活动页面打开的时候会遇到乱码的情况（如下图所示），于是就想乱码到底是怎么产生的，遇到乱码的情况应该怎么去解决，带着这些问题，我去查阅了相关的资料，在这里整理成文章分享给大家，希望对大家有所帮助。 二.乱码产生的原因 我们都知道，计算机是只认识0和1的二进制数的，所以不管是字母，汉字，或者符号，都是以某种编码方式转换成二进制数据存放在计算机中，需要显示的时候，就用相同的编码方式把二进制数据解码出来就可以了。那么这就很好理解乱码的产生了，如果我们用A编码方式将
总结分类： 一、页面显示乱码 1、如果web.config配置：<globalization fileEncoding="utf-8" /> 如果文件编码不是UTF-8，则会乱码，反之不然。 2、不设置fileEncoding，不会乱码 3、fileEncoding="gb2312"，文件以utf-8编码，此时也不会有乱码现象。 建议最好让所有文件都以UTF-8编码保存，从而解决这类乱码问题。 二、Ajax提交的数据乱码问题 URL拼写参数的时候，如果遇到一些特殊字符。 <a id="link2"
<a id="link2"
中文系统bgk 回忆上次内容 汉字字形通过 点阵式打字机像素级寻址的屏幕进入了计算机的世界添加图片注释，不超过 140 字（可选）在海峡对岸的台湾同胞 也进入了汉字时代他们会使用GB2312编码吗？ 能互通吗？🤔中国台湾 BIG5 码 是由 5 个公司联合制作的收录次序 取决于 频率 然后是 笔画数然后是 康熙字典同时用 BIG5 编码和解码也是没有问题的 但如果用BIG5编码却用gb2312解码就会有问题添加图片注释，不超过 140 字（可选）不过存储的内容在文件里 系统不知道用
在字符集这一篇文章中，我们基本了解了字符集的一些概念，也知道了什么是编码，什么是编码什么是解码。那么接下来我们就聊聊乱码。
这种情况就是乱码，是因为我们输入的中文，往计算机中保存的时候，最终都要转成2进制的数据形式，也就是说有一个编码的过程，在保存文件的时候默认使用的是ANSI编码格式，浏览器显示文件中内容的时候，还需要将2进制的数据转换成文字形式显示出来，也就是说还有解码的过程，浏览器被指定为utf-8格式来解码，也就是说编码和解码不一致所造成的乱码
最近在进行关键词的分析，中间涉及到对一些特殊的字符进行过滤的需求。包括带符号的（有部分还是SQL注入），并且存在一部分乱码的问题。梳理下来供后续使用。
1.解决Win平台中文显示 1.1首先解决win平台上中文显示乱码问题 1)首先查看qt creator的编码格式 通过->编辑->选择编码 查看. 2)如果qt creator的编码格式是utf8,并且项目里的汉字是utf8类型时 需要添加头文件: #include <QTextCodec> 在main()函数加入: QTextCodec *codec = QTextCodec::codecForName("utf8"); QTextCodec::setCodecForTr(codec);
大家好，又见面了，我是你们的朋友全栈君。 字符乱码的事，估计大家都遇到过，很烦，什么utf-8、GBK、GB2312转来转去，不知道什么时候才能转正常。我们做个试验，如果你是windows系统，打开记事本，新建一个文件，输入”联通”两个字之后，保存，关闭，然后再次打开，出现了什么现象？乱码！那你赶紧去找IT吧，你中招了！开玩笑的，这是著名的“windows联通之谜事件”。继续往下看，后面会有谜底的解释。那么我们就讨论下字符编码哪些事吧，首先我们看几个真实遇到的乱码的故障实例。
前段时间，一位粉丝微信上给我发了一个图，图片是一个知乎文章的截图，内容显示乱码，怀疑是微信bug：
在一个网站中，有些页面会正常显示，然而，有些页面会显示成乱码。 如果发生这种情况，可以检查一下web.config和文件编码。
答：Python2内容默认ascii进行编码,而Python3对内容进行编码的默认为utf-8。这个编码问题，也不是Python的问题，所有语言都有乱码的问题，所以今天主要跟大家聊聊这4个常见的编码 。
经常发现有人被乱码困扰着，而我感觉比较幸运，很少为此烦恼过。 在这篇博客中，我将把我想到的一些与乱码有关的经验总结出来，供大家参考。 页面显示乱码问题 在一个网站中，有些页面会正常显示，然而，有些
小猿会从最基础的面试题开始，每天一题。如果参考答案不够好，或者有错误的话，麻烦大家可以在留言区给出自己的意见和讨论，大家是要一起学习的 。
字符编码是计算机技术的基石，本文希望帮助大家彻底梳理清楚字符编码问题，不仅知其然，还知其所以然，摆脱被中文乱码支配的感觉。
2.内存和硬盘： 内存：计算机硬件组成部分之一，它是一个容器，用来存储数据；处理数据速度快， 存储数据量小；断电死机数据会丢失，短暂性存储数据 硬盘：计算机硬件组成部分之一，它是一个容器，用来存储数据；处理数据速度慢， 存储数据量大，断电死机数据不会丢失，数据的持久存储 3.字节和字符 字节：计算机的存储数据的单位，底层唯一能够识别并且运算的数据 字符：人类将字节封装为另一种能直接识别的数据单位，底层还是字节 4.如何区分字节文件和字符文件 如果使用文本编辑器打开能看得懂(不会乱码)那它就是一个字符文件， 反之，它是一个字节文件 提问：常见的字节文件和字符文件有哪些？(枚举出一些) 字节文件：图片文件(.jpg、.png...)、视频文件(.avi、.mp4、.rmb...)、音频文件(.mp3...) 字符文件：.txt、.py、.java、.js、.html、.css、.php... 思考：.doc结尾的文件是字节还是字符文件？ 是字节文件，因为.doc结尾的文件中既可以包含字符内容，也可以包含图片、颜色设置...操作 思考：计算机数据层面，一切皆字节，对不对？ 对的；因为计算机底层唯一能够识别和运算的都是字节数据... 5.字符编码(字符集) ascii码表：U.S.A设计出来的，范围非常小；不包含很多国家的文字，英文字符占用内存1个字节 utf-8码表：现今比较通用的一张编码表，包含了世界上所有的文字内容，范围：0~65535之间， 1个汉字占用内存3个字节，1个英文字符占用内存1个字节 gbk码表：gbk属于gb2312的扩充版，兼容了gb2312中的所有字符，加入更多的一些汉字内容, 1个汉字占用内存2个字节，1个英文字符占用内存1个字节， 在我们中国环境下，大多数情况默认的都是gbk作为编码 6.编码和解码： 编码：让数据从看的懂到看不懂，就是编码 解码：让数据从看不懂到看得懂，就是解码 【注意】 编码和解码如果不一致会怎么样？ 1).会出现乱码现象 2).会报错 不管是上述的1还是2都是不理想的结果，我们都需要避免 字符串的两个函数引入： encode(encoding,errors)：对字符串数据进行编码操作，得到一个bytes类型的数据 decode(encoding,errors)：对字符串数据进行解码操作，得到一个str类型的数据 演示eccode()和decode()函数的使用：
1、什么是HTML？HTML、XML、XHTML 有什么区别？ HTML 是用来描述网页的一种语言。 HTML 指的是超文本标记语言 (Hyper Text Markup Language) HTML 不是一种编程语言，而是一种标记语言 (markup language) 标记语言是一套标记标签 (markup tag) HTML 使用标记标签来描述网页 HTML 文档 = 网页 HTML 文档描述网页 HTML 文档包含 HTML 标签和纯文本 HTML 文档也被称为网页 Web 浏览器的作用是读取 HT
计算机里面是由各种电子电路组成的，它是如何识别我们的写的字符的，比如hello ,你，我。
问题1：前两天在Nodepad++写了一个登录页面，但在Chrome中调试一直写不进Cookie。
Python的requests库是一个非常好用的库，这应该已经是大多写过爬虫的人的共识了。它的简洁易用给我们带来很大方便。然而，它也并不是非常完美。今天我们就说说它在处理中文编码方面的不足。
1.2 文字是如何用数字来记录的 在人类创造的各种信息当中，文字信息一直被我们认为是知识和智慧的重要载体，古代无数僧侣和学者，终身都献身于书籍文字的保存和传达。很多书籍靠着一代代人手工抄写而流传下来。然而这种抄写费时费力不算，还常常会导致抄写错误，导致信息的“失真”。也有很多藏书因为保管不善而毁于腐朽或者战火。 在所有需要表达的信息当中，文字是最早被纳入“数字化”的信息种类之一。摩斯电码（Morse Code）是人们发明出来用电信号表达文字的最早方法之一，也是最早的数字化通信形式。通过断的电流，产生一种一
Post@https://ryan-miao.github.io 测试代码https://github.com/Ryan-Miao/someTest/commit/50241e50d4b6ecdb8820e58f4cb9628bfb7d77ec 背景 还是多语言, 在项目中遇到本地环境和服务端环境不一致乱码的情形。因此需要搞清楚乱码产生的过程，来分析原因。 获取多语言代码如下： private Map<String, String> getLocalizationContent(Locale locale
下面我就总结一下Android studio大家在导入jar包时遇到的一些问题和解决方法：
中文乱码问题在我们日常开发中司空见惯，那么乱码问题是如何产生的呢？又怎样去解决乱码问题呢？本文将结合基本概念和例子展开阐述，希望大家有收获。
这两天最火的莫过于网信办发文整治自媒体的混乱现象，在发布之后，直接一批大 V 被封号了，而且是全网封，这次号称有9800多个号进入了名单，同样封号还在持续。。。像我这种遵纪守法的小作坊就不用担心了，那么我们真的只能小声逼逼吗？当然不会，前几天在GitHub发现一个极其有趣的程序，真心的给程序制作者抱拳了，今天就给大家推荐一款有趣的名叫「核心价值观编码」的程序。
手持两把锟斤拷，(GBK与UTF-8) 口中疾呼烫烫烫。(VC++) 脚踏千朵屯屯屯，(VC++) 笑看万物锘锘锘。(HTML)
| 导语 本文主要介绍了业务中常见的ASCII、GB2312、GBK、GB18030、UTF8、ANSI、Latin1中文编码。如果你在业务中也曾经被乱码搞晕过，不妨我们一起探究一下。 PS：文末有今天儿童节粉丝福利活动哦！ 最近我的业务中涉及到了包含中文文本的内容解析。业务场景是用户上传一个包含中文的文本文件，我们需要根据约定好的字段格式解析该文本，并将内容导入到数据库中。但用户所传上来的文件中文编码经常会不一样，于是我们的数据库中经常会有乱码出现。为了解决该问题，就有了这篇文章…… 1、字符编码要做
早期计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），如果要表示更大的整数，就必须用更多的字节。
我们已经讲过了，字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。
在编码的江湖中，"乱码"算得上我们遇到的最难缠的"敌人"之一,一旦遇上、轻则心情烦躁、重则心态崩溃。文章开头，让我们再次重温与"乱码"初见面的名场面。
编码问题一直困扰着开发人员，尤其在 Java 中更加明显，因为 Java 是跨平台语言，不同平台之间编码之间的切换较多。本文将向你详细介绍 Java 中编码问题出现的根本原因，你将了解到：Java 中经常遇到的几种编码格式的区别；Java 中经常需要编码的场景；出现中文问题的原因分析；在开发 Java web 程序时可能会存在编码的几个地方，一个 HTTP 请求怎么控制编码格式？如何避免出现中文问题？
python 2.x默认的字符编码是ASCII，默认的文件编码也是ASCII。
Java Source File 中Default encoding 改写成UTF-8(你所需的编码类型) 然后Update，OK确定就可以了。
unicode 回忆上次内容 中国的简体和繁体汉字 字符数量都超级大彼此还认对方为乱码如果有一种编码所有的字符都能编进去就好了 中日韩(CJK)欧洲拼音梵文阿拉伯文卢恩字符等等等都包括进去添加图片注释，不超过 140 字（可选）能有么？🤔回顾历史 计算机中只有 0 和 1 并且是存储在字节里的原来只能表示和处理数字字符无法处理后来某些二进制数固定下来代表某个字符 形成了字符集从博多码(5bits)到 BCDIC(6bits)再到 EBCDIC码(8bits) 最后统一于 ascii添加图片
从Java转到C++后,对于它的字符串处理能力抱怨了好久 这不,非Unicode下对字符串进行截取有时会出现乱码,因为把一个汉字是两个字节,如果拆开了就显示不正确了
字符串编码在Python里边是经常会遇到的问题，特别是写文件以及网络传输的过程中，当调用某些函数的时候经常会遇到一些字符串编码提示错误，所以有必要弄清楚这些编码到底在搞什么鬼。
很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为"字节"。 再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就这机器称为"计算机"。 开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态。 他们把其中的编号从0开始的32种状态分别规定了特殊的用途，一但终端、打印机遇上约定好的这些字节被传过来时，就要做一些约定的动作。遇上00x10，终端就换行，遇上0x07，终端就向人们嘟嘟叫，例如遇上0x1b，打印机就打印反白的字，或者终端就用彩色显示字母。他们看到这样很好，于是就把这些0x20以下的字节状态称为"控制码"。 他们又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。大家看到这样，都感觉很好，于是大家都把这个方案叫做 ANSI 的"ASCII"编码（American Standard Code for Information Interchange，美国信息互换标准代码）。当时世界上所有的计算机都用同样的ASCII方案来保存英文文字。 后来，就像建造巴比伦塔一样，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的，为了可以在计算机保存他们的文字，他们决定采用127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128到255这一页的字符集被称"扩展字符集"。从此之后，贪婪的人类再没有新的状态可以用了，美帝国主义可能没有想到还有第三世界国家的人们也希望可以用到计算机吧！ 等中国人们得到计算机时，已经没有可以利用的字节状态来表示汉字，况且有6000多个常用汉字需要保存呢。但是这难不倒智慧的中国人民，我们不客气地把那些127号之后的奇异符号们直接取消掉，规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了。 中国人民看到这样很不错，于是就把这种汉字方案叫做 "GB2312"。GB2312 是对 ASCII 的中文扩展。 但是中国的汉字太多了，我们很快就就发现有许多人的人名没有办法在这里打出来，特别是某些很会麻烦别人的国家领导人。于是我们不得不继续把 GB2312 没有用到的码位找出来老实不客气地用上。 后来还是不够用，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准，GBK 包括了 GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。 后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK 扩成了 GB18030。从此之后，中华民族的文化就可以在计算机时代中传承了。 中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 "DBCS"（Double Byte Charecter Set 双字节字符集）。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，因此他们写的程序为了支持中文处理，必须要注意字串里的每一个字节的值，如果这个值是大于127的，那么就认为一个双字节字符集里的字符出现了。那时候凡是受过加持，会编程的计算机僧侣们都要每天念下面这个咒语数百遍： "一个汉字算两个英文字符！一个汉字算两个英文字符......" 因为当时各个国家都像中国这样搞出一套自己的编码标准，结果互相之间谁也不懂谁的编码，谁也不支持别人的编码，连大陆和台湾这样只相隔了150海里，使用着同一种语言的兄弟地区，也分别采用了不同的 DBCS 编码方案——当时的中国人想让电脑显示汉字，就必须装上一个"汉字系统"，专门用来处理汉字的显示、输入的问题，但是那个台湾的愚昧封建人士写的算命程序就必须加装另一套支持 BIG5 编码的什么"倚天汉字系统"才可以用，装错了字符系统，显示就会乱了套！这怎么办？而且世界民族之林中还有那些一时用不上电脑的穷苦人民，他们的文字又怎么办？ 真是计算机的巴比伦塔命
真空管时代的计算机尽管已经步入了现代计算机的范畴，但其体积之大、能耗之高、故障之多、价格之贵大大制约了它的普及应用。直到1947年，由Bell实验室的William B. Shockley、 John Bardeen和Walter H. Brattain.发明了晶体管，开辟了电子时代新纪元，电子计算机也找到了腾飞的起点，一发而不可收……
编码一直是让新手头疼的问题，特别是 GBK、GB2312、UTF-8 这三个比较常见的网页编码的区别，更是让许多新手晕头转向。但是编码又是那么重要，特别在网页这一块。如果你打出来的不是乱码，而网页中出现了乱码，绝大部分原因就出在了编码上了。 （一）ANSI、GBK、GB2312、UTF-8、GB18030和 UNICODE 很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物，他们把这称为”字节”。再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来
不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号的，这些符号也就是我们人类使用的语言。由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元—— byte 来表示，因而必须要经过拆分或一些翻译工作，才能让计算机能理解。我们可以把计算机能够理解的语言假定为英语，其它语言要能够在计算机中使用必须经过一次翻译，把它翻译成英语。这个翻译的过程就是编码。所以可以想象只要不是说英语的国家要能够使用计算机就必须要经过编码。这看起来有些霸道，但是这就是现状，这也和我们国家现在在大力推广汉语一样，希望其它国家都会说汉语，以后其它的语言都翻译成汉语，我们可以把计算机中存储信息的最小单位改成汉字，这样我们就不存在编码问题了。
thrift服务端使用utf8，客户端编码也是，但实际使用中，javascript客户端显示的汉字总是乱码，而c++客户端显示正常。 经研究，将protocol.js文件如下内容：
二进制数据就像上图一样，由0和1来存储数据。普通的十进制数转化成二进制数一般采用"除2取余，逆序排列"法，用2整除十进制整数，可以得到一个商和余数；再用2去除商，又会得到一个商和余数，如此进行，直到商为小于1时为止，然后把先得到的余数作为二进制数的低位有效位，后得到的余数作为二进制数的高位有效位，依次排列起来。例如，数字10转成二进制就是1010，那么数字10在计算机中就以1010的形式存储。
先给大家出个思考题吧，一个汉字占多少字节？是不是网上搜出的答案五花八门，那么读完本篇文章，我希望你至少可以准确知道这个问题的答案，我觉得就算是收获。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
