这就是为什么我们在浏览器的地址栏中能看到中文，但是把地址拷贝出来后中文就变成了一些奇怪的串了。
在字符集这一篇文章中，我们基本了解了字符集的一些概念，也知道了什么是编码，什么是编码什么是解码。那么接下来我们就聊聊乱码。
编码问题一直困扰着开发人员，尤其在 Java 中更加明显，因为 Java 是跨平台语言，不同平台之间编码之间的切换较多。本文将向你详细介绍 Java 中编码问题出现的根本原因，你将了解到：Java 中经常遇到的几种编码格式的区别；Java 中经常需要编码的场景；出现中文问题的原因分析；在开发 Java web 程序时可能会存在编码的几个地方，一个 HTTP 请求怎么控制编码格式？如何避免出现中文问题？
不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号的，这些符号也就是我们人类使用的语言。由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元—— byte 来表示，因而必须要经过拆分或一些翻译工作，才能让计算机能理解。我们可以把计算机能够理解的语言假定为英语，其它语言要能够在计算机中使用必须经过一次翻译，把它翻译成英语。这个翻译的过程就是编码。所以可以想象只要不是说英语的国家要能够使用计算机就必须要经过编码。这看起来有些霸道，但是这就是现状，这也和我们国家现在在大力推广汉语一样，希望其它国家都会说汉语，以后其它的语言都翻译成汉语，我们可以把计算机中存储信息的最小单位改成汉字，这样我们就不存在编码问题了。
想必大家编写代码时肯定和我一样，也遇到过汉字乱码的问题。特别是，有时候和上下游对接接口，不能统一编码格式的话，一堆乱码问题，让人头皮发麻。
今天工作上遇到了一个比较奇葩的问题，这个问题有多方面的尴尬的原因产生。经过了一天的胡乱猜想，终于在公司大佬的指导下解决这个问题。由于公司的安全保密要求，不能直接用公司代码演示，我在自己的电脑上，把之前写的一个demo改造了一下，复现这个问题。废话少说，直接上代码。
NSI码（American National Standards Institute）
话接上回，继续java IO部分的学习。上一次说完了字节流的读写数据，这次介绍一下字符流的读写数据。
中文乱码问题在我们日常开发中司空见惯，那么乱码问题是如何产生的呢？又怎样去解决乱码问题呢？本文将结合基本概念和例子展开阐述，希望大家有收获。
JSP中文乱码的产生原因及解决方案在JSP的开发过程中，经常出现中文乱码的问题，可能一直困扰着大家，现在把JSP开发中遇到的中文乱码的问题及解决办法写出来供大家参考。首先需要了解一下Java中文问题的由来： Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，Java和JSP文件本身编译时产生的乱码问题和Java程序于其他媒介交互产生的乱码问题。首先Java（包括JSP）源文件中很可能包含有中文，而Java和JSP源文
Post@https://ryan-miao.github.io 测试代码https://github.com/Ryan-Miao/someTest/commit/50241e50d4b6ecdb8820e58f4cb9628bfb7d77ec 背景 还是多语言, 在项目中遇到本地环境和服务端环境不一致乱码的情形。因此需要搞清楚乱码产生的过程，来分析原因。 获取多语言代码如下： private Map<String, String> getLocalizationContent(Locale locale
由于工作和学习需要在Windows7上使用Securecrt操作Linux（Red Hat Enterprise Linux 5）。一看汉字是乱码。Google一下。基本上是两个方面考虑解决问题：
本次测试是基于python 2.7.12 OS:Ubuntu16.04 pycharm环境，以及win7下2.7.12;
1.1 流程控制之for循环 1.2 开发工具IDE 1.2.1 为何要用IDE 很多语言都有比较流行的开发工具，比如JAVA 的Eclipse, C#,C++的VisualStudio, Python的是啥呢？ Pycharm，最好的Python 开发IDE 1.2.3 创建目录 你以后写的项目可能有成百上千个代码文件 ，全放在一起可不好，所以一般把同样功能的代码放在一个目录，我们现在以天为单位，为每天的学习创建一个目录day1,day2,day3...这样 1.2.4 创建代码文件
在日常的红队攻防比赛、渗透测试项目中，如果遇到Web表单登录入口，一般都会尝试用burpsuite进行猜解尝试，得到可用的账号密码。但是经常会遇到枚举不到可用的用户名的情况，于是就诞生了这款工具。
常见的和编码相关的几个关键词: ASCII Unicode UTF-6,UTF-16,UTF-32 GBK ISO 下面开始一个一个的解释: ASCII码 计算机中所有的信息都是以二进制的形式存在的. 早先美国人发明了计算机,为了用计算机表示他们美国人可以看懂的信息,就将26个英文字母以及一些常用字符用二进制代码表示. 二进制代码和对应的英语字符的关系被规定为ASCII码. ASCII码一共规定了128个字符的编码. 这128个符号(包括32个不能打印出来的控制符号),只占用了一个字节的后面7位
大家好，又见面了，我是你们的朋友全栈君。 字符乱码的事，估计大家都遇到过，很烦，什么utf-8、GBK、GB2312转来转去，不知道什么时候才能转正常。我们做个试验，如果你是windows系统，打开记事本，新建一个文件，输入”联通”两个字之后，保存，关闭，然后再次打开，出现了什么现象？乱码！那你赶紧去找IT吧，你中招了！开玩笑的，这是著名的“windows联通之谜事件”。继续往下看，后面会有谜底的解释。那么我们就讨论下字符编码哪些事吧，首先我们看几个真实遇到的乱码的故障实例。
Java 的 I/O 操作类在包 java.io 下，大概有将近 80 个类，但是这些类大概可以分成四组，分别是：
ASCII,ISO-8859-1,GB2312,GNBK,UTF-8,UTF-16等
【引自程序犹如人生的博客】为什么说乱码是中国程序员无法避免的话题呢？这个首先要从编码机制上说起，大家都是中文和英文的编码格式不是一样，解码也是不一样的！如果中国的程序员不会遇到乱码，那么只有使用汉语编程。汉语编程是怎么回事，我也不大清楚，应该是前年吧！我一朋友给我介绍汉语编程，怎么不错不错？当时因为学习忙没去关注这个，等我闲了，那个朋友不弄这个，问他，他也不说不大清楚，最后自己对这个学习也不了了之了。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
为什么说乱码是中国程序员无法避免的话题呢？这个首先要从编码机制上说起，大家都是中文和英文的编码格式不是一样，解码也是不一样的！如果中国的程序员不会遇到乱码，那么只有使用汉语编程。汉语编程是怎么回事我也不大清楚，应该是前年吧，我一朋友给我介绍汉语编程，怎么不错不错？当时因为学习忙没去关注这个，等我闲了，那个朋友不弄这个，问他他也不说不大清楚，最后自己对这个学习也不了了之了。
从Java转到C++后,对于它的字符串处理能力抱怨了好久 这不,非Unicode下对字符串进行截取有时会出现乱码,因为把一个汉字是两个字节,如果拆开了就显示不正确了
计算机由美国人发明，最早的字符编码为ASCII，只规定了英文字母数字和一些特殊字符与数字的对应关系。最多只能用 8 位来表示（一个字节），即：2**8 = 256，所以，ASCII码最多只能表示 256 个符号
答：乱码的问题的根源主要是两个：字符集不支持复杂汉字、二进制进行转化时字符集不匹配，所以在 String 乱码时我们可以这么做：
之前做一个POC的时候，Vicky同学遇到一个关于编码的问题，问到我，我觉得当时没有解释得很清楚，于是决定查阅相关的资料文档，写一篇文章，记录这个问题及对背后的原因、原理的理解。
一直以为，java中任意unicode字符串，可以使用任意字符集转为byte[]再转回来，只要不抛出异常就不会丢失数据，事实证明这是错的。
H7-TOOL所有资源汇总（含操作手册）： http://www.armbbs.cn/forum.php?mod=viewthread&tid=89934 PC机软件：升级PC软件到V2.1.5 h7
！！！Java要转换字符编码：就一个String.getBytes("charsetName")解决，返回的字节数组已经是新编码的了~~至于后边是new String组装还是网络发送，就再处理了。 1 try { 2 String test = "一"; 3 System.out.println(System.getProperty("file.encoding"));// java默认编码是UTF-8 4 System
从Java转到C++后,对于它的字符串处理能力抱怨了好久 这不,非Unicode下对字符串进行截取有时会出现乱码,因为把一个汉字是两个字节,如果拆开了就显示不正确了 IsDBCSLeadByte The IsDBCSLeadByte function uses the ANSI code page to determine whether a specified byte is potentially a lead byte that is, the first byte of a two-b
-多年互联网运维工作经验，曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维，曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台（功能如下）： 1)整合了各个公有云API，自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机，连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
源于GBK字符集和Unicode字符集之间的转换问题。Unicode和老编码体系的转化过程中，肯定有一些字，用Unicode是没法表示的，Unicode官方用了一个占位符来表示这些文字，这就是：U+FFFD REPLACEMENT CHARACTER。那么U+FFFD的UTF-8编码出来，恰好是 ‘\xef\xbf\xbd’。如果这个’\xef\xbf\xbd’，重复多次，例如 ‘\xef\xbf\xbd\xef\xbf\xbd’，然后放到GBK/CP936/GB2312/GB18030的环境中显示的话，一个汉字2个字节，最终的结果就是：锟斤拷——锟(0xEFBF)，斤（0xBDEF），拷（0xBFBD）。
之前的博客梳理了基本的字节流和字符流：Java字节流和字符流详解，本文主要讲基于基础的字节字符流做转换编码的转换流。
如果你不知道用什么字符集，用 UTF-8，如果没有强制要求，也用 UTF-8，相信我，没错的。
答：我们能够了解到，我们人类能够理解的是字符的高等标识符，计算机智能识别类似于0和1组成的标识符，那么我们人类和计算机沟通，一定需要某种媒介来支持，来进行两种标识符的相互转换。例如：
我们知道，在计算机内部，所有的信息都是以二进制形式进行存储。无论是字符，或是视频音频文件，最终都会对应到一串由 0 和 1 构成的数字串。所以从我们能看懂的人类信息转变为机器级别的二进制语言的过程就可以理解为一种编码的过程，自然，相反的过程就是所谓的解码的过程。
话说六年级二班有小明、小红两位同学，最近班上开了英语课，学着学着有些无聊，这时候小明想给小红传纸条，但是又担心被发现，突然小明灵机一动，在草纸上写下了一串数字12 9 11 5 21，然后就传给了小红，小红看了一眼莫名其妙，这时候小明冲着小红指了指自己英语书后面的字母表，小红看了几眼字母表，顿时明白过来，原来字母表上面有编号，小红按照编号，将这一串数字转换出来，得到的是like u，羞得小红脸色发红，这可真成了“小红”……
一，复习： ''' 1，深浅拷贝 ls = [1,'a',[10]] 值拷贝：直接赋值 ls1 = ls，ls中的任何值发生改变，ls1也随之发生改变 浅拷贝：通过copy()方法 ls2 = ls.copy()，ls中存放的值的地址没有改变, 但内部的值发生改变，ls2会随之改变 -- ls = [1, 'a', [10]] => [1, 'a', [100]] = ls2 深拷贝：通过deepcopy()方法 ls3 = deepcopy(ls)，ls中存放的值发生任何
这个问题是因为JAVA编码方式转换出现了问题，Java中默认的编码方式是UNICODE，而中国人通常使用的文件和DB都是基于GB2312或者BIG5等编码，故会出现此问题。我知道一定有很多朋友也会碰到这个问题，所以特就总结了一下，来拿出来让大家一起分享了。自己也做个备忘。
前言 曾几何时 Python 中文乱码的问题困扰了我很多很多年，每次出现中文乱码都要去网上搜索答案，虽然解决了当时遇到的问题但下次出现乱码的时候又会懵逼，究其原因还是知其然不知其所以然。现在有的小伙伴为了躲避中文乱码的问题甚至代码中不使用中文，注释和提示都用英文，我曾经也这样干过，但这并不是解决问题，而是逃避问题，今天我们一起彻底解决 Python 中文乱码的问题。
python 2.x默认的字符编码是ASCII，默认的文件编码也是ASCII。
2.内存和硬盘： 内存：计算机硬件组成部分之一，它是一个容器，用来存储数据；处理数据速度快， 存储数据量小；断电死机数据会丢失，短暂性存储数据 硬盘：计算机硬件组成部分之一，它是一个容器，用来存储数据；处理数据速度慢， 存储数据量大，断电死机数据不会丢失，数据的持久存储 3.字节和字符 字节：计算机的存储数据的单位，底层唯一能够识别并且运算的数据 字符：人类将字节封装为另一种能直接识别的数据单位，底层还是字节 4.如何区分字节文件和字符文件 如果使用文本编辑器打开能看得懂(不会乱码)那它就是一个字符文件， 反之，它是一个字节文件 提问：常见的字节文件和字符文件有哪些？(枚举出一些) 字节文件：图片文件(.jpg、.png...)、视频文件(.avi、.mp4、.rmb...)、音频文件(.mp3...) 字符文件：.txt、.py、.java、.js、.html、.css、.php... 思考：.doc结尾的文件是字节还是字符文件？ 是字节文件，因为.doc结尾的文件中既可以包含字符内容，也可以包含图片、颜色设置...操作 思考：计算机数据层面，一切皆字节，对不对？ 对的；因为计算机底层唯一能够识别和运算的都是字节数据... 5.字符编码(字符集) ascii码表：U.S.A设计出来的，范围非常小；不包含很多国家的文字，英文字符占用内存1个字节 utf-8码表：现今比较通用的一张编码表，包含了世界上所有的文字内容，范围：0~65535之间， 1个汉字占用内存3个字节，1个英文字符占用内存1个字节 gbk码表：gbk属于gb2312的扩充版，兼容了gb2312中的所有字符，加入更多的一些汉字内容, 1个汉字占用内存2个字节，1个英文字符占用内存1个字节， 在我们中国环境下，大多数情况默认的都是gbk作为编码 6.编码和解码： 编码：让数据从看的懂到看不懂，就是编码 解码：让数据从看不懂到看得懂，就是解码 【注意】 编码和解码如果不一致会怎么样？ 1).会出现乱码现象 2).会报错 不管是上述的1还是2都是不理想的结果，我们都需要避免 字符串的两个函数引入： encode(encoding,errors)：对字符串数据进行编码操作，得到一个bytes类型的数据 decode(encoding,errors)：对字符串数据进行解码操作，得到一个str类型的数据 演示eccode()和decode()函数的使用：
Unicode（统一码、万国码、单一码）是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发，1994年正式公布。 因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte）。一个字节能表示的最大的整数就是255（2^8-1=255），而ASCII编码，占用0 - 127用来表示大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码，比如大写字母A的编码是65，小写字母z的编码是122。 如果要表示中文，显然一个字节是不够的，至少需要两个字节，而且还不能和ASCII编码冲突，所以，中国制定了GB2312编码，用来把中文编进去。 类似的，日文和韩文等其他语言也有这个问题。为了统一所有文字的编码，Unicode应运而生。Unicode把所有语言都统一到一套编码里，这样就不会再有乱码问题了。
在XX项目中解决android webkit处理汉字编码问题的总结 1.问题： 服务器通过302重定向方式发送给客户端重定向地址，地址中的汉字采用原数据方式发送，没有经过任何编码。因为其中存在汉字，所
一.背景 在日常Ulink活动跟进过程中，有时活动页面打开的时候会遇到乱码的情况（如下图所示），于是就想乱码到底是怎么产生的，遇到乱码的情况应该怎么去解决，带着这些问题，我去查阅了相关的资料，在这里整理成文章分享给大家，希望对大家有所帮助。 二.乱码产生的原因 我们都知道，计算机是只认识0和1的二进制数的，所以不管是字母，汉字，或者符号，都是以某种编码方式转换成二进制数据存放在计算机中，需要显示的时候，就用相同的编码方式把二进制数据解码出来就可以了。那么这就很好理解乱码的产生了，如果我们用A编码方式将
这是因为JAVA中默认的编码方式是UNICODE，而中国人通常使用的文件和DB都是基于GB2312或者BIG5等编码，故会出现此问题。
这个是刚入职同事遇到的问题，问题是这样的，他周末在熟悉项目框架代码时，执行程序时发现浏览器打开JSP文件看到的中文是乱码。
在开发过程中经常会遇到一会乱码问题，不是什么大问题，但是也挺烦人的，今天来将我们开发总结的经验记录下来，希望可以给大家一些帮助。
中文系统bgk 回忆上次内容 汉字字形通过 点阵式打字机像素级寻址的屏幕进入了计算机的世界添加图片注释，不超过 140 字（可选）在海峡对岸的台湾同胞 也进入了汉字时代他们会使用GB2312编码吗？ 能互通吗？🤔中国台湾 BIG5 码 是由 5 个公司联合制作的收录次序 取决于 频率 然后是 笔画数然后是 康熙字典同时用 BIG5 编码和解码也是没有问题的 但如果用BIG5编码却用gb2312解码就会有问题添加图片注释，不超过 140 字（可选）不过存储的内容在文件里 系统不知道用
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
