UTF-8 不需要 BOM，尽管 Unicode 标准允许在 UTF-8 中使用 BOM。 所以不含 BOM 的 UTF-8 才是标准形式，在 UTF-8 文件中放置 BOM 主要是微软的习惯（顺便提一下：把带有 BOM 的小端序 UTF-16 称作「Unicode」而又不详细说明，这也是微软的习惯）。 BOM（byte order mark）是为 UTF-16 和 UTF-32 准备的，用于标记字节序（byte order）。微软在 UTF-8 中使用 BOM 是因为这样可以把 UTF-8 和 ASCII 等编码明确区分开，但这样的文件在 Windows 之外的操作系统里会带来问题。
转载自：http://blog.csdn.net/dbzhang800/article/details/7540905
版权声明：本文为博主原创文章，转载请注明源地址。 https://blog.csdn.net/10km/article/details/80203286
原文链接：https://blog.csdn.net/humanking7/article/details/81292013
小编前两天在用jmeter测试，使用CSV Data Set Config设置批量参数时，发现源数据文件的第一条数据总是读取失败。一通研究，最后发现原来是UTF-8 BOM惹的祸。
PHP本身不忽略BOM头,但是也不处理BOM头,所以大家曾经都遇到过BOM头的问题
如果使用 StreamWriter 创建的文本，都是默认带 BOM ，如果需要创建一个不带BOM的文件，请看本文。
我们的项目中会包含有很多文件，但是可能我们没有注意到的，我们的文件的编码不一定是utf-8，所以可能在别人电脑运行时出现乱码。最近在做一个项目，这个项目可以把我们的文件夹里的所有文本，判断他们是什么编码，如果不是用户规定的编码，那么就告诉用户，是否要把它规范为设置的编码。
最近在写qt加载样式表的博文，发现qss文件要么打开失败，要么加载成功，但是不生效，经过一番搜索也是算解决了这个问题。
Windows 早期采用多字节编码，的确容易出现乱码问题。随着 Windows 全面转向 Unicode 编码，多语言的支持得到完美解决，出现中文乱码的问题就很少出现。出现乱码问题一般是 GBK 编码的文件当做 utf8 编码打开，或者 utf8编码的文件当做 GBK 编码打开。这种情况也多出现在 Linux 和 Windows 之间交换文件。
Json(javascript object notation)是基于javascript(standard ECMA-262 3rd Edition-December 1999)的一个子集，采用完全独立于语言的文本格式。这种格式的数据在系统间传递体积小，解析也很方便，各种语言都自带解析json格式数据的方法。
最近在做数据的搬运工，将Oracle中的数据搬运到ES中，方案很成熟了，使用Logstash的jdbc-input执行SQL，然后将结果输出到ES中。这么简单的问题，在测试环境中测试也一帆风顺，可一上生产环境傻眼了，始终报“ORA-00911 invalid character”的错误。
在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输字符"ZERO WIDTH NO-BREAK SPACE"。这样如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。
之前的同事写了一个工具，但有bug，就是在替换文件后原文件的格式变成utf8 BOM了，这种带BOM的XML在Mac下可能读取不出来，所以就需要写个工具处理一下…
原文链接：https://www.zhaokeli.com/article/8276.html
2016-07-1123:09:20 发表评论 229℃热度 由于之前用过一段时间Windows调试网站，家里的电脑也是Windows，在折腾网站修改文件的时候碰见过一些非常奇葩、弱智的问题，虽然是好几个月前的事情，但今天突然想起来，所以特地告诉大家，还好我现在已经全部转移到Mac下，都找到替代软件，工作效率大大提升！！说真的，大部分软件开发工作，在Mac下比Windows下工作效率会提升很多倍，可以自行查阅相关资料(顺便说下，今天正式开始iOS深入学习征程，7月11，纪念下)。 其实我很早以前就不用Wi
发现有一列通过get(String columnName)方式获取不到，其他列都可以，而且名称反复核对都OK。
新建位图图像.png by-新凡 软件下载\默认安装 NSIS Edit：打包脚本编辑器 https://nchc.dl.sourceforge.net/project/hmne/HM%20NIS%20Edit/2.0.3/nisedit2.0.3.exe NSIS: 打包通用方案 https://udomain.dl.sourceforge.net/project/nsis/NSIS%203/3.06.1/nsis-3.06.1-setup.exe 使用方式 NSIS EDIT:使用向导创建打包脚本
版权声明：本文为耕耘实录原创文章，各大自媒体平台同步更新。欢迎转载，转载请注明出处，谢谢
仔细观察下，原来该脚本不小心带了bom文件头。检查一个文件是否带bom头，可以如下检查：
源于GBK字符集和Unicode字符集之间的转换问题。Unicode和老编码体系的转化过程中，肯定有一些字，用Unicode是没法表示的，Unicode官方用了一个占位符来表示这些文字，这就是：U+FFFD REPLACEMENT CHARACTER。那么U+FFFD的UTF-8编码出来，恰好是 ‘\xef\xbf\xbd’。如果这个’\xef\xbf\xbd’，重复多次，例如 ‘\xef\xbf\xbd\xef\xbf\xbd’，然后放到GBK/CP936/GB2312/GB18030的环境中显示的话，一个汉字2个字节，最终的结果就是：锟斤拷——锟(0xEFBF)，斤（0xBDEF），拷（0xBFBD）。
接上一篇《安装配置Sftp并通过java访问》,由于我们上传的文件是通过程序生成标准的文件csv格式文件,而乙方是通过人肉的方式把外呼结果汇总之后创建txt文件然后修改后缀的方式变成csv文件,这样会导致我们程序解析的时候遇到一些问题,比如bom文件头问题(他们是windows系统,只有windows系统把txt改成csv会出现bom头问题),导致我们程序解析出错,当然我们作为一个有品德有追求的程序员,肯定不会学他们通过有功的方式去解析,那么接下来就通过程序兼容的方式,解析带bom头的csv文件。
教程不断更新中：http://www.armbbs.cn/forum.php?mod=viewthread&tid=98429 第28章 emWin6.x的C文件格式的汉字生成和实现（Un
BOM即byte order mark，具体含义可百度百科或维基百科，UTF-8文件中放置BOM主要是微软的习惯，但是放在别的系统上会出现问题。不含BOM的UTF-8才是标准形式，UTF-8不需要BOM带BOM的UTF-8文件的开头会有U+FEFF，所以我新建的空文件会有3字节的大小。
运行mvn compile也是报同样的错误。感觉好奇怪啊，仔细看看对应的行没啥问题啊。我用的工具是IntelliJ IDEA 2016.3(64)，同样的代码在Eclipse中是没问题的，Spring Boot正常启动。
如图所示，发现用C#的 File.WriteAllLines 方法，无论怎么设置，最终生成的文件都是 PC utf8，也就是CRLF，用SVN进行提交的时候，显示左侧为utf8，右侧为utf8 BOM文件，甚是蛋疼。
经常在写代码的时候需要处理宽字符，ASCII 字符，在代码中看到 wchar、char 等等。一般都是处理一个方法的时候发现需要的是某字符串，然后这边有什么字符串，之后查一个转换方法。还有对于 Unicode 、ANSI 这些不太分得清，所以花了一点时间看了一看。做个小结。
我们在日常电脑操作中，接触和处理最多的，除了上网，大概就是各种各样的文件了，从本节开始，我们就来探讨文件处理，本节主要介绍文件有关的一些基本概念和常识，Java中处理文件的基本思路和类结构，以及接来下章节的安排思路。 基本概念和常识 二进制思维 为了透彻理解文件，我们首先要有一个二进制思维。所有文件，不论是可执行文件、图片文件、视频文件、Word文件、压缩文件、txt文件，都没什么可神秘的，它们都是以0和1的二进制形式保存的。我们所看到的图片、视频、文本，都是应用程序对这些二进制的解析结果。 作为程序员，我
在咱项目里面，大家是否有关注过文件的编码，一个文件是作为 Ascii 编码保存的，还是作为 GBK 编码保存的，还是 UTF8 编码保存的？不同的编码是否对应用有影响？其实是会有影响的，在 C# 里面的字符串常量等都会受到文件编码的影响。例如我的应用主输出是 UTF8 编码，此时我在二进制可执行文件里面保存的输出字符串的二进制是采用 GBK 编码的内容，在一些用户的设备上也许就会显示出乱码 本文来安利大家一个 dotnet 工具，这个工具可以用来协助大家找到项目里面的编码不规范文件
以Win 10为例，假设当前文件夹中有个ANSI编码的文本文件data.txt，其中包含若干行文本，每行存放一个整数，例如：
在utf-8编码文件中BOM在文件头部，占用三个字节，用来标示该文件属于utf-8编码，现在已经有很多软件识别bom头，但是还有些不能识别bom头，比如PHP就不能识别bom头，这也是用记事本编辑utf-8编码后执行就会出错的原因了。其实UTF-8 的BOM对UFT-8没有作用,是为了支援UTF-16,UTF-32才加上的BOM,BOM签名的意思就是告诉编辑器当前文件采用何种编码,方便编辑器识别,但是BOM虽然在编辑器中不显示,但是会产生输出,就像多了一个空行。
如编译时遇到如下所示的编译错误： ./month_matcher.cpp:1: error: stray ‘\357’ in program ./month_matcher.cpp:1: error: stray ‘\273’ in program ./month_matcher.cpp:1: error: stray ‘\277’ in program 则说明文件为“带BOM头的UTF8”编码格式，相应的解决方法是将文件转换为“不带BOM头的UTF8”编码格式，Notepad++就带有这样的功能：
本文讲的是解决UWP文本GBK打开乱码错误，如何去读取GBK，包括网页GBK。最后本文给出一个方法追加文本。
所谓BOM，全称是Byte Order Mark，它是一个Unicode字符，通常出现在文本的开头，用来标识字节序（Big/Little Endian），除此以外还可以标识编码（UTF-8/16/32），如果出现在文本中间，则解释为zero width no-break space。 注：Unicode相关知识的详细介绍请参考UTF-8, UTF-16, UTF-32 & BOM。 对于UTF-8/16/32而言，它们名字中的8/16/32指的是编码单位是多少位的，也就是说，它们的编码单位分别是8/16/32位，换算成字节就是1/2/4字节，如果是多字节，就要牵扯到字节序，UTF-8以单字节为编码单位，所以不存在字节序。 UTF-8主要的优点是可以兼容ASCII，但如果使用BOM的话，这个好处就荡然无存了，除此以外，BOM的存在还可能引发一些问题，比如下面错误便都有可能是BOM导致的：
ExcellentExport.js的方法，利用base64下载文件。支持chrome ,opera,firefox. 于是决定拿来为我所用！
模板文件生成html文件之后会在body开头处加入一个可见的控制符，导致页面头部会出现一个空白行。原因是页面的编码是UTF-8 + BOM。
摘自：http://www.cnblogs.com/findumars/p/3620078.html
相信很多人在使用PHP的过程中都遇到过生成文件乱码的情况，不论是使用fwrite还是file_put_contents写入。可能你会先尝试从编码入手尝试解决，但最终的结果往往是不理想的，尽管我们都将其转换为了UTF-8编码了…
之前一直使用的hta在开发工具，最近转到node-webkit上了，对比一下二者的优劣势。hta单个文件，体积较小，但有兼容性的问题（兼容ie6、7、8就行了，也还好），node-webkit使用webkit内核，可以直接使用html5、css3的相关特性，比如圆角、渐变等，比较方便，界面炫一些，但在windows下最大的问题就是体积较大。
在游戏开发过程中，经常要用到Excel编辑各类数据，如果可以直接用Excel支持的文件格式来读取数据，修改将非常便捷。
前面我们学完了 pandas 中最重要的两个数据结构： Series 和 DataFrame，今天来侃侃 pandas 读写文件的那些 tricks，我有十足的信心，大家看了定会有所收获。
类似WINDOWS自带的记事本等软件，在保存一个以UTF-8编码的文件时，会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。它是一串隐藏的字符，用于让记事本等编辑器识别这个文件是否以UTF-8编码。对于一般的文件，这样并不会产生什么麻烦。但对于 PHP来说，BOM是个大麻烦。
\ufeff 这是哪来的呢？网上搜索后发现原来是文本保存时包含了BOM（Byte Order Mark，字节顺序标记，出现在文本文件头部，Unicode编码标准中用于标识文件是采用哪种格式的编码）导致的，解决方法是使用 utf-8-sig 编码：
修改 dedeCMS 模板后生成网站发现页面头部莫名出现一条空白行，甚至引起了式样的错乱。查看模版代码并没有任何异常，用 firebug 查看发现问题主要是：模板文件生成 html 文件之后会在 body 开头处加入一个空白子符 ，导致页面头部会出现一个空白行。
A Complete Guide of SAP Variant Configuration SAP变式配置的完整指南
本文章仅用于SAP软件的应用、学习沟通，文中所示的截图来源于SAP软件，相应著作权归SAP公司所有。
在做导入微信商户后台退款数据时，无论怎么设置编码导出来都是乱码，后来在网上找了这个识别文件编码的代码，感觉不错。 最后识别出来是gb2312，看来我还是太渣了，只能吃土了，竟然忘记了这个编码。 下面，上代码。 1 /// 2 /// 用于取得一个文本文件的编码方式(Encoding)。 3 /// 4 public class TxtFileEncoder 5 { 6 pub
项目很多 lua 文件不是 utf-8格式，使用 EditPlus 查看的时候，显示为ASCII。还有的是带BOM的，带BOM倒好处理，之前写过，有一定规律。
在日常开发中，我们经常碰到这样的问题，即有些PHP问题看似简单，一说就明，但是一到使用时就踩坑。比如，下面我所列的几条：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
