字符编码ASCII ANSI DBCS MBCS GB2312 GBK GB18030 UTF-8 UTF-16 Unicode emoji

字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。

内码是指操作系统内部的字符编码。早期操作系统的内码是与语言相关的。现在的Windows在系统内部支持Unicode，然后用代码页（code page）适应各种语言。微软一般将缺省代码页指定的编码说成是内码。

EBCDIC (Extended binary coded decimal interchange code)

IBM于1963-1964年间推出的字符编码表，根据早期打孔机式的二进化十进数（BCD）排列而成。

EBCDIC编码的英文字母不是连续排列的，中间出现了多次断续，给编程带来了一些困难。

ASCII（American standard code for iInformation interchange）

计算机是美国人发明的，他们首先要考虑的问题是，如何将二进制和英文字母（拉丁文）对应起来。ASCII编码是美国人给自己设计的。ASCII 的标准版本于1967年第一次发布，最后一次更新则是在1986 年，迄今为止共收录了128个字符。

在ASCII编码中，大写字母、小写字母和阿拉伯数字都是连续分布的，这给程序设计带来了很大的方便。ASCII编码已经成了计算机的通用标准，没有人再使用EBCDIC了，它已经消失在历史的长河中了。

ANSI、DBCS（Double-byte character set）、MBCS（Muilti-bytes）

为了扩充ASCII编码，以用于显示本国的语言，不同的国家和地区制定了不同的标准，由此产生了 GB2312、GBK、Big5（中文繁体）、Shift_JIS（日文）等各自的编码标准。这些使用2个字节来代表一个字符的各种汉字延伸编码方式，称为ANSI编码，又称为DBCS或MBCS。

ANSI通常使用 0x00~0x7F范围的1个字节来表示1个英文字符。超出此范围的使用0x80~0xFFFF来编码，即扩展的ASCII编码。

国标码

GB2312也是ANSI编码里的一种，对ANSI编码最初始的ASCII编码进行扩充，为了满足国内在计算机中使用汉字的需要，中国国家标准总局发布了一系列的汉字字符集国家标准编码，统称为GB码/国标码。其中最有影响的是于1980年发布的《信息交换用汉字编码字符集 基本集》，标准号为GB 2312-1980,因其使用非常普遍，也常被通称为国标码。GB2312编码通行于我国内地；新加坡等地也采用此编码。几乎所有的中文系统和国际化的软件都支持GB 2312。

GB2312一共收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。

GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。

GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符。

2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。

GB18030的编码采用单字节、双字节和4字节方案。其中单字节、双字节和GBK是完全兼容的。4字节编码的码位就是收录了CJK（中日韩）扩展A的6582个汉字（Unicode码0x3400-0x4db5）。GB18030一共收录了27484个汉字。

Unicode为了节省码位，将中日韩三国语言中的文字统一编码。GB13000.1（20902个汉字）就是ISO/IEC 10646-1的中文版，相当于Unicode 1.1。

Unicode

Unicode 10.0添加8518个字符，总136690字符。

Unicode，是统一码联盟（）为了世界上大多数文字系统进行整理和编码。

ISO组织也在做同样的事情，开展了 ISO/IEC 10646项目，叫UCS（Universal Coded Character Set）。

在1991年前后，双方都认识到世界不需要两个不兼容的字符集。于是它们开始合并双方的工作成果，并为创立一个单一编码表而协同工作。从Unicode2.0开始，Unicode项目采用了与ISO 10646-1相同的字库和字码。

目前两个项目仍都存在，并独立地公布各自的标准。

Unicode只是规定如何编码，并没有规定如何传输、保存这个编码。UTF-8、UTF-7、UTF-16都是被广泛接受的方案。UTF是“Unicode Transformation Format”的缩写。

UTF-8就是以8位为单元对Unicode进行编码。UTF-8对英文使用8位（一个字节），中文使用24为（三个字节）来编码。UTF-8的一个特别的好处是它与ISO-8859-1完全兼容。ISO-8859-1编码是单字节编码，向下兼容ASCII。

UTF-16BE/LE：UTF-16就是Windows模式的编码模式，用2个字节表示任意字符，注意：英文字符也占2个字节，这种编码可以表示65536个字符。

字节序

big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时，究竟是将6C写在前面，还是将49写在前面？如果将6C写在前面，就是big endian。如果将49写在前面，就是little endian。

“endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头（Big-Endian）敲开还是从小头（Little-Endian）敲开，由此曾发生过六次叛乱，一个皇帝送了命，另一个丢了王位。

我们一般将endian翻译成“字节序”，将big endian和little endian称作“大尾”和“小尾”。

对于任何字符编码，编码单元的顺序是由编码方案指定的，与endian无关。例如GBK的编码单元是字节，用两个字节表示一个汉字。这两个字节的顺序是固定的，不受CPU字节序的影响。UTF-16的编码单元是word（双字节），word之间的顺序是编码方案指定的，word内部的字节排列才会受到endian的影响。

UTF-16BE/LE：至于LE和BE，就是一个数值在内存/磁盘上的保存方式，比如一个编码0x8182，在磁盘上应该是0x81 0x82呢？还是0x82 0x81呢？就是高位是最先保存还是最后保存的问题，前者为BE，后者为LE。

BOM

Unicode规范中推荐的标记字节顺序的方法是BOM（Byte order Mark）。" EF BB BF" 这三个字节就叫BOM。

UTF-8以字节为编码单元，没有字节序的问题。UTF-8允许含BOM，但通常不含BOM。UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明编码方式。Windows就是使用BOM来标记文本文件的编码方式的。

BOM在UTF-16中用来表示高低字节序列的。在字节流之前有BOM表示采用低字节序列（低字节在前面）。

表情符号（英语：emoji，日语：絵文字／えもじ）

早先由日本企业发明，日文将其称为“絵文字”。后来随着智能手机的推广，全世界都在用，于是被Unicode收编了。截至Unicode 10.0，共有1144个emoji被收录。