12、国际化与本地化：字符编码与宽字符处理
说到国际化，我第一个想到的就是字符编码。早年我在做嵌入式项目时，产品要卖到日本去，结果日文字符在屏幕上全是乱码。那会儿我才真正意识到——字符编码这事儿，搞不好就是灾难。
今天咱们就聊聊C语言里怎么处理多语言字符。说白了，就是怎么让程序能看懂中文、日文、阿拉伯文这些非英文字符。
12.1 字符编码的前世今生
计算机只认识0和1。要让计算机显示文字，就得给每个字符编个号。这个编号方案，就是字符编码。
12.1.1 ASCII：老祖宗
ASCII是最早的编码标准，用7个bit表示一个字符。一共128个，够用吗？
够用才怪。它只覆盖了英文字母、数字和几个标点符号。你想想看，中文汉字少说也有几万个，ASCII根本装不下。
ASCII编码示例
'A' = 0x41 = 65
'a' = 0x61 = 97
'0' = 0x30 = 48
'\n' = 0x0A = 10我刚开始学C语言时，以为字符就是char，一个字节搞定一切。后来才知道，这想法太天真了。
12.1.2 UTF-8：当今主流
UTF-8是目前互联网上最流行的编码方式。它的设计很巧妙：
- 兼容ASCII：英文字符还是1个字节
- 变长编码：一个字符占1到4个字节
- 无字节序问题：不用操心大端小端
UTF-8的编码规则其实不复杂：
| 字节数 | 编码格式 | 可表示范围 |
|---|---|---|
| 1字节 | 0xxxxxxx | U+0000 ~ U+007F |
| 2字节 | 110xxxxx 10xxxxxx | U+0080 ~ U+07FF |
| 3字节 | 1110xxxx 10xxxxxx 10xxxxxx | U+0800 ~ U+FFFF |
| 4字节 | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx | U+10000 ~ U+10FFFF |
举个例子，汉字「中」的Unicode码点是U+4E2D，用UTF-8编码就是3个字节：E4 B8 AD。
我的建议：新项目一律用UTF-8。跨平台兼容性最好，Linux和macOS原生支持，Windows也逐步跟上来了。
12.1.3 UTF-16：Windows的偏爱
UTF-16用2个或4个字节表示一个字符。大部分常用字符（包括中文）都在基本多语言平面内，用2个字节就够了。
但UTF-16有个坑——字节序。大端还是小端？Windows用UTF-16 LE，Java用UTF-16 BE。跨平台时经常出问题。
注意：我曾经在Linux上解析一个Windows生成的UTF-16文件，结果全是乱码。折腾了半天才发现是字节序问题。后来我养成了习惯：处理UTF-16时，先检查BOM（Byte Order Mark）。
12.2 宽字符处理：wchar_t
C语言标准库提供了wchar_t类型，用来处理宽字符。说白了，就是一个字符可能占多个字节，用普通的char根本搞不定。
12.2.1 wchar_t的基本用法
#include <wchar.h>
#include <locale.h>
int main() {
// 设置本地化环境
setlocale(LC_ALL, "");
// 宽字符字符串
wchar_t wstr[] = L"你好，世界！";
// 宽字符输出
wprintf(L"%ls\n", wstr);
// 宽字符长度
size_t len = wcslen(wstr);
wprintf(L"字符串长度：%zu\n", len);
return 0;
}这里有几个关键点：
- 宽字符常量用L前缀：L'A'、L"字符串"
- 宽字符函数以wcs开头：wcslen、wcscpy、wcscmp
- 宽字符输出用wprintf
重要：使用宽字符前，一定要调用setlocale。否则wprintf可能输出乱码。我见过太多人栽在这个坑里。
12.2.2 wchar_t的跨平台陷阱
嗯，这里要注意。wchar_t在不同平台上的大小不一样：
| 平台 | wchar_t大小 | 编码方式 |
|---|---|---|
| Windows | 2字节 | UTF-16 LE |
| Linux | 4字节 | UTF-32 |
| macOS | 4字节 | UTF-32 |
为什么会这样？历史原因。Windows从Windows NT开始就用UTF-16，而Unix系选择了UTF-32。这就导致了一个问题：你在Windows上写的宽字符代码，拿到Linux上可能就炸了。
避坑指南：我曾经写过一个跨平台文本编辑器，在Windows上好好的，移植到Linux上宽字符全乱了。后来我改用UTF-8 + char*，反而省心多了。
12.3 实战：字符编码转换
实际项目中，经常需要在不同编码之间转换。C标准库提供了mbstowcs和wcstombs函数：
#include <stdlib.h>
#include <locale.h>
int main() {
setlocale(LC_ALL, "en_US.UTF-8");
// 多字节字符串（UTF-8）
const char *mbstr = "你好";
// 计算宽字符所需长度
size_t len = mbstowcs(NULL, mbstr, 0);
// 分配宽字符缓冲区
wchar_t *wcstr = malloc((len + 1) * sizeof(wchar_t));
// 转换
mbstowcs(wcstr, mbstr, len + 1);
wprintf(L"宽字符：%ls\n", wcstr);
free(wcstr);
return 0;
}我个人习惯用iconv库做编码转换，它支持更多编码格式，而且跨平台：
#include <iconv.h>
// UTF-8 转 UTF-16
int utf8_to_utf16(const char *in, size_t inlen,
char *out, size_t *outlen) {
iconv_t cd = iconv_open("UTF-16LE", "UTF-8");
if (cd == (iconv_t)-1) {
return -1;
}
char *pin = (char*)in;
char *pout = out;
size_t ret = iconv(cd, &pin, &inlen,
&pout, outlen);
iconv_close(cd);
return ret;
}12.4 知识体系总览
下面这张图总结了本章的核心内容：
12.5 我的经验总结
做了这么多年跨平台开发，关于字符编码我有几条铁律：
- 内部统一用UTF-8：不管是Linux还是Windows，UTF-8都是最省心的选择
- 外部接口做好转换：跟系统API打交道时，该转UTF-16就转，别硬撑
- 测试要覆盖多语言：中文、日文、阿拉伯文，每种语言都可能暴露问题
- 别迷信wchar_t：它跨平台不友好，能用char*就用char*
小技巧：如果你在Windows上用Visual Studio，记得在项目属性里把字符集设为「使用多字节字符集」。这样就能直接用char*处理UTF-8了，省去很多麻烦。
字符编码这事儿，说白了就是个约定。大家约好用同一种编码，世界就太平了。可惜现实是，各种编码并存，我们开发者只能做好万全准备。
嗯，今天就聊到这儿。记住一句话：编码问题，早发现早解决。等产品上线了再发现乱码，那可就真抓瞎了。
公众号:蓝海资料掘金营，微信deep3321