28、国际化与编码：ASCII、UTF-8、GBK。C语言中的字符编码处理。

说到字符编码，我估计不少朋友都踩过坑。记得我刚入行那会儿，写了一个日志模块，在本地测试一切正常，结果部署到客户的Linux服务器上，中文全变成了乱码。排查了半天，才发现是编码问题——本地用GBK，服务器默认UTF-8。从那以后，我对字符编码就格外上心了。

今天咱们就来聊聊C语言里的字符编码处理。说白了，就是搞清楚计算机怎么表示文字，以及我们写代码时该怎么处理这些文字。

28.1 三种编码的来龙去脉

先简单说说这三种编码的定位：

• ASCII：最基础的编码，只用了7个bit，能表示128个字符。英文字母、数字、标点符号都在里面。一个字节就能搞定。
• GBK：咱们中国的国家标准，用来表示中文。一个汉字占两个字节。Windows中文版默认就是GBK。
• UTF-8：国际通用编码，能表示全世界所有字符。英文占1个字节，中文占3个字节。Linux和macOS的默认编码。

你可能会问：为什么要有这么多种编码？嗯，历史原因。ASCII太老了，只能表示英文。后来各国搞自己的编码，中国有GBK，日本有Shift-JIS，互不兼容。再后来为了大一统，才有了UTF-8。

28.2 C语言中的字符与字符串

C语言里，char类型占1个字节。对于ASCII字符，这没问题。但对于GBK或UTF-8的中文，一个字符可能占2个或3个字节。这时候再用char数组，就得小心了。

#include <stdio.h>
#include <string.h>

int main() {
    // ASCII字符串
    char ascii_str[] = "Hello";
    printf("ASCII字符串长度: %zu\n", strlen(ascii_str));  // 输出5
    
    // GBK字符串（假设源文件保存为GBK编码）
    char gbk_str[] = "你好";
    printf("GBK字符串长度: %zu\n", strlen(gbk_str));  // 输出4（每个汉字2字节）
    
    // UTF-8字符串（假设源文件保存为UTF-8编码）
    char utf8_str[] = "你好";
    printf("UTF-8字符串长度: %zu\n", strlen(utf8_str));  // 输出6（每个汉字3字节）
    
    return 0;
}

看到没？同样的"你好"，在不同编码下长度不一样。这就是问题的根源。

28.3 编码转换实战

实际项目中，经常需要在不同编码之间转换。比如从Windows服务器拿到GBK数据，要在Linux上处理。这时候就需要转码。

C语言标准库没有直接提供编码转换函数。我常用的方案有两个：

1. 使用iconv库（Linux/Unix下标配）
2. 自己写转换表（嵌入式场景常用）

这里重点说说iconv的使用：

#include <stdio.h>
#include <iconv.h>
#include <string.h>
#include <errno.h>

int gbk_to_utf8(const char *gbk_str, char *utf8_out, size_t out_len) {
    iconv_t cd = iconv_open("UTF-8", "GBK");
    if (cd == (iconv_t)-1) {
        perror("iconv_open");
        return -1;
    }
    
    char *inbuf = (char *)gbk_str;
    char *outbuf = utf8_out;
    size_t inbytesleft = strlen(gbk_str);
    size_t outbytesleft = out_len;
    
    size_t result = iconv(cd, &inbuf, &inbytesleft, 
                          &outbuf, &outbytesleft);
    if (result == (size_t)-1) {
        perror("iconv");
        iconv_close(cd);
        return -1;
    }
    
    *outbuf = '\0';  // 字符串结束符
    iconv_close(cd);
    return 0;
}

int main() {
    char gbk_input[] = "你好世界";  // 假设这是GBK编码
    char utf8_output[256] = {0};
    
    if (gbk_to_utf8(gbk_input, utf8_output, sizeof(utf8_output)) == 0) {
        printf("转换成功: %s\n", utf8_output);
    } else {
        printf("转换失败\n");
    }
    
    return 0;
}

28.4 编码检测与处理策略

有时候你拿到一段数据，不知道它是什么编码。这时候就需要检测。常用的方法有：

• BOM头检测：UTF-8文件开头可能有EF BB BF三个字节
• 字节模式匹配：UTF-8有特定的字节模式，GBK也有自己的范围
• 第三方库：如libchardet、uchardet等

我个人建议：在项目初期就约定好编码。如果实在无法约定，那就统一转成UTF-8再处理。这样内部逻辑就简单了。

// 简单的UTF-8检测函数（不依赖第三方库）
int is_utf8(const unsigned char *data, size_t len) {
    size_t i = 0;
    while (i < len) {
        if (data[i] < 0x80) {
            // 单字节ASCII字符
            i++;
        } else if ((data[i] & 0xE0) == 0xC0) {
            // 2字节UTF-8
            if (i + 1 >= len || (data[i+1] & 0xC0) != 0x80) return 0;
            i += 2;
        } else if ((data[i] & 0xF0) == 0xE0) {
            // 3字节UTF-8（中文）
            if (i + 2 >= len || (data[i+1] & 0xC0) != 0x80 
                || (data[i+2] & 0xC0) != 0x80) return 0;
            i += 3;
        } else {
            return 0;  // 非法字节
        }
    }
    return 1;
}

28.5 知识体系总览

下面这张图总结了字符编码处理的核心逻辑：

28.6 实战建议

说了这么多，总结几条实用的建议：

• 源文件编码统一：整个项目约定一种编码，我推荐UTF-8 without BOM
• 字符串处理用宽字符：wchar_t类型配合wcslen、wcscpy等函数，能避免很多编码问题
• 边界检查不能省：编码转换时，缓冲区溢出是常见bug，一定要检查返回值
• 日志输出注意编码：如果日志文件要跨平台查看，建议统一用UTF-8

字符编码处理，说白了就是管理好字节和字符之间的映射关系。C语言给了你最大的自由度，但也把责任全交给了你。嗯，多写几个测试用例，多跑几个边界条件，编码问题其实没那么可怕。

---

公众号:蓝海资料掘金营，微信deep3321