26、文件校验实战：计算文件的CRC32或MD5校验值

文件校验，说白了就是给文件算一个「数字指纹」。

你从网上下载了一个大文件，怎么知道它没被篡改过？你拷贝了一份重要数据，怎么确认每个字节都原封不动？这时候就需要 CRC32 或 MD5 上场了。

我个人习惯，在项目交付前，一定会给所有二进制文件算一遍校验值。有一次我帮朋友排查一个固件升级失败的问题，折腾了两天，最后发现是下载过程中文件损坏了——要是早算一下 MD5，十分钟就能定位问题。

校验值是什么？

校验值就是一个固定长度的哈希值。不管你的文件是 1KB 还是 1GB，算出来的 MD5 都是 128 位（32 个十六进制字符），CRC32 则是 32 位（8 个十六进制字符）。

你想想看，只要文件里有一个 bit 变了，算出来的校验值就会完全不同。这就是「雪崩效应」。

算法	输出长度	速度	安全性	典型用途
CRC32	32 bit (4 字节)	极快	低（防随机错误）	网络传输、压缩包校验
MD5	128 bit (16 字节)	快	中（防恶意篡改不够）	文件完整性校验、下载验证

CRC32 的实现思路

CRC32 本质上是多项式除法。听起来很吓人，但实现起来其实就三步：

1. 准备一个 256 项的查找表（查表法加速）
2. 逐字节处理文件内容
3. 最后异或一个固定值（通常是 0xFFFFFFFF）

我曾经在嵌入式项目里手写过 CRC32，因为那个芯片的库函数有 bug。嗯，这里要注意：标准 CRC32 的初始值和最终异或值都是 0xFFFFFFFF，很多人会漏掉这一步。

// CRC32 查表法核心代码（简化版）
uint32_t crc32_table[256];

void crc32_init_table() {
    for (int i = 0; i < 256; i++) {
        uint32_t crc = i;
        for (int j = 0; j < 8; j++) {
            if (crc & 1)
                crc = (crc >> 1) ^ 0xEDB88320;
            else
                crc >>= 1;
        }
        crc32_table[i] = crc;
    }
}

uint32_t crc32_compute(const unsigned char *buf, size_t len) {
    uint32_t crc = 0xFFFFFFFF;
    for (size_t i = 0; i < len; i++) {
        uint8_t index = (crc ^ buf[i]) & 0xFF;
        crc = (crc >> 8) ^ crc32_table[index];
    }
    return crc ^ 0xFFFFFFFF;
}

MD5 的实现思路

MD5 比 CRC32 复杂一些，但核心流程是固定的：

1. 填充原始数据（补位到 512 位的整数倍）
2. 附加原始长度（64 位）
3. 初始化四个 32 位寄存器（A、B、C、D）
4. 每 512 位为一组，进行 64 轮非线性运算
5. 输出 A、B、C、D 的拼接结果

说实话，MD5 的完整实现代码比较长（大概 200 行左右），我不建议你手写。实际项目中直接用 OpenSSL 或系统自带的库就好。

// 使用 OpenSSL 计算 MD5（推荐做法）
#include <openssl/md5.h>

void compute_md5(const char *filepath) {
    unsigned char digest[MD5_DIGEST_LENGTH];
    FILE *fp = fopen(filepath, "rb");
    // ... 读取文件并调用 MD5_Update ...
    MD5(digest);  // 简化示意，实际需分块处理
    
    // 输出十六进制字符串
    for (int i = 0; i < MD5_DIGEST_LENGTH; i++)
        printf("%02x", digest[i]);
}

实战：写一个文件校验工具

我们来写一个完整的 C 程序，支持 CRC32 和 MD5 两种校验方式。这个工具我在项目里用过很多次，尤其是批量验证固件文件时特别好用。

// file_checksum.c - 文件校验工具
#include <stdio.h>
#include <stdint.h>
#include <string.h>

#define BUFFER_SIZE 4096

// CRC32 表（初始化代码略，见上文）
static uint32_t crc32_table[256];
static int table_initialized = 0;

void ensure_table() {
    if (!table_initialized) {
        crc32_init_table();
        table_initialized = 1;
    }
}

uint32_t crc32_file(const char *path) {
    ensure_table();
    FILE *fp = fopen(path, "rb");
    if (!fp) return 0;
    
    uint32_t crc = 0xFFFFFFFF;
    unsigned char buf[BUFFER_SIZE];
    size_t bytes;
    
    while ((bytes = fread(buf, 1, BUFFER_SIZE, fp)) > 0) {
        for (size_t i = 0; i < bytes; i++) {
            uint8_t index = (crc ^ buf[i]) & 0xFF;
            crc = (crc >> 8) ^ crc32_table[index];
        }
    }
    fclose(fp);
    return crc ^ 0xFFFFFFFF;
}

int main(int argc, char *argv[]) {
    if (argc < 3) {
        printf("用法: %s <crc32|md5> <文件名>\n", argv[0]);
        return 1;
    }
    
    if (strcmp(argv[1], "crc32") == 0) {
        uint32_t val = crc32_file(argv[2]);
        printf("CRC32: %08X\n", val);
    } else if (strcmp(argv[1], "md5") == 0) {
        // 实际项目中调用系统 MD5 库
        printf("MD5: 请集成 OpenSSL 或系统库\n");
    }
    return 0;
}

校验流程总览

下面这张图展示了文件校验的完整流程，从打开文件到输出校验值，每一步都很清晰。

避坑指南

做文件校验时，有几个坑我踩过，分享给你：

• 文件打开模式：一定要用 "rb"（二进制模式）。用文本模式的话，Windows 下会做换行符转换，导致校验值不一致。我曾经因为这个排查了整整一个下午。
• 大文件处理：不要一次性 fread 整个文件。我见过有人用 malloc(file_size) 读 2GB 文件，结果 32 位程序直接崩溃。
• 缓冲区大小：4KB 到 64KB 是比较合理的范围。太小了 I/O 次数多，太大了浪费内存。
• 校验值比较：比较时用 memcmp 或逐字符比较，不要用 strcmp——因为校验值可能包含 \0 字节。

嗯，文件校验就讲到这里。CRC32 和 MD5 都是很成熟的技术，实现起来不复杂，但细节决定成败。记住：打开文件用二进制模式、分块读取、查表法加速——做到这三点，你的校验工具就稳了。

---

公众号：蓝海资料掘金营，微信 deep3321