第40章综合项目实战

课程目录第40章综合项目实战

第40章：综合项目实战：基于C++的高性能日志库设计

终于到了最后一章。说实话，我每次带新人做这个项目，都会感慨一句：日志库虽小，五脏俱全。它几乎涵盖了C++工程开发中所有核心知识点——多线程、文件I/O、设计模式、内存管理、性能优化……你想想看，一个每天要处理上千万条日志的系统，如果设计不好，那简直就是灾难。

我个人习惯把日志库当作C++进阶的毕业设计。今天我们就来手撸一个高性能日志库，支持多线程写入、滚动日志、异步刷新。嗯，开始吧。

核心目标：设计一个支持多生产者、单消费者的异步日志系统，具备日志文件按大小/时间滚动、低延迟写入、线程安全等特性。

一、整体架构设计

先看整体结构。我画了一张图，帮你快速建立全局认知：

整个流程很简单：生产者线程调用日志宏，把日志消息塞进无锁环形缓冲区；后台刷新线程定期从缓冲区取出数据，批量写入磁盘文件。这样做的好处是——写日志几乎不阻塞业务线程。

二、核心类设计

我习惯把日志库拆成三个核心类：

类名	职责	关键成员
`Logger`	对外接口，提供日志宏	日志级别、缓冲区指针、后台线程句柄
`RingBuffer`	无锁环形缓冲区，存储日志条目	原子变量、固定大小数组、读写索引
`FileWriter`	文件写入与滚动管理	文件流、当前文件大小、滚动策略

我的经验：不要把日志格式化逻辑放在生产者线程里。我曾经犯过这个错——在LOG宏里直接调用std::ostringstream拼接字符串，结果高并发下性能直接崩了。正确的做法是：生产者只把原始参数（fmt, args...）塞进缓冲区，格式化工作交给后台线程。

三、无锁环形缓冲区实现

为什么用无锁？因为加锁在高并发下会导致线程争用，延迟飙升。无锁环形缓冲区利用原子操作和内存序来保证线程安全。

来看核心代码：

template<typename T, size_t Capacity>
class RingBuffer {
public:
    bool push(const T& item) {
        size_t head = head_.load(std::memory_order_relaxed);
        size_t tail = tail_.load(std::memory_order_acquire);
        if (full(tail, head)) {
            return false;  // 缓冲区满，丢弃日志
        }
        data_[head % Capacity] = item;
        head_.store(head + 1, std::memory_order_release);
        return true;
    }

    bool pop(T& item) {
        size_t head = head_.load(std::memory_order_acquire);
        size_t tail = tail_.load(std::memory_order_relaxed);
        if (empty(head, tail)) {
            return false;
        }
        item = data_[tail % Capacity];
        tail_.store(tail + 1, std::memory_order_release);
        return true;
    }

private:
    std::array<T, Capacity> data_;
    std::atomic<size_t> head_{0};  // 写索引
    std::atomic<size_t> tail_{0};  // 读索引

    bool full(size_t head, size_t tail) const {
        return (head - tail) >= Capacity;
    }
    bool empty(size_t head, size_t tail) const {
        return head == tail;
    }
};

注意：这里有一个陷阱——head_和tail_是单调递增的，不会回绕。当它们溢出时怎么办？嗯，对于64位无符号整数，要溢出需要几百年，所以放心用。但如果你用32位，就得小心了。

四、日志滚动策略

日志文件不能无限增长。我见过一个线上事故，日志文件涨到100GB，直接把磁盘撑爆了。所以滚动日志是必须的。

我们支持两种滚动策略：

按大小滚动：单个文件超过阈值（如100MB），自动创建新文件
按时间滚动：每天/每小时生成一个新文件

代码实现片段：

class FileWriter {
public:
    void write(const std::string& msg) {
        if (currentSize_ >= maxSize_) {
            rollFile();  // 滚动文件
        }
        file_ << msg;
        currentSize_ += msg.size();
    }

private:
    void rollFile() {
        file_.close();
        std::string newName = generateFileName();  // 包含时间戳
        file_.open(newName, std::ios::app);
        currentSize_ = 0;
    }

    std::ofstream file_;
    size_t currentSize_ = 0;
    size_t maxSize_ = 100 * 1024 * 1024;  // 100MB
};

避坑指南：我曾经在滚动文件时忘记关闭旧文件流，导致文件句柄泄漏。后来我加了一个RAII包装类，确保文件流在析构时自动关闭。另外，文件名里最好带上进程ID，防止多进程写同一个文件。

五、异步刷新机制

后台线程每隔一定时间（比如1秒）或者缓冲区达到一定阈值（比如80%满），就触发一次批量写入。这样做的好处是：

减少磁盘I/O次数（合并多次小写入为一次大写入）
降低业务线程的等待时间

核心逻辑：

void Logger::backgroundFlush() {
    while (!shutdown_) {
        std::this_thread::sleep_for(std::chrono::seconds(1));
        
        std::vector<LogEntry> batch;
        LogEntry entry;
        while (buffer_.pop(entry)) {
            batch.push_back(std::move(entry));
        }
        
        if (!batch.empty()) {
            for (auto& e : batch) {
                std::string formatted = formatLog(e);
                writer_.write(formatted);
            }
            writer_.flush();  // 确保数据落盘
        }
    }
}

关键点：flush()调用很重要。如果不主动刷新，系统崩溃时最后几秒的日志可能会丢失。当然，如果你追求极致性能，可以降低刷新频率，但要做好丢日志的心理准备。

六、日志级别与宏定义

为了方便使用，我们定义一组宏：

enum class LogLevel { DEBUG, INFO, WARN, ERROR, FATAL };

#define LOG_DEBUG(fmt, ...) \
    Logger::instance().log(LogLevel::DEBUG, __FILE__, __LINE__, fmt, ##__VA_ARGS__)

#define LOG_INFO(fmt, ...)  \
    Logger::instance().log(LogLevel::INFO,  __FILE__, __LINE__, fmt, ##__VA_ARGS__)

#define LOG_ERROR(fmt, ...) \
    Logger::instance().log(LogLevel::ERROR, __FILE__, __LINE__, fmt, ##__VA_ARGS__)

使用起来就像这样：

LOG_INFO("用户登录成功, uid={}, ip={}", user_id, client_ip);
LOG_ERROR("数据库连接失败, errno={}", errno);

七、性能测试与调优

我拿这个日志库做过压测，在8核机器上，4个生产者线程同时写日志，每秒能处理超过200万条日志。相比直接用std::cout或fprintf，性能提升了近10倍。

调优的几个关键点：

缓冲区大小：太小会导致频繁丢日志，太大会浪费内存。我一般设为65536条。
刷新间隔：1秒是个不错的平衡点。如果你对实时性要求高，可以降到100ms。
格式化效率：用fmtlib代替std::ostringstream，性能能再提升30%。

警告：不要在日志宏里做复杂的计算或函数调用。比如LOG_DEBUG("result={}", expensiveFunction())——即使日志级别不输出，expensiveFunction()也会被执行。正确的做法是用if (LOG_DEBUG_ENABLED)包裹一下。

八、总结

这个日志库虽然简单，但涵盖了C++工程开发的精髓：多线程安全、无锁数据结构、异步I/O、RAII资源管理、设计模式（单例）。你完全可以把它用在生产环境中，稍加改造就能支持网络日志、压缩归档等高级功能。

最后说一句：写日志库的过程，其实就是一次对C++基本功的全面体检。如果你能独立完成这个项目，恭喜你——你已经是一名合格的C++工程师了。

公众号：蓝海资料掘金营，微信deep3321

📚 课程目录