第79章 TensorFlow C++

课程目录第79章 TensorFlow C++

第79章：TensorFlow C++：集成TensorFlow C++ API

说实话，TensorFlow 的 C++ API 集成，是我在工业部署中踩坑最多的环节之一。Python 训练模型跑得飞起，一到 C++ 部署就各种链接错误、ABI 不兼容。嗯，今天咱们就把这块硬骨头啃下来。

为什么需要 TensorFlow C++ API？

你想想看，Python 版本的 TensorFlow 虽然开发效率高，但生产环境往往需要 C++ 来承载。原因很简单：

性能要求：C++ 没有 GIL 限制，多线程推理更高效
系统集成：很多嵌入式设备、移动端只支持 C++
资源控制：C++ 能精确管理内存，避免 Python 的 GC 抖动

我在项目中遇到过，Python 推理延迟 20ms，换成 C++ 后直接降到 5ms。这差距，说白了就是 Python 解释器开销和内存管理的代价。

准备工作：编译 TensorFlow C++ 库

这是最坑的一步。TensorFlow 官方没有提供预编译的 C++ 库，你得自己编译。或者用我推荐的方案——使用 TensorFlow C API 的封装。

⚠️ 注意：TensorFlow 的 C++ ABI 兼容性非常脆弱。编译时用的 GCC 版本、C++ 标准库版本都必须和运行时一致。我曾经因为 GCC 7 和 GCC 9 混用，折腾了两天。

我个人习惯用 Bazel 编译 TensorFlow 源码。但如果你不想折腾，可以直接用 libtensorflow_cc.so 的预编译包。这里给出 CMake 集成方案：

# CMakeLists.txt - 集成 TensorFlow C++ API
cmake_minimum_required(VERSION 3.14)
project(TFInference CXX)

set(CMAKE_CXX_STANDARD 14)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# 设置 TensorFlow 路径
set(TENSORFLOW_ROOT "/usr/local/tensorflow" CACHE PATH "TensorFlow installation root")

# 查找 TensorFlow 库
find_library(TENSORFLOW_CC_LIB
    NAMES tensorflow_cc
    PATHS ${TENSORFLOW_ROOT}/lib
    NO_DEFAULT_PATH
)

find_path(TENSORFLOW_INCLUDE_DIR
    NAMES tensorflow/core/public/session.h
    PATHS ${TENSORFLOW_ROOT}/include
    NO_DEFAULT_PATH
)

if(NOT TENSORFLOW_CC_LIB OR NOT TENSORFLOW_INCLUDE_DIR)
    message(FATAL_ERROR "TensorFlow C++ library not found. "
                        "Please set TENSORFLOW_ROOT correctly.")
endif()

# 添加可执行文件
add_executable(tf_inference main.cpp)

target_include_directories(tf_inference PRIVATE ${TENSORFLOW_INCLUDE_DIR})
target_link_libraries(tf_inference PRIVATE ${TENSORFLOW_CC_LIB})

# 链接必要的系统库
target_link_libraries(tf_inference PRIVATE
    pthread
    dl
    rt
)

加载模型并进行推理

模型训练好之后，导出为 SavedModel 格式。C++ 端加载模型的核心代码长这样：

// main.cpp - TensorFlow C++ 推理示例
#include <tensorflow/core/public/session.h>
#include <tensorflow/core/protobuf/meta_graph.pb.h>
#include <iostream>
#include <vector>

using namespace tensorflow;

int main() {
    // 1. 创建 Session
    Session* session;
    Status status = NewSession(SessionOptions(), &session);
    if (!status.ok()) {
        std::cerr << "Failed to create session: " << status.ToString() << std::endl;
        return -1;
    }

    // 2. 加载 SavedModel
    MetaGraphDef graph_def;
    SessionOptions session_options;
    RunOptions run_options;

    status = LoadSavedModel(session_options, run_options,
                            "/path/to/saved_model",
                            {"serve"},  // tag set
                            &graph_def);
    if (!status.ok()) {
        std::cerr << "Failed to load model: " << status.ToString() << std::endl;
        return -1;
    }

    // 3. 准备输入数据
    Tensor input_tensor(DT_FLOAT, TensorShape({1, 224, 224, 3}));
    auto input_map = input_tensor.tensor<float, 4>();
    // 填充数据... 这里省略具体数值

    // 4. 运行推理
    std::vector<std::pair<string, Tensor>> inputs = {
        {"input_tensor", input_tensor}
    };
    std::vector<Tensor> outputs;

    status = session->Run(inputs, {"output_tensor"}, {}, &outputs);
    if (!status.ok()) {
        std::cerr << "Inference failed: " << status.ToString() << std::endl;
        return -1;
    }

    // 5. 获取结果
    auto output_map = outputs[0].tensor<float, 2>();
    std::cout << "Inference result: " << output_map(0, 0) << std::endl;

    // 6. 清理
    session->Close();
    delete session;

    return 0;
}

核心知识体系

我把整个集成流程画了张图，方便你理解各个模块的关系：

避坑指南：ABI 兼容性

我曾经因为这个问题，在客户现场调试了整整一天。TensorFlow C++ 库编译时用的 GCC 版本，必须和你项目用的完全一致。否则链接阶段会报一堆 undefined reference。

💡 我的经验：用 gcc --version 确认版本。如果 TensorFlow 是用 GCC 7.5 编译的，你也得用 GCC 7.5。别想着混用，C++ 的 ABI 就是这么脆弱。

另一个常见坑是 protobuf 版本。TensorFlow 内部捆绑了特定版本的 protobuf，如果你项目里也用了 protobuf，版本必须一致。我建议用 TensorFlow 自带的 protobuf，别自己额外装。

CMake 集成的高级技巧

如果你需要同时支持 CPU 和 GPU 推理，CMake 里可以这样配置：

# 支持 GPU 推理
option(USE_GPU "Enable GPU support" OFF)

if(USE_GPU)
    find_library(TENSORFLOW_CC_GPU_LIB
        NAMES tensorflow_cc_gpu
        PATHS ${TENSORFLOW_ROOT}/lib
    )
    if(TENSORFLOW_CC_GPU_LIB)
        target_link_libraries(tf_inference PRIVATE ${TENSORFLOW_CC_GPU_LIB})
        target_compile_definitions(tf_inference PRIVATE USE_GPU=1)
    else()
        message(WARNING "GPU library not found, falling back to CPU")
    endif()
endif()

我个人习惯把 TensorFlow 的路径写进 CMakePresets.json，这样不同机器上只需要改 preset 就行，不用改 CMakeLists.txt。

性能优化建议

优化项	说明	效果
Session 复用	不要每次推理都创建 Session，全局只创建一个	减少 80% 初始化开销
Tensor 预分配	输入输出 Tensor 提前分配好内存，避免重复分配	减少 30% 内存操作
线程池配置	SessionOptions 中设置 inter_op_parallelism_threads	多核利用率提升 50%
模型量化	使用 TFLite 或 INT8 量化模型	推理速度提升 2-4 倍

核心要点总结：

编译环境一致性是集成 TensorFlow C++ 的第一道坎
CMake 中正确设置 include 和 link 路径
Session 复用 + Tensor 预分配 = 高性能推理
遇到链接错误，先检查 GCC 版本和 protobuf 版本

好了，这一章的内容就到这里。TensorFlow C++ 集成说白了就是环境配置 + API 调用，环境配置占 80% 的工作量。你只要把编译环境搞定了，后面的推理代码其实很简单。

📚 课程目录