第80章 PyTorch C++

课程目录第80章 PyTorch C++

80、PyTorch C++：集成LibTorch

说实话，很多做深度学习部署的朋友，一开始都习惯用Python。Python确实方便，但到了生产环境，尤其是需要低延迟、高并发的场景，Python那套就有点吃力了。这时候，PyTorch的C++接口——LibTorch，就成了一个绕不开的选择。

我个人习惯把LibTorch看作是PyTorch的「C++引擎」。它不依赖Python解释器，能直接编译进你的C++程序里。说白了，就是让你用C++跑PyTorch模型。今天我们就聊聊，怎么用CMake把它集成进来。

LibTorch是什么？

LibTorch是PyTorch官方提供的C++发行版。它包含了：

libtorch.so / .dylib：核心的动态链接库
头文件：torch/torch.h、torch/script.h等
CMake配置：TorchConfig.cmake，方便我们集成

你想想看，一个训练好的PyTorch模型，用torch.jit.trace或torch.jit.script导出成TorchScript格式，然后LibTorch就能直接加载并推理。整个过程不需要Python，性能还更好。

核心流程：Python训练 → 导出TorchScript → C++加载推理

CMake集成LibTorch

集成LibTorch，CMake是首选方式。官方提供了find_package(Torch)，用起来非常顺手。不过，有几个坑我得提前说。

1. 下载LibTorch

先去PyTorch官网下载对应版本的LibTorch。注意选对CUDA版本，或者直接用CPU版本。我建议下载Preview (Nightly)版本，因为有些新特性只有这里才有。当然，稳定版也行。

# 以CPU版本为例
wget https://download.pytorch.org/libtorch/cpu/libtorch-cxx11-abi-shared-with-deps-2.0.0%2Bcpu.zip
unzip libtorch-cxx11-abi-shared-with-deps-2.0.0+cpu.zip

解压后，你会得到一个libtorch目录，里面包含include、lib、share等子目录。

2. 编写CMakeLists.txt

嗯，这里要注意一个关键点：C++ ABI兼容性。LibTorch默认使用_GLIBCXX_USE_CXX11_ABI=1（即C++11 ABI）。如果你的项目用的是旧ABI，链接时会报一堆莫名其妙的错误。我曾经因为这个折腾了一整天。

cmake_minimum_required(VERSION 3.18)
project(MyTorchApp)

set(CMAKE_CXX_STANDARD 17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# 设置LibTorch路径
set(Torch_DIR /path/to/libtorch/share/cmake/Torch)
find_package(Torch REQUIRED)

# 添加可执行文件
add_executable(my_app main.cpp)

# 链接LibTorch库
target_link_libraries(my_app ${TORCH_LIBRARIES})

# 设置C++ ABI标志
target_compile_definitions(my_app PRIVATE
    _GLIBCXX_USE_CXX11_ABI=1
)

这里我用了set(Torch_DIR ...)来指定路径。你也可以通过环境变量Torch_DIR来设置，但我觉得显式写在CMakeLists.txt里更清晰。

小技巧：如果你不确定ABI版本，可以在CMake中打印出来看看：

message(STATUS "CXX11 ABI: ${_GLIBCXX_USE_CXX11_ABI}")

3. 编写C++代码

写一个简单的加载模型并推理的例子：

#include <torch/script.h>
#include <iostream>

int main() {
    // 加载TorchScript模型
    torch::jit::script::Module module;
    try {
        module = torch::jit::load("model.pt");
    }
    catch (const c10::Error& e) {
        std::cerr << "加载模型失败: " << e.what() << std::endl;
        return -1;
    }

    // 创建输入张量
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(torch::ones({1, 3, 224, 224}));

    // 推理
    at::Tensor output = module.forward(inputs).toTensor();

    std::cout << "推理结果: " << output.slice(/*dim=*/1, /*start=*/0, /*end=*/5) << std::endl;

    return 0;
}

这段代码很简单：加载模型、构造输入、执行推理。实际项目中，你可能会处理更复杂的输入输出，比如多个输入、字典输出等。但核心逻辑就是这样。

避坑指南

集成LibTorch时，有几个坑我踩过，分享给你：

ABI不匹配：这是最常见的。确保你的项目、LibTorch、以及所有依赖库都使用相同的C++ ABI。
CUDA版本不一致：如果你用GPU版本，LibTorch的CUDA版本必须和你的显卡驱动、CUDA Toolkit版本匹配。否则运行时直接崩溃。
动态库路径：运行时需要把libtorch/lib添加到LD_LIBRARY_PATH（Linux）或DYLD_LIBRARY_PATH（macOS）。我习惯在CMake中设置INSTALL_RPATH，这样编译出来的可执行文件直接就能跑。

警告：千万不要把LibTorch的头文件和库直接拷贝到系统目录（如/usr/local）。这会导致版本冲突。用CMake的find_package指定路径是最安全的方式。

知识体系图

下面这张图展示了LibTorch集成的核心流程和关键点：

进阶：处理动态库依赖

编译没问题，但运行时提示找不到libtorch.so？嗯，这是新手最容易遇到的问题。解决方法有几种：

设置RPATH：在CMake中添加set_target_properties(my_app PROPERTIES INSTALL_RPATH "/path/to/libtorch/lib")。这样可执行文件会记住库的位置。
设置环境变量：export LD_LIBRARY_PATH=/path/to/libtorch/lib:$LD_LIBRARY_PATH。但这种方式不够优雅，容易污染环境。
拷贝库文件：把libtorch/lib下的.so文件拷贝到可执行文件同目录。简单粗暴，但更新LibTorch时容易遗漏。

我个人推荐第一种方式。它把依赖关系固化在可执行文件里，部署时只要保证路径不变就行。

总结

集成LibTorch其实不复杂，核心就三步：下载、CMake配置、写推理代码。但细节决定成败——ABI版本、CUDA版本、动态库路径，任何一个出问题都会让你抓狂。我刚开始做的时候，光ABI问题就排查了两天。后来养成了习惯：每次下载LibTorch后，先检查_GLIBCXX_USE_CXX11_ABI的值，再开始写CMake。

好了，今天的内容就到这里。希望你能顺利把LibTorch集成到自己的项目里。