第18章 OpenMP并行编程

课程目录第18章 OpenMP并行编程

第十八章：OpenMP并行编程——让多核CPU为你打工

说实话，我第一次接触OpenMP的时候，心里是有点不屑的。不就是加几个#pragma吗？能有多厉害？直到我在一个图像处理项目里，用OpenMP把一段循环从3秒优化到了0.4秒——嗯，真香。从那以后，我就把这套东西当成了多线程编程的“瑞士军刀”。

OpenMP的全称是Open Multi-Processing，说白了就是一套编译器指令、库函数和环境变量的集合。你不需要像pthread那样手动创建线程、管理锁、处理同步——你只需要告诉编译器：“这段代码，帮我并行跑。”剩下的，编译器替你搞定。

核心思想： 用最小的代码改动，获得最大的并行加速。

OpenMP的入口是预处理指令，格式固定：

#pragma omp 指令名 [子句 [, 子句] ...]

要使用OpenMP，首先得包含头文件：

#include <omp.h>

然后在编译器里开启支持。GCC的话加 -fopenmp，MSVC加 /openmp。我当年第一次编译没加这个参数，结果程序跑起来还是单线程的，排查了半天才发现是编译器选项漏了——这种坑，踩过一次就记住了。

最简单的并行区域是这样写的：

#pragma omp parallel
{
    int tid = omp_get_thread_num();
    printf("Hello from thread %d\n", tid);
}

这段代码会创建一组线程（默认等于CPU核心数），每个线程都执行花括号里的代码。你想想看，如果CPU有8个核，这行printf就会被打印8次，每次的线程ID不同。

小技巧： 用 omp_get_max_threads() 可以查看当前系统能创建的最大线程数。我习惯在程序启动时打印这个值，方便调试。

在实际项目中，最常用的场景就是并行化for循环。比如你要对一个数组里的每个元素做计算：

#define N 1000000
double a[N], b[N], c[N];

// 初始化a和b...

#pragma omp parallel for
for (int i = 0; i < N; i++) {
    c[i] = a[i] + b[i];
}

就这么一行指令，编译器会自动把循环的迭代分配给多个线程。每个线程处理一部分i，互不干扰。我在做视频帧处理时，经常用这个模式——把一帧图像分成若干块，每块交给一个线程去处理，速度提升非常明显。

注意： 使用parallel for时，循环的每次迭代之间不能有数据依赖。比如第i次迭代依赖第i-1次的结果，那就不能直接并行化。我曾经在一个数值计算项目里犯过这个错，结果算出来的结果全是错的——调试了一下午才发现是循环依赖的问题。

你也可以把parallel和for分开写，效果一样：

#pragma omp parallel
{
    #pragma omp for
    for (int i = 0; i < N; i++) {
        c[i] = a[i] + b[i];
    }
}

分开写的好处是，你可以在同一个并行区域内做更多事情，比如先并行初始化，再并行计算。

并行循环有个问题：如果每次迭代的计算量不一样，线程之间就会出现“旱的旱死，涝的涝死”。比如处理一个稀疏矩阵，有些行全是零，有些行全是非零——计算量天差地别。

OpenMP提供了几种调度策略，通过 schedule 子句来控制：

举个例子：

#pragma omp parallel for schedule(dynamic, 16)
for (int i = 0; i < N; i++) {
    // 每次迭代计算量可能不同
    heavy_computation(i);
}

这里的 dynamic, 16 表示块大小是16次迭代。线程做完16次，就去领下一批16次。我个人习惯在不确定负载情况时先用dynamic，等性能调优时再换成static——因为dynamic有运行时开销，但能保证负载均衡。

  经验之谈： 我曾经在一个科学计算项目里，用static调度时总有几个线程早早干完在等别人。换成guided调度后，整体耗时降低了30%。调度策略选对了，效果立竿见影。

并行计算里有个经典问题：多个线程要往同一个变量里累加结果。比如求数组所有元素的和：

double sum = 0.0;

#pragma omp parallel for reduction(+:sum)
for (int i = 0; i < N; i++) {
    sum += a[i];
}

如果没有 reduction，多个线程同时写 sum 就会产生数据竞争，结果肯定不对。而 reduction(+:sum) 的意思是：每个线程维护一个私有的sum副本，各自累加，最后再把所有副本加起来。

归约操作支持多种运算符：

注意： 归约变量的初始值很重要。比如乘法归约的初始值是1，不是0。如果写成0，乘出来的结果永远是0——我见过有人犯这个错，排查了半天才发现是初始值的问题。

归约操作不仅限于基本类型，也可以用于自定义类型，但需要自己实现归约函数。不过说实话，日常开发中基本类型就够用了。

下面这张图总结了本章的核心内容，你可以把它当作OpenMP入门的“地图”：

最后，分享几个我踩过的坑：

忘记加编译选项： 代码里写了#pragma，但编译器没开OpenMP支持——这些指令会被忽略，程序默默跑成单线程。我曾经在服务器上部署程序，跑了三天才发现这个问题，浪费了大量计算资源。
循环内有break或return： parallel for不支持在循环内部提前退出。如果你需要提前终止，得用其他方式，比如设置一个标志变量，每次迭代检查一下。
归约变量类型不匹配： reduction子句里的变量类型要和运算符匹配。比如对浮点数做位运算归约，结果可能不是你想要的。
线程数设置不合理： 不是线程越多越快。线程数超过CPU核心数时，会有上下文切换开销。我一般用 omp_set_num_threads() 设置为核心数，或者干脆不设，让系统自动决定。

OpenMP的魅力在于，你不需要成为并行编程专家，就能写出高效的并行代码。但记住一点：并行不是银弹。如果你的算法本身就有问题，开再多的线程也救不了。先把单线程版本跑对，再考虑并行化——这是我多年来的铁律。

一句话总结： OpenMP让你用最少的代码，榨干CPU的每一分性能。但前提是——你得知道哪些坑不能踩。

公众号：蓝海资料掘金营，微信deep3321