11、OpenCV图像处理基础：Mat数据结构、图像读写、颜色空间转换、图像滤波与边缘检测
图像处理是音视频开发里绕不开的一环。你想想看，无论是做视频特效、实时美颜，还是做目标检测，第一步往往都是跟图像打交道。OpenCV 作为计算机视觉领域最成熟的库，它的图像处理基础，说白了就是咱们这行的基本功。
我个人习惯把 OpenCV 的图像处理分成四个台阶：数据怎么存、怎么读、怎么转、怎么分析。今天咱们就一步步把这四个台阶踩实了。
11.1 Mat 数据结构：图像在内存里的样子
很多初学者刚接触 OpenCV 时，最困惑的就是这个 Mat。它到底是什么？
简单说，Mat 就是一个矩阵。图像在计算机里就是一堆数字排成的矩阵。彩色图像是三维矩阵——高、宽、通道数（通常是 BGR 三个通道）。灰度图是二维矩阵，只有一个通道。
核心要点：Mat 采用引用计数机制。这意味着赋值操作只是浅拷贝，修改一个会影响另一个。如果你需要独立副本，必须用 clone() 或 copyTo()。
我在项目中遇到过一个问题：一个同事把 Mat 直接赋值给另一个变量，然后在子线程里修改了像素值，结果主线程的图像也跟着变了。排查了半天才发现是浅拷贝的坑。嗯，这里要注意。
// Mat 的创建方式
cv::Mat img1(480, 640, CV_8UC3); // 创建 480x640 的三通道图像
cv::Mat img2 = cv::Mat::zeros(480, 640, CV_8UC1); // 全零灰度图
cv::Mat img3 = cv::Mat::ones(480, 640, CV_32FC3); // 全1浮点图
// 深拷贝 vs 浅拷贝
cv::Mat shallow = img1; // 浅拷贝，共享数据
cv::Mat deep = img1.clone(); // 深拷贝，独立数据为什么会有 CV_8UC3 这种奇怪的命名？8U 表示 8 位无符号整数，C3 表示 3 个通道。常用的还有 CV_32FC1（32位浮点单通道）和 CV_16SC3（16位有符号三通道）。
11.2 图像读写：从文件到内存
图像读写是每个项目的第一步。OpenCV 的 imread 和 imwrite 用起来很简单，但有几个细节我建议你记住。
// 读取图像
cv::Mat img = cv::imread("photo.jpg"); // 默认彩色模式
cv::Mat gray = cv::imread("photo.jpg", cv::IMREAD_GRAYSCALE); // 灰度模式
cv::Mat unchanged = cv::imread("photo.jpg", cv::IMREAD_UNCHANGED); // 含Alpha通道
// 写入图像
cv::imwrite("output.jpg", img); // 默认 JPEG 质量 95
cv::imwrite("output.png", img); // PNG 无损压缩
cv::imwrite("output.jpg", img, {cv::IMWRITE_JPEG_QUALITY, 80}); // 指定质量个人经验：读取图像后，建议立即检查 img.empty()。我曾经因为路径写错，程序跑了一整天才发现所有图像都没读进来。这种低级错误，加一行判断就能避免。
关于图像格式，我常用的就三种：
| 格式 | 特点 | 适用场景 |
|---|---|---|
| JPEG | 有损压缩，文件小 | 照片、网络传输 |
| PNG | 无损压缩，支持透明 | 截图、UI元素 |
| BMP | 无压缩，文件大 | 调试、临时存储 |
11.3 颜色空间转换：BGR、灰度、HSV
OpenCV 默认的颜色顺序是 BGR，不是 RGB。这个坑我踩过不止一次。你想想看，用 imread 读进来的图像，如果用其他库（比如 Qt 或 PIL）直接显示，颜色会完全错乱。
cv::Mat img = cv::imread("photo.jpg");
cv::Mat gray, hsv, lab;
cv::cvtColor(img, gray, cv::COLOR_BGR2GRAY); // BGR → 灰度
cv::cvtColor(img, hsv, cv::COLOR_BGR2HSV); // BGR → HSV
cv::cvtColor(img, lab, cv::COLOR_BGR2Lab); // BGR → Lab为什么需要颜色空间转换？
- 灰度图：减少计算量，适合边缘检测、特征提取
- HSV：色调、饱和度、明度分离。做颜色识别时特别好用——比如检测红色物体，在 BGR 空间很难设定阈值，但在 HSV 空间只需要看 H 通道的范围
- Lab：感知均匀，适合颜色相似度比较
注意：HSV 的 H 通道范围是 0-179（不是 0-359），S 和 V 是 0-255。这个跟很多教材不一样，OpenCV 为了用 8 位整数存储做了压缩。
11.4 图像滤波：去噪与平滑
滤波说白了就是用一个窗口在图像上滑动，对窗口内的像素做某种运算。我把它分成两类：线性滤波和非线性滤波。
11.4.1 线性滤波
cv::Mat img, result;
// 均值滤波
cv::blur(img, result, cv::Size(5, 5));
// 高斯滤波（最常用）
cv::GaussianBlur(img, result, cv::Size(5, 5), 1.5);
// 方框滤波
cv::boxFilter(img, result, -1, cv::Size(5, 5));高斯滤波是我用得最多的。它的核权重符合高斯分布，中心像素权重最大，越往边缘越小。这样既能去噪，又能保留更多细节。
11.4.2 非线性滤波
// 中值滤波（对椒盐噪声效果极好）
cv::medianBlur(img, result, 5);
// 双边滤波（保边去噪）
cv::bilateralFilter(img, result, 9, 75, 75);中值滤波用窗口内所有像素的中位数代替中心像素。我曾经处理过一批摄像头采集的图像，里面有很多黑白噪点（椒盐噪声），用中值滤波 3x3 核跑一遍，效果立竿见影。
双边滤波就更巧妙了——它不仅考虑空间距离，还考虑像素值的差异。所以边缘处像素值差异大，不会被平滑掉。做美颜效果时，我经常用它来磨皮。
11.5 边缘检测：Canny 算子
边缘检测是图像分析的核心。你要找的是图像中亮度变化剧烈的地方——说白了就是物体的轮廓。
Canny 边缘检测是目前最成熟的方法。它分四步走：
- 高斯滤波去噪
- 计算梯度幅值和方向
- 非极大值抑制（只保留梯度方向上的局部最大值）
- 双阈值检测（高阈值确定强边缘，低阈值连接弱边缘）
cv::Mat gray, edges;
// 先转灰度
cv::cvtColor(img, gray, cv::COLOR_BGR2GRAY);
// Canny 边缘检测
cv::Canny(gray, edges, 50, 150);
// 参数说明：
// 50 - 低阈值
// 150 - 高阈值
// 建议比例 1:2 或 1:3我的调参习惯：先用 50, 150 试跑，看结果。如果边缘太多（噪声多），提高低阈值；如果边缘断裂，降低低阈值或提高高阈值。这个没有标准答案，得根据你的图像来调。
为什么 Canny 这么流行？因为它能检测出单像素宽的边缘，而且对噪声不敏感。相比之下，Sobel 算子虽然计算快，但边缘比较粗，而且容易受噪声干扰。
11.6 本章知识体系
下面这张图把本章的核心内容串起来了。你可以看到，从图像数据到最终的分析结果，每一步都有对应的 OpenCV 工具。
这张图展示的流程，我在实际项目中几乎每天都在用。从摄像头采集图像（Mat），到预处理（滤波），再到分析（边缘检测），每一步都有很多细节可以深挖。
嗯，图像处理基础就讲到这里。记住一句话：图像就是矩阵，处理就是运算。把 Mat 玩熟了，后面的路就好走了。