一、动态重构在图像处理中的价值

图像处理这块，我做了十几年。说实话，FPGA做图像处理最大的痛点是什么？是灵活性不够。

你想想看，一个固定的图像处理流水线，一旦流片或者烧录进去，想改就难了。但现实中的图像场景千变万化——白天黑夜、室内室外、不同分辨率、不同帧率。固定电路怎么应付？

动态部分重构（DPR）就是来解决这个问题的。它允许我们在FPGA运行过程中，只更换部分逻辑区域，其他部分照常工作。说白了，就是给硬件装了个「热插拔」功能。

我在一个安防监控项目里就吃过亏。当时用了三块FPGA分别做去噪、边缘增强和缩放，结果客户要求换算法，我们得重新画板子。后来改用DPR方案，一块FPGA搞定，算法升级只需要远程下发新的比特流就行。

核心优势：

  • 硬件资源复用：同一块区域，不同时间跑不同算法
  • 功耗优化：不需要的功能模块直接断电
  • 在线升级：不用停机，不用重新编译整个工程
  • 面积节省：用时间换空间，小芯片干大活

二、滤波器动态切换

2.1 为什么需要动态切换滤波器？

图像滤波是预处理的第一步。但不同场景需要的滤波器完全不同：

  • 高斯滤波：适合平滑去噪，但会模糊边缘
  • 中值滤波：椒盐噪声克星，但计算量大
  • 双边滤波：保边去噪，但资源消耗高
  • 均值滤波：简单快速，但效果一般

我做过一个工业检测项目，产品表面有时是金属拉丝纹理，有时是光滑镜面。用一种滤波器根本搞不定。后来我用DPR做了三个滤波器模块，根据产品类型动态切换。

2.2 实现架构

滤波器动态切换的核心是「重构分区」的设计。每个滤波器作为一个独立的重构模块（RM），共享输入输出接口。

// 顶层模块接口定义
module image_filter_top (
    input  wire        clk,
    input  wire        rst_n,
    input  wire [7:0]  pixel_in,
    input  wire        pixel_valid,
    output wire [7:0]  pixel_out,
    output wire        pixel_ready,
    
    // 重构控制接口
    input  wire [1:0]  filter_select,  // 00:高斯 01:中值 10:双边
    input  wire        reconfigure_trig
);

// 重构控制状态机
localparam IDLE      = 2'b00;
localparam DISABLE   = 2'b01;
localparam RECONFIG  = 2'b10;
localparam ENABLE    = 2'b11;

reg [1:0] state, next_state;

always @(posedge clk or negedge rst_n) begin
    if (!rst_n)
        state <= IDLE;
    else
        state <= next_state;
end

// 状态跳转逻辑
always @(*) begin
    case (state)
        IDLE: begin
            if (reconfigure_trig)
                next_state = DISABLE;
            else
                next_state = IDLE;
        end
        DISABLE: begin
            // 等待当前帧处理完毕
            if (frame_done)
                next_state = RECONFIG;
            else
                next_state = DISABLE;
        end
        RECONFIG: begin
            // 等待重构完成信号
            if (pr_done)
                next_state = ENABLE;
            else
                next_state = RECONFIG;
        end
        ENABLE: begin
            next_state = IDLE;
        end
        default: next_state = IDLE;
    endcase
end

endmodule

我的经验：滤波器切换一定要等当前帧处理完。我曾经图省事，在帧中间切换，结果输出图像出现「花屏」——一半是高斯滤波，一半是中值滤波，调试了三天才发现是切换时机的问题。

2.3 时序与资源权衡

滤波器类型 LUT消耗 DSP消耗 BRAM消耗 重构时间
高斯滤波(5x5) 1240 4 2 2.3ms
中值滤波(5x5) 1890 0 2 2.8ms
双边滤波(5x5) 3420 12 4 4.1ms

嗯，这里要注意：重构时间取决于比特流大小和配置接口速度。如果用的是SPI配置，速度会慢一些；PCAP接口会快很多。

三、分辨率自适应

3.1 场景分析

现在的摄像头模组，输出分辨率五花八门。1080p、4K、甚至8K。但显示设备或者后端处理单元，可能只支持固定分辨率。

我做过一个视频拼接项目，四路输入分别是720p、1080p、4K和奇怪的1280x1024。输出要求统一到4K。如果用固定缩放器，每路都得配一个，资源根本不够。

3.2 动态缩放方案

用DPR实现分辨率自适应，核心思路是：

  1. 检测输入分辨率（通过行场同步信号计数）
  2. 选择对应的缩放算法（最近邻、双线性、双三次）
  3. 加载对应的重构模块
  4. 流水线无缝切换
// 分辨率检测模块
module resolution_detect (
    input  wire        clk,
    input  wire        vsync,
    input  wire        hsync,
    output reg  [15:0] width,
    output reg  [15:0] height,
    output reg         resolution_valid
);

reg [15:0] h_cnt, v_cnt;

always @(posedge clk) begin
    if (vsync) begin
        h_cnt <= 16'd0;
        v_cnt <= 16'd0;
    end else if (hsync) begin
        h_cnt <= 16'd0;
        v_cnt <= v_cnt + 1;
    end else begin
        h_cnt <= h_cnt + 1;
    end
end

always @(posedge clk) begin
    if (vsync) begin
        width  <= h_cnt;
        height <= v_cnt;
        resolution_valid <= 1'b1;
    end
end

endmodule

避坑指南：我曾经在分辨率切换时，没有处理好行缓存（line buffer）的清零。结果从1080p切到4K时，缓存里残留了上一帧的数据，导致输出图像出现「鬼影」。解决办法是在重构完成后，强制清空所有行缓存。

四、实时视频处理流水线

4.1 整体架构

实时视频处理对延迟要求极高。一般要求从输入到输出不超过3帧。DPR的引入不能破坏这个约束。

我建议的架构是这样的：

视频输入 → 帧缓存(乒乓) → 重构区域(滤波器/缩放器) → 帧缓存(乒乓) → 视频输出
                ↑                                    ↑
          写控制逻辑                            读控制逻辑

为什么用乒乓缓存？因为重构期间，输入数据不能丢，输出也不能断。乒乓缓存让读写操作解耦，重构时写缓存继续工作，读缓存用上一帧数据输出。

4.2 时序约束

实时视频处理对时序要求很严格。我总结了几条铁律：

  • 重构必须在帧消隐期完成（VBLANK）
  • 1080p@60fps的VBLANK约1.2ms，重构时间必须小于这个值
  • 4K@30fps的VBLANK约0.8ms，更紧张
  • 如果重构时间不够，需要拆分成多个帧完成

实测数据（Xilinx Kintex-7）：

  • 高斯滤波模块重构：2.1ms → 需要2个VBLANK周期
  • 双线性缩放模块重构：1.8ms → 1个VBLANK周期搞定
  • 双边滤波模块重构：3.8ms → 需要4个VBLANK周期

4.3 动态重构的调度策略

实际项目中，我一般用「预加载+延迟切换」的策略：

  1. 系统检测到场景变化（比如光照变暗）
  2. 后台开始加载新的重构模块（不中断当前处理）
  3. 加载完成后，等待当前帧结束
  4. 在VBLANK期间完成切换
  5. 新模块开始处理下一帧

这样做的好处是：用户完全感知不到切换过程。视频流没有任何中断或卡顿。

五、知识体系总览

下面这张图，是我对本章内容的一个总结。你可以看到动态重构在图像处理中的完整链路：

动态重构在图像处理中的应用体系 视频输入源 分辨率检测 & 帧同步 动态重构区域（可切换模块） 高斯滤波 中值滤波 双线性缩放 帧缓存 & 输出格式化 视频输出 重构控制器 ICAP接口 比特流存储

六、总结与建议

动态重构在图像处理中的应用，说白了就是「用时间换空间，用灵活性换效率」。我个人觉得，它最适合以下场景：

  • 多标准视频处理（不同分辨率、不同帧率）
  • 自适应图像增强（根据场景切换算法）
  • 资源受限的边缘设备（一块FPGA干多块FPGA的活）
  • 需要远程升级的部署场景

但也要注意，DPR不是万能的。重构时间、功耗开销、设计复杂度都是代价。我见过有人为了炫技，把简单的固定流水线硬改成DPR，结果得不偿失。

我的建议：先评估你的场景是否真的需要动态切换。如果算法切换频率很低（比如一天一次），用外部多路选择器加多块配置芯片可能更划算。如果切换频率高（比如每秒几次），那DPR就是最佳选择。

好了，这一章的内容就到这里。下一章我们会深入DPR的时序分析和约束方法，到时候我会分享一些实际项目中的时序收敛技巧。

公众号:蓝海资料掘金营，微信deep3321

← 上一章 📖 返回目录 下一章 →