11、双讲检测实现：能量比法、相关性法、基于神经网络的VAD
双讲检测，英文叫Double-Talk Detection，简称DTD。说白了，就是判断当前到底是只有远端说话，还是两边都在说。这个问题在回声消除里太关键了——你想想看，如果两边同时说话，自适应滤波器还在拼命收敛，那结果就是灾难性的：要么回声没消干净，要么近端语音被吃掉。
我最早做AEC的时候，就吃过这个亏。当时用的是一套很简单的能量比法，结果在会议室场景下，稍微有点背景噪声，双讲检测就乱跳。后来我花了整整两周时间，把相关性法和神经网络VAD都试了一遍，才真正摸清楚每种方法的脾气。
11.1 能量比法：最朴素但最脆弱
能量比法的思路非常直接：比较近端麦克风信号的能量和远端参考信号的能量。如果近端能量远大于远端，那就判定为双讲状态。
公式长这样：
R = E_near / E_far
if R > threshold:
双讲状态
else:
单讲状态（远端说话）
其中E_near和E_far分别是近端和远端信号的短时能量，通常用滑动窗口计算。
嗯，这里要注意：阈值怎么选？我见过很多新手直接拍脑袋定个2.0或者3.0，结果在实际场景里根本不好使。为什么？因为远端信号经过扬声器播放、房间混响、麦克风采集这一整套链路后，能量衰减可能达到10dB甚至更多。你设个2.0，远端信号稍微大点，近端能量就超了，双讲检测就误触发。
避坑指南：我曾经在一个车载项目中，能量比法怎么调都不对。后来发现是功放增益在动态变化，远端参考信号的能量和实际播放出来的能量完全对不上。解决方案是在远端参考信号路径上加一个自适应增益补偿，先把能量对齐了再做比值。
能量比法的优点就是计算量极小，适合嵌入式平台。但缺点也很明显：对噪声敏感，对增益变化敏感，而且无法区分近端语音和近端噪声。说白了，它只能处理理想情况。
11.2 相关性法：更鲁棒的选择
相关性法的核心思想是：如果只有远端说话，那么近端麦克风信号和远端参考信号之间应该存在较强的相关性（因为近端信号就是远端信号经过回声路径后的结果）。如果两边都在说话，近端信号里混入了独立的近端语音，相关性就会下降。
常用的相关性指标有几种：
- 互相关系数：直接计算两路信号的归一化互相关
- 相干函数：在频域计算，能反映不同频率上的相关性
- G.168标准中的Geigel算法：一种改进的能量比法，结合了相关性思想
我个人的习惯是用互相关系数，因为它实现简单，效果也还行。公式如下：
ρ = E[x(t) * y(t)] / sqrt(E[x(t)^2] * E[y(t)^2])
其中 x(t) 是远端参考信号，y(t) 是近端麦克风信号
当ρ接近1时，说明两路信号高度相关，判定为远端单讲。当ρ明显下降时，判定为双讲。
关键点：相关性法比能量比法鲁棒得多，因为它不依赖绝对能量，而是看信号之间的相似度。即使远端信号经过衰减，只要波形结构还在，相关性就能检测出来。
但相关性法也有坑。我记得有一次在调试一个免提电话产品，发现双讲检测老是滞后。后来一查，是因为房间混响时间太长，远端信号的回声拖尾和近端语音重叠了，导致相关性计算出现偏差。解决办法是增加一个延迟对齐模块，先把远端信号和近端信号的时间对齐了再做相关。
11.3 基于神经网络的VAD：降维打击
传统方法说到底都是基于手工特征的规则判断。而神经网络VAD，说白了就是让模型自己去学什么情况下是双讲。
我最近几年做的项目，基本都切换到神经网络VAD了。原因很简单：传统方法在复杂场景下（比如强噪声、多人说话、非线性失真）表现太差，而神经网络只要数据够，效果就是碾压级的。
常用的网络结构：
- DNN：输入是拼接的多帧特征（MFCC、Fbank、或者原始频谱），输出是双讲/单讲的概率
- LSTM/GRU：能利用时序信息，效果比DNN好一截
- CRNN：卷积+循环，既能提取局部特征又能建模时序依赖，是目前的主流
特征选择上，我个人推荐用log-mel频谱加上一些辅助特征，比如：
- 远端和近端信号的互相关特征
- 能量比特征
- 过零率
- 频谱平坦度
把这些特征拼在一起，输入到一个小型LSTM网络里，效果就非常好了。
实战技巧：训练数据一定要包含各种真实场景。我见过有人用纯合成数据训练模型，结果在真实产品上完全不能用。建议至少采集50%的真实录音数据，包括不同房间、不同距离、不同噪声类型。
下面是一个简单的LSTM VAD实现框架：
import torch
import torch.nn as nn
class DoubleTalkDetector(nn.Module):
def __init__(self, input_dim=40, hidden_dim=64, num_layers=2):
super().__init__()
self.lstm = nn.LSTM(input_dim, hidden_dim, num_layers, batch_first=True)
self.fc = nn.Linear(hidden_dim, 2) # 2类：单讲/双讲
self.softmax = nn.Softmax(dim=-1)
def forward(self, x):
# x: [batch, seq_len, input_dim]
out, _ = self.lstm(x)
out = self.fc(out[:, -1, :]) # 取最后一帧
return self.softmax(out)
这个模型很小，参数量不到10万，在手机端跑完全没问题。推理延迟大概在1-2ms左右。
11.4 三种方法的对比
| 方法 | 计算量 | 鲁棒性 | 适用场景 | 缺点 |
|---|---|---|---|---|
| 能量比法 | 极低 | 差 | 安静环境、固定增益 | 对噪声和增益敏感 |
| 相关性法 | 低 | 中等 | 中等噪声、短混响 | 对延迟和混响敏感 |
| 神经网络VAD | 中等 | 高 | 复杂场景、强噪声 | 需要训练数据、模型部署 |
从我的经验来看，如果产品对成本敏感、算力有限，相关性法是最稳妥的选择。如果追求极致效果，那就上神经网络VAD。至于能量比法，我建议只把它当作一个后备方案，或者和其他方法做融合。
11.5 核心逻辑流程图
下面这张图展示了三种双讲检测方法的整体流程和决策逻辑：
11.6 实际项目中的选择建议
如果你现在要做一个AEC产品，我的建议是这样的：
- 先评估你的场景：是手机通话、会议系统、还是智能音箱？不同场景的噪声和混响差异很大。
- 从相关性法起步：它实现简单，效果稳定，适合大多数场景。我早期好几个项目都是用相关性法过的认证。
- 如果遇到瓶颈：比如在强噪声下误检率太高，那就考虑上神经网络VAD。现在很多芯片厂商都提供了轻量级的VAD模型，直接集成就行。
- 别忘了融合：我个人的习惯是，用神经网络VAD做主判决，同时用相关性法做辅助校验。两个结果一致时直接输出，不一致时走保守策略（宁可漏检也不要误检）。
核心总结：双讲检测没有银弹。能量比法简单但脆弱，相关性法稳健但有局限，神经网络VAD效果好但需要数据。真正的高手，是能根据产品需求把三种方法灵活组合起来用。
好了，这一章的内容就到这里。双讲检测搞定了，下一章我们聊聊更进阶的话题——非线性回声的处理。那个才是真正让人头疼的东西。
公众号:蓝海资料掘金营，微信deep3321