7. MediaMuxer实战：音频混流（Audio Mixing）——将背景音乐与视频音频混合
各位好，欢迎来到第七节实战课。
前几节我们聊了MediaMuxer的基本用法，也做了视频拼接。今天咱们来点更实用的——音频混流。说白了，就是把一段背景音乐，跟视频里原本的声音混在一起。
这个需求太常见了。你拍了个Vlog，想加个BGM；或者录了段讲解视频，想配个轻音乐。嗯，MediaMuxer本身不负责混音，它只管封装。所以真正的难点在于：如何把两路音频PCM数据混合成一路。
核心思路：先解码 → 混音（PCM混合）→ 再编码 → 最后用MediaMuxer封装。
7.1 混音的基本原理
音频混流，本质上就是PCM数据的叠加。
你想想看，两段音频在时间轴上对齐后，每个采样点对应的数值相加，就得到了混合后的波形。但这里有个坑——溢出。
16位PCM的取值范围是-32768到32767。两个大音量信号一加，很容易超出这个范围，结果就是刺耳的爆音。我在项目中遇到过好几次，第一次做混音时没做防溢出处理，出来的声音直接炸了。
所以，混音的核心公式其实很简单：
mixed_sample = (sample1 + sample2) / 2这是最简单的平均法。但实际项目中，我们往往需要更灵活的控制，比如调整背景音乐的音量。
7.2 混音流程概览
整个流程我画了张图，方便你理解：
流程不复杂，但每一步都有细节。我个人习惯先把视频里的音频轨单独提取出来，再跟背景音乐混。这样逻辑清晰，调试也方便。
7.3 关键代码实现
咱们直接上代码。这里我给出混音的核心函数：
// 混音核心方法
private byte[] mixAudioChannels(byte[] videoAudio, byte[] bgmAudio, float bgmVolume) {
// 确保两段数据长度一致（取较短的那个）
int mixLength = Math.min(videoAudio.length, bgmAudio.length);
byte[] mixed = new byte[mixLength];
// 16位PCM，每2个字节一个采样点
for (int i = 0; i < mixLength; i += 2) {
// 读取原始采样值（小端序）
short sample1 = (short) ((videoAudio[i + 1] << 8) | (videoAudio[i] & 0xFF));
short sample2 = (short) ((bgmAudio[i + 1] << 8) | (bgmAudio[i] & 0xFF));
// 背景音乐音量调整
sample2 = (short) (sample2 * bgmVolume);
// 混音：平均法防溢出
int mixedSample = (sample1 + sample2) / 2;
// 钳位处理（理论上平均法不会溢出，但保留钳位更安全）
if (mixedSample > 32767) mixedSample = 32767;
if (mixedSample < -32768) mixedSample = -32768;
// 写回字节数组
mixed[i] = (byte) (mixedSample & 0xFF);
mixed[i + 1] = (byte) ((mixedSample >> 8) & 0xFF);
}
return mixed;
}小技巧：bgmVolume参数可以让你控制背景音乐的音量。我一般设0.3到0.5，这样背景音乐不会盖过人声。当然，具体数值得根据实际音频动态调整。
7.4 时间对齐——最容易踩的坑
混音时，两路音频的时间戳必须对齐。
视频里的音频轨有它自己的时间戳，背景音乐也有。你不能简单地把两段PCM从头拼到尾。举个例子：视频总长10秒，背景音乐30秒。你只需要混前10秒的背景音乐，后面的20秒直接丢弃。
我曾经犯过一个错误：背景音乐循环播放时，没处理好最后一帧的截断，结果混出来的音频尾部有杂音。嗯，后来我加了个判断：
// 计算当前视频帧对应的背景音乐位置
long videoTimeUs = videoBufferInfo.presentationTimeUs;
long bgmPositionUs = videoTimeUs; // 假设背景音乐从0开始播放
// 如果背景音乐播放完毕，则只保留视频原声
if (bgmPositionUs >= bgmDurationUs) {
// 直接输出视频原声，不混音
outputBuffer = videoAudioBuffer;
} else {
// 读取对应位置的背景音乐PCM数据
byte[] bgmSegment = readBgmAtPosition(bgmPositionUs);
outputBuffer = mixAudioChannels(videoAudioBuffer, bgmSegment, 0.5f);
}注意：背景音乐如果比视频短，通常有两种处理方式：1）循环播放；2）只混一次，后面静音。我个人建议用循环播放，但要做好淡入淡出，避免衔接处出现爆音。
7.5 完整的混流流程
把上面所有环节串起来，完整的流程是这样的：
- 初始化：创建MediaExtractor分别读取视频文件和背景音乐文件
- 选择音轨：从视频文件中选取音频轨，从背景音乐文件中选取音频轨
- 配置解码器：为两路音频分别创建MediaCodec解码器，输出PCM
- 配置编码器：创建MediaCodec编码器（AAC），用于将混音后的PCM编码
- 配置MediaMuxer：添加音频轨，设置输出格式
- 循环处理：
- 从视频音频轨读取一帧，解码得到PCM
- 从背景音乐对应位置读取一帧，解码得到PCM
- 调用混音函数，得到混合后的PCM
- 将混合PCM送入编码器
- 将编码后的数据写入MediaMuxer
- 收尾：释放所有资源
这里有个细节：视频轨怎么处理？ 别忘了，我们只混音频，视频轨要原封不动地传给MediaMuxer。所以MediaMuxer需要同时添加视频轨和音频轨，视频数据直接透传，音频数据走混音流程。
7.6 性能优化建议
混音是个计算密集型操作。尤其是处理高清视频的长音频时，PCM数据量很大。我分享几个优化经验：
| 优化点 | 做法 | 效果 |
|---|---|---|
| 缓冲区复用 | 避免频繁new byte[]，使用对象池 | 减少GC，帧率更稳定 |
| 批量处理 | 一次混音处理多个采样点（比如1024个） | 减少循环开销 |
| 定点数运算 | 用整数运算代替浮点数（音量控制用查表法） | 提升30%以上性能 |
| 异步解码 | 解码和混音放在不同线程 | 充分利用多核CPU |
避坑指南：我曾经在低端机上做混音，发现每帧处理时间超过33ms，导致视频卡顿。后来改用定点数运算，并把混音放到native层（C++），问题就解决了。如果你的App对性能要求高，可以考虑用NDK实现混音核心逻辑。
7.7 验证结果
混音完成后，怎么验证对不对？
我的习惯是：
- 先用MediaPlayer播放输出文件，听人声和背景音乐是否清晰
- 再用Audacity等工具打开音频，看波形是否正常（没有削顶）
- 最后检查时间戳，确保音画同步
嗯，如果发现人声被背景音乐盖住了，调低bgmVolume就行。如果出现爆音，检查混音时有没有做钳位处理。
好了，这一节的内容就到这里。音频混流是音视频编辑里非常实用的功能，掌握了它，你就能做出很多有意思的效果。下一节我们会继续深入，聊聊更复杂的音频处理——淡入淡出和音频变速。
公众号:蓝海资料掘金营，微信deep3321