20、变速播放：变速解码原理、帧重复与丢帧、音调保持、流畅度优化

变速播放，说白了就是让视频以比正常速度更快或更慢的速度播放。你想想看，用户看教程视频想快进，看体育慢动作想慢放，这都是刚需。但这事没那么简单——直接改播放速度，声音会变调，画面会卡顿，体验极差。

我在项目中遇到过好几次，产品经理一拍脑袋说「加个2倍速播放呗」，结果一跑起来，声音像鸭子叫，画面一顿一顿的。嗯，这里面的坑，我今天一次性给你讲透。

变速解码的核心原理

变速播放，本质上是在时间轴上做文章。正常播放是1秒播30帧，2倍速就是1秒播60帧的数据量。但解码器不会因为你想要2倍速就多解出帧来，它只按正常速度输出。

所以我们需要在解码后的渲染环节做手脚。核心思路就两个：

• 帧重复：慢放时，把同一帧多渲染几次
• 丢帧：快放时，跳过一些帧不渲染

但直接这么干，画面会不流畅。为什么？因为视频帧的时间戳不是均匀的，尤其是可变帧率的视频。你机械地重复或丢弃，节奏就乱了。

帧重复与丢帧策略

先说说慢放。假设你想0.5倍速播放，正常1秒30帧，现在要播2秒。最简单的做法：每帧渲染两次。但这样画面会感觉「一卡一卡」的，因为人眼对30fps的重复帧很敏感。

我个人的习惯是：用插帧代替纯重复。在两次渲染之间，根据前后帧做线性插值，生成中间帧。虽然计算量大一点，但流畅度提升非常明显。

// 伪代码：帧重复 vs 插帧
// 慢放 0.5x，目标帧率 60fps
// 原始帧率 30fps，每帧需要渲染2次

// 方案一：纯重复（不推荐）
for each frame:
    render(frame)
    render(frame)  // 直接重复

// 方案二：插帧（推荐）
for each frame:
    render(frame)
    interpolated = blend(frame, nextFrame, 0.5)  // 插值
    render(interpolated)

再说快放。2倍速时，每两帧里要丢一帧。但怎么丢？我曾经踩过一个坑：直接按固定间隔丢帧，结果运动场景出现严重的「跳帧感」。

后来我改用基于运动矢量的丢帧策略：

• 运动剧烈的帧优先保留
• 静态场景的帧可以多丢
• 关键帧（I帧）绝对不能丢

音调保持：让声音不变调

这是变速播放里最头疼的问题。直接改变播放速度，声音的基频会跟着变——快放变尖，慢放变粗。用户一听就知道不对劲。

解决方案是音调保持（Pitch Preservation）。说白了，就是通过算法把变调后的声音再拉回原来的音调。

常用的算法有两种：

算法	原理	延迟	音质
WSOLA（波形相似叠加）	在时域上找相似波形片段拼接	低（10-30ms）	中等，适合语音
相位声码器（Phase Vocoder）	在频域上调整相位	高（50-100ms）	高，适合音乐

我个人在Android上更推荐WSOLA。为什么？因为延迟低，适合实时播放。相位声码器虽然音质好，但延迟太高，用在视频播放里会感觉「声音比画面慢半拍」。

流畅度优化：让变速播放如丝般顺滑

流畅度优化，说白了就是让用户感觉不到「变速」的存在。这里有几个关键点：

1. 渲染时钟同步

变速播放时，渲染时钟不能直接用系统时钟。你需要一个虚拟时钟，它的速度是正常时钟的N倍（快放）或1/N倍（慢放）。

// 虚拟时钟实现
class SpeedController {
    private long baseTime;      // 基准时间
    private float speed;        // 播放速度
    private long pausedTime;    // 暂停时间

    long getVirtualTime() {
        long realElapsed = System.nanoTime() - baseTime - pausedTime;
        return (long)(realElapsed * speed);
    }
}

2. 缓冲区管理

快放时，解码器输出速度跟不上渲染速度，缓冲区会很快耗尽。慢放时，缓冲区又会堆积。我建议：

• 快放时：增大解码缓冲区（2-3倍），提前解码
• 慢放时：减小缓冲区，避免内存暴涨
• 动态调整：根据当前速度实时调整缓冲区大小

3. 帧率自适应

不是所有设备都能在2倍速下保持60fps渲染。我建议做帧率降级：

• 检测渲染耗时，如果超过16ms（60fps的帧间隔），自动降帧
• 降帧策略：先丢B帧，再丢P帧，I帧永远保留
• 降帧后同步调整音频，保持声画同步

知识体系总览

下面这张图把变速播放的核心逻辑串起来了。从解码到渲染，每一步都有对应的优化策略。

实战中的避坑指南

最后分享几个我踩过的坑，希望能帮你少走弯路：

• 不要用MediaPlayer做变速：它不支持变速播放，硬改速度会导致音画不同步。老老实实用MediaCodec + AudioTrack自己搭管道。
• 注意音频采样率：WSOLA算法对采样率敏感，44.1kHz和48kHz的处理参数不一样。我建议统一转成48kHz再处理。
• 低端设备要降级：千元机在2倍速下解码可能跟不上。我一般会检测解码耗时，如果超过阈值就自动降速到1.5倍。
• 测试要覆盖极限场景：我曾经在4倍速下测试，发现音频处理延迟累积到500ms，画面和声音完全对不上。后来加了定时重同步机制才解决。