10、音视频剪辑：时间线模型、片段裁剪、拼接、音视频轨道对齐
音视频剪辑，说白了就是跟时间打交道。
你想想看，我们平时用手机剪视频，拖拽、裁剪、拼接，背后其实是一套时间线模型在支撑。我刚开始做这块时，以为剪辑就是简单的“切一刀、粘起来”，结果发现音画不同步、裁剪精度差、拼接后卡顿……各种坑踩了个遍。
今天我们就来聊聊，Android 上怎么实现一个靠谱的剪辑引擎。
10.1 时间线模型：剪辑的骨架
时间线模型，是所有剪辑操作的基础。它定义了素材在时间轴上的位置、时长、层级关系。
我个人习惯把时间线抽象成三层结构：
- 轨道层（Track）：视频轨道、音频轨道、字幕轨道等。每个轨道独立管理自己的片段序列。
- 片段层（Clip）：一个片段对应一段原始媒体文件，包含它在时间线上的起始时间、结束时间、以及原始媒体的偏移量。
- 时间轴（Timeline）：全局的时间坐标系，所有轨道和片段都挂在这个坐标系下。
举个例子：
// 一个简单的时间线模型定义
data class TimelineClip(
val sourcePath: String, // 原始文件路径
val sourceStartUs: Long, // 原始媒体中的起始时间（微秒）
val sourceEndUs: Long, // 原始媒体中的结束时间
val timelineStartUs: Long, // 在时间线上的起始时间
val timelineEndUs: Long // 在时间线上的结束时间
)
data class Track(
val trackType: Int, // 0=视频, 1=音频
val clips: MutableList<TimelineClip>
)
data class Timeline(
val videoTracks: List<Track>,
val audioTracks: List<Track>,
val durationUs: Long // 总时长
)为什么要有 sourceStartUs 和 timelineStartUs 两套时间？
嗯，这里要注意：原始媒体可能很长，但你只需要截取其中一段。比如一个10分钟的视频，你只想要第2分钟到第3分钟的内容。这时候 sourceStartUs 就是2分钟的位置，timelineStartUs 则是它在最终输出中的起始位置。
核心思想：时间线模型本质上是“源时间”到“目标时间”的映射。所有剪辑操作，最终都是修改这个映射关系。
10.2 片段裁剪：精确到帧
裁剪，就是决定一个片段从哪里开始、到哪里结束。
我在项目中遇到过一个问题：用户裁剪视频时，总是多出几帧或者少了几帧。后来发现是时间精度没处理好。
Android 的 MediaCodec 和 MediaExtractor 支持微秒级的时间戳，但实际编码时，关键帧（I帧）的位置决定了你能裁剪的精度。
举个例子：
// 裁剪一个视频片段
fun trimClip(
extractor: MediaExtractor,
startUs: Long,
endUs: Long,
muxer: MediaMuxer
) {
// 1. 找到最近的 keyframe
extractor.seekTo(startUs, MediaExtractor.SEEK_TO_PREVIOUS_SYNC)
// 2. 逐帧读取，直到到达 startUs
while (extractor.sampleTime < startUs) {
// 跳过 startUs 之前的帧
extractor.advance()
}
// 3. 开始写入
while (extractor.sampleTime < endUs) {
val sampleSize = extractor.readSampleData(buffer, 0)
val trackIndex = extractor.sampleTrackIndex
val presentationTimeUs = extractor.sampleTime
// 写入 muxer
muxer.writeSampleData(trackIndex, buffer, bufferInfo)
extractor.advance()
}
}我曾经踩过的坑：直接使用 seekTo(startUs, SEEK_TO_CLOSEST_SYNC) 会导致裁剪点偏移。因为关键帧不一定正好在 startUs 位置。正确的做法是 seek 到前一个关键帧，然后逐帧跳过不需要的部分。
10.3 拼接：无缝衔接的艺术
拼接，就是把多个片段按顺序连起来。
听起来简单？其实不然。拼接时最怕的就是“跳帧”和“音画不同步”。
我建议的做法是：
- 时间戳重映射：每个片段在拼接后，它的时间戳需要重新计算。比如片段A时长5秒，片段B时长3秒，那么B的第一帧时间戳应该是5秒（而不是0）。
- 交叉淡入淡出：如果两个片段之间直接硬切，视觉上会显得突兀。加一个短暂的交叉淡入淡出（比如0.3秒），效果会好很多。
- 音频连续性：音频不能有断点。如果两个音频片段之间有空隙，人耳会明显感觉到“啪”的一声。
// 拼接时的时间戳重映射
fun remapTimestamps(clips: List<TimelineClip>): List<TimelineClip> {
var currentTimeUs = 0L
return clips.map { clip ->
val newClip = clip.copy(
timelineStartUs = currentTimeUs,
timelineEndUs = currentTimeUs + (clip.sourceEndUs - clip.sourceStartUs)
)
currentTimeUs = newClip.timelineEndUs
newClip
}
}10.4 音视频轨道对齐：同步是生命线
音视频不同步，是所有剪辑工具的死穴。
为什么会不同步？原因有很多：
- 视频帧率（fps）和音频采样率不匹配
- 解码器处理延迟不一致
- 时间戳精度丢失（比如从微秒转成毫秒时四舍五入）
我个人的做法是：
- 统一时间基准：所有时间戳都用微秒（us），不要混用毫秒和微秒。
- 音频重采样：如果音频采样率不一致（比如一个片段是44100Hz，另一个是48000Hz），需要先重采样到统一采样率。
- 视频帧率归一化：不同帧率的视频拼接时，需要做帧率转换。比如30fps和60fps的片段混剪，最好统一到30fps。
一个小技巧：在拼接完成后，可以用 MediaExtractor 读取每个帧的时间戳，检查是否有跳变或重复。如果发现时间戳回退，说明同步有问题。
10.5 整体流程与架构
下面这张图展示了整个剪辑引擎的核心流程：
整个流程其实不复杂：输入原始媒体 + 时间线模型 + 裁剪参数，经过解码、重映射、对齐，最后编码输出。
总结一下：
- 时间线模型是骨架，定义素材的时空关系
- 裁剪要精确到关键帧，避免精度损失
- 拼接要重映射时间戳，保证连续性
- 音视频对齐是生命线，统一时间基准是关键
嗯，这些就是我在实际项目中积累的经验。剪辑引擎看起来简单，但每个细节都值得深挖。希望对你有所帮助。
公众号:蓝海资料掘金营，微信deep3321