21. 媒体时间轴与章节管理：TimedText、章节元数据、Seek操作优化
各位好，今天我们来聊聊媒体播放中一个容易被忽视、但实际非常关键的话题——时间轴与章节管理。说白了，就是怎么让用户在看视频时，能精准地跳转到某个时间点，或者看到字幕、章节标题这些信息。
我早年做播放器的时候，觉得Seek不就是改个播放位置嘛，有什么难的？结果被各种奇葩文件折腾得够呛。有的文件Seek过去画面卡住，有的字幕时间轴对不上，还有的章节信息死活读不出来。嗯，这些坑，我们今天一个一个填。
21.1 时间轴基础：从PTS到播放时钟
先聊点基础的。媒体文件里的每一帧，都有一个时间戳，叫PTS（Presentation Time Stamp）。这个PTS是相对于文件自身的时基（TimeBase）来算的。比如一个视频的时基是1/90000秒，那PTS为180000就代表2秒的位置。
Stagefright里，这个时基信息存在MediaFormat里，key是KEY_TIME_US。但注意，它最终会被转换成微秒（us）来统一处理。我个人习惯在调试时，直接打印这个微秒值，比看PTS直观多了。
// 从MediaSource读取数据时，时间信息在MediaBuffer中
MediaBuffer *buffer;
mSource->read(&buffer, NULL);
int64_t timeUs;
buffer->meta_data()->findInt64(kKeyTime, &timeUs);
// 这个timeUs就是微秒级的时间戳
播放时钟呢？Stagefright用MediaClock来管理。它负责把音频的硬件时钟和视频的渲染时间对齐。说白了，就是保证音画同步。我遇到过一个问题：某些设备上音频时钟漂移严重，导致视频越播越卡。后来发现是MediaClock的更新策略没处理好，需要定期重新校准。
21.2 TimedText：字幕的时间轴管理
字幕这东西，看着简单，其实门道不少。TimedText在Stagefright里是一个独立的TimedTextSource，它负责解析字幕文件（如SRT、TTML）或流中的字幕数据。
每个字幕条目都有一个起始时间和结束时间。Stagefright会把它们解析成TimedText对象，里面包含文本、样式、位置等信息。
字幕的渲染时机由播放时钟驱动。当播放位置进入某个字幕条目的时间范围时，TimedTextPlayer就会把它显示出来。这里有个优化点：字幕数据是预加载还是实时解析？我建议对于本地文件，可以预解析整个字幕文件，生成一个时间轴列表，Seek时直接查表，效率高很多。
// 预解析字幕时间轴
Vector<TimedTextEntry> mTextEntries;
// 解析完成后，按时间排序
for (size_t i = 0; i < mTextEntries.size(); i++) {
if (currentTimeUs >= mTextEntries[i].mStartTimeUs &&
currentTimeUs <= mTextEntries[i].mEndTimeUs) {
// 显示这条字幕
displayText(mTextEntries[i].mText);
break;
}
}
21.3 章节元数据：让用户快速定位
章节（Chapter）是媒体文件里的一种元数据，它把整个视频分成若干段，每段有个标题和起始时间。比如一部电影，你可以直接跳到"第3章：决战时刻"。
Stagefright通过MediaMetadataRetriever来获取章节信息。底层解析依赖于具体的容器格式，比如MKV、MP4都有各自的章节存储方式。
| 容器格式 | 章节存储方式 | Stagefright支持情况 |
|---|---|---|
| MP4 | 使用moov box中的chpl或chap atom | 部分支持，需要厂商扩展 |
| MKV | 使用ChapterDisplay和ChapterAtom元素 | 通过MatroskaExtractor支持 |
| WebM | 类似MKV，但限制更多 | 基本支持 |
获取章节信息的代码大致如下：
sp<MediaMetadataRetriever> retriever = new MediaMetadataRetriever();
retriever->setDataSource(filePath);
// 获取章节数量
int chapterCount = retriever->extractMetadata(
METADATA_KEY_CHAPTER_COUNT);
// 遍历每个章节
for (int i = 0; i < chapterCount; i++) {
String chapterTitle = retriever->extractMetadata(
METADATA_KEY_CHAPTER_TITLE + i);
int64_t chapterStartTime = retriever->extractMetadata(
METADATA_KEY_CHAPTER_START_TIME + i);
// 存储到章节列表中
}
21.4 Seek操作优化：从精准到流畅
Seek操作是播放器里最影响用户体验的功能之一。用户拖一下进度条，你卡个两三秒才反应，那体验就太差了。Stagefright的Seek流程大致是这样的：
- 应用层调用
MediaPlayer::seekTo() - StagefrightPlayer暂停当前解码，清空解码器缓冲区
- 向MediaSource发送Seek请求，指定目标时间
- MediaSource找到最近的Sync Sample（关键帧），开始解码
- 解码器输出数据，直到追上目标时间
这里有个关键点：Seek到关键帧。因为视频编码依赖帧间预测，你只能从关键帧开始解码。如果用户Seek到两个关键帧之间，播放器会先跳到前一个关键帧，然后快速解码到目标位置。这个过程叫"精准Seek"。
另一个优化点是关键帧索引。Stagefright在解析文件时，会构建一个关键帧位置索引表。Seek时直接查表，不用遍历整个文件。对于大文件，这个索引能显著提升Seek速度。
// 关键帧索引示例（伪代码）
struct SyncSample {
int64_t timeUs;
off64_t offset; // 文件中的偏移量
};
Vector<SyncSample> mSyncSamples;
// Seek时二分查找
int64_t targetTimeUs = ...;
int index = binarySearch(mSyncSamples, targetTimeUs);
// 跳到最近的Sync Sample
mSource->seekTo(mSyncSamples[index].offset);
你想想看，如果没有这个索引，每次Seek都要从文件头开始解析，那得多慢？尤其是网络流媒体，根本不可能这么做。
21.5 时间轴与章节的协同工作
最后，我们把时间轴、字幕、章节、Seek串起来看。一个典型的播放场景是这样的：
- 用户打开一个带章节和字幕的视频
- 播放器解析文件，构建时间轴、章节列表、字幕时间轴
- 用户点击"第3章"，播放器执行Seek到章节起始时间
- Seek完成后，播放器检查当前时间是否有字幕需要显示
- 播放过程中，字幕根据时间轴自动切换
这里有个容易出问题的地方：章节起始时间可能不是关键帧。如果章节起始时间落在两个关键帧之间，Seek过去后画面会从上一个关键帧开始，导致用户看到的内容和章节标题对不上。我建议在创建章节时，尽量把章节起始时间对齐到关键帧。如果做不到，播放器在Seek后需要快速解码到目标时间，减少画面错位感。
好了，关于媒体时间轴与章节管理，我们就聊到这里。核心就是理解时间戳的转换、字幕和章节的解析、以及Seek操作的优化。这些知识点在实际开发中非常实用，尤其是做播放器优化时，能帮你少走很多弯路。