第24章 WebRTC与游戏

课程目录第24章 WebRTC与游戏

24、WebRTC与游戏：实时对战语音、云游戏串流、WebRTC在Unity中的使用

游戏行业对实时通信的要求，说实话比视频会议要苛刻得多。视频通话里卡个几百毫秒，大家还能忍；游戏里要是延迟超过100ms，玩家直接就骂娘了。我这些年做过几款带语音功能的游戏，也踩过不少坑，今天就把这些经验掰开揉碎讲给你听。

24.1 实时对战语音：不只是“能说话”就行

很多开发者觉得，游戏里加个语音嘛，把WebRTC的音频流接进来不就完了？嗯，真这么干的话，玩家会把你骂到怀疑人生。

游戏语音的核心痛点：

延迟敏感：端到端延迟必须控制在100ms以内
背景噪声：键盘声、鼠标声、室友的呼噜声
音量均衡：有人轻声细语，有人吼得你耳朵疼
3D空间感：队友在左边说话，声音应该从左边传来

我在做一款FPS游戏时，最开始用的就是标准WebRTC。结果测试时发现，队友说话有回声，而且键盘敲击声比人声还大。后来怎么解决的？我用了三个关键手段。

24.1.1 音频处理三板斧

第一板斧：回声消除（AEC）

WebRTC自带的AEC模块其实够用，但有个坑——它默认是针对麦克风和扬声器分离的场景设计的。游戏里很多人用耳机，这时候AEC反而会误杀有效语音。我的做法是：检测到耳机模式时，直接关闭AEC。

// 检测音频输出设备类型
function isHeadphone() {
  const audioOutput = navigator.mediaDevices.enumerateDevices()
    .then(devices => devices.filter(d => d.kind === 'audiooutput'));
  // 实际项目中需要根据设备label判断
  return true; // 简化示意
}

// 根据设备类型配置AEC
const audioConstraints = {
  audio: {
    echoCancellation: !isHeadphone(),
    noiseSuppression: true,
    autoGainControl: true
  }
};

第二板斧：噪声抑制

键盘声、鼠标点击声，这些属于瞬态噪声，WebRTC默认的噪声抑制模块处理得不太好。我后来引入了RNNoise（递归神经网络噪声抑制），效果立竿见影。不过要注意，RNNoise会额外消耗CPU，移动端慎用。

第三板斧：音量自动增益（AGC）

这个其实挺玄学的。有人说话像蚊子，有人像打雷。AGC能自动拉平音量，但调得太猛会导致背景噪声也被放大。我一般把目标音量设在-18dBFS，然后限制最大增益不超过12dB。

24.1.2 3D空间音频

这个功能在吃鸡类游戏里特别重要。队友在你左边，声音就应该从左边耳机传来。WebRTC本身不直接支持3D音频，但我们可以用PannerNode来实现。

// 创建3D音频上下文
const audioCtx = new AudioContext();
const panner = audioCtx.createPanner();
panner.panningModel = 'HRTF'; // 头部相关传输函数
panner.distanceModel = 'inverse';
panner.refDistance = 1;
panner.maxDistance = 100;

// 将WebRTC音频流接入3D音频
const stream = peerConnection.getRemoteStreams()[0];
const source = audioCtx.createMediaStreamSource(stream);
source.connect(panner);
panner.connect(audioCtx.destination);

// 根据队友位置更新声源位置
function updatePlayerPosition(x, y, z) {
  panner.positionX.value = x;
  panner.positionY.value = y;
  panner.positionZ.value = z;
}

我的经验：HRTF模型虽然效果好，但计算量大。在移动端我改用equalpower模型，虽然空间感差一点，但帧率能稳定在60fps。

24.2 云游戏串流：把延迟压到极限

云游戏说白了就是“远程桌面+实时视频流”。WebRTC在这里的优势是天然支持低延迟视频编码和传输。但云游戏对延迟的要求比视频通话还变态——操作到画面反馈必须在50ms以内。

我曾经帮一家云游戏公司做过优化，他们的方案是这样的：

编码器选择：用硬件编码器（NVENC/AMF），软件编码器延迟太高
码率控制：用CBR（恒定码率），不用VBR，避免码率波动导致卡顿
帧率控制：强制60fps，低于45fps时直接降分辨率
GOP结构：只用IDR帧，不用B帧，B帧会引入额外延迟

注意：云游戏场景下，WebRTC的拥塞控制算法（GCC）需要调整。默认的GCC倾向于“保质量降帧率”，但游戏需要“保帧率降质量”。我一般把minBitrate设得很低，确保网络波动时优先保证帧率。

24.2.1 操作指令的低延迟传输

云游戏里，玩家的键盘鼠标操作需要传到服务器。用WebRTC的DataChannel传这些指令，比用HTTP轮询快得多。但要注意，DataChannel默认是可靠传输，会重传丢包，这反而增加了延迟。

// 使用不可靠模式传输操作指令
const dataChannel = peerConnection.createDataChannel('input', {
  ordered: false,      // 不保证顺序
  maxRetransmits: 0    // 不重传
});

// 发送鼠标移动
function sendMouseMove(x, y) {
  const msg = {
    type: 'mousemove',
    x: x,
    y: y,
    timestamp: performance.now()
  };
  dataChannel.send(JSON.stringify(msg));
}

// 发送按键事件
function sendKeyEvent(key, pressed) {
  const msg = {
    type: 'keyevent',
    key: key,
    pressed: pressed,
    timestamp: performance.now()
  };
  dataChannel.send(JSON.stringify(msg));
}

这里有个细节：操作指令的采样率要跟游戏帧率同步。我见过有人用1000Hz的鼠标采样率，结果服务器处理不过来，反而增加了延迟。一般125Hz就够用了。

24.3 WebRTC在Unity中的使用

Unity官方有个WebRTC包，但说实话，文档写得不太友好。我刚开始用的时候，光配置就折腾了两天。这里直接给你一个能跑起来的例子。

24.3.1 在Unity中集成WebRTC

首先，通过Package Manager安装com.unity.webrtc包。然后写一个简单的语音聊天组件：

using UnityEngine;
using Unity.WebRTC;
using System.Collections;

public class VoiceChat : MonoBehaviour
{
    private RTCPeerConnection pc;
    private AudioStreamTrack audioTrack;

    void Start()
    {
        StartCoroutine(WebRTC.Initialize());
        StartCoroutine(SetupConnection());
    }

    IEnumerator SetupConnection()
    {
        // 等待初始化完成
        yield return WebRTC.Initialize();

        // 创建PeerConnection
        var config = new RTCConfiguration
        {
            iceServers = new[] { new RTCIceServer { urls = new[] { "stun:stun.l.google.com:19302" } } }
        };
        pc = new RTCPeerConnection(config);

        // 获取麦克风音频
        var audioConstraints = new AudioStreamConstraints
        {
            audio = new AudioConstraints
            {
                echoCancellation = true,
                noiseSuppression = true
            }
        };
        var audioStream = Audio.CaptureStream(audioConstraints);
        audioTrack = audioStream.GetAudioTracks()[0] as AudioStreamTrack;
        pc.AddTrack(audioTrack, audioStream);

        // 处理远程流
        pc.OnTrack = (RTCTrackEvent e) =>
        {
            var remoteStream = e.Streams[0];
            var remoteAudio = remoteStream.GetAudioTracks()[0];
            // 播放远程音频
            Audio.PlayStream(remoteStream);
        };

        // 创建Offer
        var offer = pc.CreateOffer();
        yield return offer;
        pc.SetLocalDescription(offer.Desc);
    }
}

避坑指南：Unity的WebRTC包在Android上有个坑——必须申请RECORD_AUDIO权限。我曾经忘了加这个权限，结果游戏在Android上一直没声音，查了两天才发现。

24.3.2 在Unity中实现云游戏客户端

云游戏客户端其实就是个视频播放器，只不过视频流来自WebRTC。Unity里可以用VideoStreamTrack来接收远程视频，然后渲染到RawImage上。

using UnityEngine;
using UnityEngine.UI;
using Unity.WebRTC;

public class CloudGameClient : MonoBehaviour
{
    public RawImage display;
    private RTCPeerConnection pc;
    private VideoStreamTrack videoTrack;

    void Start()
    {
        StartCoroutine(Initialize());
    }

    IEnumerator Initialize()
    {
        yield return WebRTC.Initialize();

        pc = new RTCPeerConnection();
        pc.OnTrack = (RTCTrackEvent e) =>
        {
            if (e.Track is VideoStreamTrack video)
            {
                videoTrack = video;
                // 将视频渲染到RawImage
                videoTrack.OnVideoReceived += (texture) =>
                {
                    display.texture = texture;
                };
            }
        };

        // 接收远程的Offer
        // 这里需要从信令服务器获取
    }

    void OnDestroy()
    {
        videoTrack?.Dispose();
        pc?.Close();
    }
}

这里要注意，OnVideoReceived回调是在渲染线程调用的，不要在里面做耗时操作。我见过有人在这个回调里写日志，结果导致UI卡顿。

24.4 知识体系总览

说了这么多，我把WebRTC在游戏中的应用画成了一张图，方便你理解整体架构：

这张图把今天讲的内容串起来了。最上层是三个应用场景，中间是各自依赖的核心技术，底层是统一的WebRTC传输层和网络基础设施。你想想看，不管做语音还是云游戏，底层都是同一套东西，只是上层的处理逻辑不同。

总结一下今天的关键点：

游戏语音要关注AEC、噪声抑制、3D空间音频
云游戏串流要优先保证帧率，用硬件编码器和CBR
Unity集成WebRTC时注意权限和线程问题
DataChannel用不可靠模式传输操作指令

说实话，WebRTC在游戏领域的潜力远不止这些。我最近在尝试用WebRTC做多人联机游戏的帧同步，虽然还在实验阶段，但初步效果还不错。等有成果了再跟你分享。

📚 课程目录

24、WebRTC与游戏：实时对战语音、云游戏串流、WebRTC在Unity中的使用

24.1 实时对战语音：不只是“能说话”就行

24.1.1 音频处理三板斧

24.1.2 3D空间音频

24.2 云游戏串流：把延迟压到极限

24.2.1 操作指令的低延迟传输

24.3 WebRTC在Unity中的使用

24.3.1 在Unity中集成WebRTC

24.3.2 在Unity中实现云游戏客户端

24.4 知识体系总览