从语音通话、视频通话到视频直播:一篇讲透 RTC、WebRTC、P2P、SFU 和实时音视频架构
很多人第一次接触实时音视频,会同时看到一串词:RTC、WebRTC、P2P、SFU、STUN、TURN、ICE、RTP、RTCP、SRTP、Opus、H264、VP8、AV1、RTMP、HLS、CDN。
这些词如果孤立看,很容易越看越乱。因为它们并不是同一层的东西。有的是领域概念,有的是浏览器标准,有的是网络穿透方案,有的是传输协议,有的是编码器,有的是服务器架构,有的是直播分发技术。
这篇文章会从“一个用户发起语音/视频通话”开始,把实时音视频系统拆开讲。目标不是背名词,而是让你知道:
- RTC 和 WebRTC 到底是什么关系。
- WebRTC 是浏览器技术,还是 App 技术,还是服务端技术。
- P2P 是什么,为什么 1v1 可以 P2P,多人就不太行。
- 为什么需要 STUN、TURN、ICE 做 NAT 穿透。
- RTP、RTCP、SRTP 到底负责什么。
- Opus、H264、VP8、AV1 这些编解码器的作用是什么。
- 语音通话、视频通话、直播、直播连麦的架构有什么区别。
- 如果不依赖第三方,从零搭一个自研实时音视频系统,应该怎么设计。
1. 先把几个核心概念摆正
1.1 RTC 是领域,WebRTC 是方案
RTC 是 Real-Time Communication,实时通信。
它是一个大领域,凡是强调低延迟、实时互动的通信,都可以归到 RTC 里。
比如:
- 语音通话。
- 视频通话。
- 多人会议。
- 直播连麦。
- 游戏语音。
- 在线客服。
- 实时字幕。
- 远程协助。
- IoT 设备语音交互。
WebRTC 是 Web Real-Time Communication。
它是一套具体的实时音视频技术标准和实现方案。它解决的不是“业务上谁给谁打电话”,而是“两个端之间如何低延迟、安全、稳定地传输音视频”。
可以这样理解:
text
RTC = 实时通信这个领域
WebRTC = RTC 领域里最常用的一套实时音视频技术方案
所以,RTC 不是某一个框架。WebRTC 才是一套具体协议栈和工程实现。
1.2 WebRTC 只属于浏览器吗
不是。
WebRTC 最早从浏览器场景普及起来,所以名字里有 Web。浏览器原生支持 WebRTC API,例如:
getUserMediaRTCPeerConnectionRTCDataChannel
但今天 WebRTC 不只运行在浏览器里。
它也可以运行在:
- Android App。
- iOS App。
- Windows/macOS 桌面客户端。
- Electron 客户端。
- 服务端媒体服务器。
- IoT 设备。
常见实现包括:
- 浏览器内置 WebRTC。
- Google WebRTC Native SDK。
- Pion WebRTC,Go 生态。
- mediasoup,Node.js/C++ 生态。
- Janus,C 语言实现的 WebRTC Gateway。
- LiveKit,产品化程度比较高的 RTC/SFU 方案。
所以 WebRTC 既有客户端部分,也有服务端部分。
客户端负责:
- 采集麦克风。
- 采集摄像头。
- 编码音视频。
- 建立 WebRTC 连接。
- 发送本地媒体流。
- 接收并播放远端媒体流。
服务端可以负责:
- 房间管理。
- Token 签发。
- SFU 转发。
- 录制。
- 旁路推流。
- 实时字幕。
- 内容审核。
- 统计和质量监控。
1.3 WebRTC 是不是必须自己造轮子
一般不要。
如果你只是学习,可以手写一个浏览器 1v1 P2P Demo。这个 Demo 只需要:
- 一个 WebSocket 信令服务。
- 两个浏览器页面。
- 浏览器原生 WebRTC API。
- 一个 STUN 服务。
但如果你要做产品,不建议从零实现完整协议栈。
因为完整实时音视频系统包含:
- NAT 穿透。
- 加密握手。
- 媒体协商。
- 音频编码。
- 视频编码。
- 拥塞控制。
- 抖动缓冲。
- 丢包恢复。
- 多人转发。
- 设备兼容。
- 网络质量统计。
- 录制和旁路。
- 服务端扩容。
- 监控告警。
这些不是一两个月能稳定自研出来的。
更现实的做法是:
text
业务系统自己做
信令系统自己做
房间和权限自己做
WebRTC/SFU 底层基于成熟框架或云服务
2. 一个视频通话到底发生了什么
我们先看 1v1 视频通话。
假设用户 A 给用户 B 打视频电话。
从业务视角看,只有几步:
- A 点击呼叫。
- B 收到邀请。
- B 点击接听。
- 双方看到对方画面。
- 任意一方挂断。
但从技术视角看,中间有两条链路。
第一条是信令链路。
第二条是媒体链路。
信令链路负责协调。
媒体链路负责传音视频。
这两个东西千万不要混在一起。
2.1 信令是什么
信令就是业务控制消息。
比如:
text
call.invite 发起通话
call.accept 接听通话
call.reject 拒绝通话
call.hangup 挂断通话
rtc.offer 媒体协商 offer
rtc.answer 媒体协商 answer
rtc.candidate 网络候选地址
room.join 加入房间
room.leave 离开房间
WebRTC 不规定信令格式。
也就是说,call.invite 叫什么名字、JSON 怎么设计、走 WebSocket 还是 HTTP,都是你的业务系统自己定。
这也是为什么 WebRTC 项目里通常需要一个自己的 IM 服务或信令服务。
一个常见的信令流程如下:
信令服务只负责把这些消息送到对端。真正的音视频包不会通过信令服务一帧一帧转发。
如果把视频帧都塞进 WebSocket,再由业务服务转发,看似简单,实际很快会出问题:
- 延迟高。
- 带宽压力大。
- 服务端 CPU 压力大。
- 缺少音视频专用拥塞控制。
- 缺少成熟丢包恢复机制。
- 难以支持多人会议。
所以,正式视频通话应该让媒体流走 WebRTC。
2.2 媒体链路是什么
媒体链路就是音频和视频真正传输的链路。
如果是 1v1 P2P,媒体流可能直接在两个客户端之间传:
如果是多人会议,媒体流一般经过 SFU:
这两种架构的区别很大。后面会详细讲。
3. P2P 是什么
P2P 是 Peer-to-Peer,点对点。
在音视频通话里,它表示两个客户端直接建立连接,音视频数据直接互传。
text
客户端 A <-> 客户端 B
服务端只帮它们交换信令,不参与音视频转发。
3.1 P2P 的优点
P2P 的优点很明显:
- 服务端带宽压力小。
- 服务端架构简单。
- 延迟可能更低。
- 适合 1v1 语音通话。
- 适合 1v1 视频通话。
3.2 P2P 的问题
P2P 最大的问题有两个。
第一个是网络不一定打得通。
很多客户端在 NAT 后面,比如家庭路由器、公司内网、运营商网络。两个客户端想直接互连,并不是一定能成功。
第二个是多人场景会崩。
假设 4 个人开会,如果不用 SFU,而是每个人都和其他人 P2P:
每个人都要上传多份视频。
如果是 4 个人,每个人上传 3 份。
如果是 10 个人,每个人上传 9 份。
这对手机、浏览器、家庭宽带都很不友好。
所以:
text
1v1 可以优先 P2P
多人会议一般要 SFU
直播连麦一般要 SFU
大规模直播一般还要 CDN
4. 为什么需要 NAT 穿透
很多人第一次看到 STUN、TURN、ICE,会问:为什么不能直接连?
原因是大部分客户端都没有公网 IP。
你在家里用 Wi-Fi 时,电脑 IP 可能是:
text
192.168.1.8
你在公司网络里,IP 可能是:
text
10.20.5.13
这些都是内网 IP。
公网用户不能直接访问这些地址。
你的网络请求通常是这样出去的:
路由器会做 NAT,也就是网络地址转换。
它把内网地址转换成公网出口地址。
问题是,外部机器想主动连回你的电脑,就不容易了。
实时音视频想做 P2P,就必须解决这个问题。
这就是 NAT 穿透。
5. STUN、TURN、ICE 分别是什么
5.1 STUN
STUN 的作用是让客户端知道:
text
我从公网看起来是什么 IP 和端口
流程很简单:
拿到这个地址后,客户端会把它通过信令发给对端。
对端就可以尝试连接这个公网映射地址。
5.2 TURN
STUN 不是万能的。
有些网络环境下,P2P 就是打不通。
这时候需要 TURN。
TURN 是中继服务器。
如果 A 和 B 无法直连,就让它们都连到 TURN,由 TURN 转发媒体流。
TURN 的好处是成功率高。
TURN 的坏处是成本高。
因为音视频流都经过 TURN,服务器带宽消耗会非常大。
所以 TURN 通常是兜底方案,不是首选方案。
5.3 ICE
ICE 是 Interactive Connectivity Establishment。
它不是一个服务器,而是一套连接选择机制。
ICE 会收集多种候选地址:
- 本机局域网地址。
- STUN 发现的公网映射地址。
- TURN 中继地址。
然后双方交换这些候选地址,再逐个尝试,选一条能连通且质量较好的路径。
一句话总结:
text
STUN 帮你发现公网地址
TURN 在直连失败时帮你中继
ICE 负责收集、尝试、选择最合适的路径
6. RTP、RTCP、SRTP 是什么
6.1 为什么不用普通 HTTP 传音视频
实时音视频最怕延迟。
普通 HTTP 更适合请求-响应式业务,比如:
- 查询用户信息。
- 保存订单。
- 上传图片。
- 下载文件。
实时音视频则更像持续不断的数据流。
它不要求每个包都必须可靠送达,因为如果一个视频包迟到了 3 秒,即使最终到了,也已经没有播放价值。
实时音视频更关心:
- 低延迟。
- 连续性。
- 可恢复。
- 网络变化时快速降级。
所以需要专门的媒体传输协议。
6.2 RTP
RTP 是 Real-time Transport Protocol。
它负责传输实时音视频数据。
每个 RTP 包里会带一些关键信息,例如:
- 序列号。
- 时间戳。
- 负载类型。
- 同步源标识。
这些信息可以帮助接收端:
- 判断包的顺序。
- 发现是否丢包。
- 进行音画同步。
- 把包重新组装成可播放的媒体帧。
6.3 RTCP
RTCP 是 RTP Control Protocol。
它不主要传媒体,而是传控制和统计信息。
比如:
- 丢包率。
- 往返延迟。
- 抖动情况。
- 接收质量。
- 请求关键帧。
发送端可以根据 RTCP 反馈调整码率、分辨率、帧率。
6.4 SRTP
SRTP 是 Secure RTP。
它是加密后的 RTP。
WebRTC 默认要求媒体加密,所以实际媒体传输通常使用 SRTP。
text
RTP 负责传媒体
RTCP 负责反馈质量
SRTP 负责加密保护
7. 拥塞控制、抖动缓冲、丢包恢复
网络不是稳定水管。
它会抖动,会拥塞,会丢包,会突然变差,也会突然恢复。
实时音视频要做得好,必须处理这些问题。
7.1 拥塞控制
拥塞控制就是发现网络变差时,主动降低发送压力。
比如:
- 降低视频码率。
- 降低分辨率。
- 降低帧率。
- 暂停发送某些弱优先级流。
如果网络只能承受 800kbps,你硬发 3Mbps,只会造成更多丢包和更大延迟。
拥塞控制的目标不是永远高清,而是在当前网络条件下尽可能流畅。
7.2 抖动缓冲
网络包到达时间并不均匀。
有的包 20ms 到,有的包 80ms 到,有的包 150ms 到。
如果来一个播一个,播放就会卡顿。
抖动缓冲会先缓存很短一段时间,把不均匀到达的包整理成更稳定的播放节奏。
缓冲太小,容易卡。
缓冲太大,延迟高。
所以实时音视频系统一直在做平衡。
7.3 丢包恢复
实时音视频允许少量丢包,但不能完全不管。
常见手段有:
- NACK:发现丢包后请求重传。
- FEC:前向纠错,提前发送冗余信息。
- PLI:请求对方发送关键帧。
- Jitter Buffer:结合抖动缓冲做平滑播放。
这些机制共同目标是:
text
网络差一点时,不要马上花屏、爆音、卡死
8. Opus、H264、VP8、AV1 是什么
原始音视频非常大,不能直接传。
一个未经压缩的 1080p 视频流,数据量巨大,普通网络根本扛不住。
所以必须编码压缩。
编码器负责把原始音视频压缩成较小的数据。
解码器负责把压缩后的数据还原成可以播放的音视频。
8.1 Opus
Opus 是 WebRTC 常用音频编码器。
它适合实时语音,因为:
- 延迟低。
- 音质好。
- 对网络波动适应性强。
- 支持窄带到全带音频。
语音通话里,Opus 是非常常见的选择。
8.2 H264
H264 是非常成熟的视频编码器。
优点:
- 兼容性好。
- 硬件支持广。
- 移动端支持成熟。
- 直播、会议、短视频都常见。
很多生产系统会优先选择 H264,因为它稳。
8.3 VP8 和 VP9
VP8 是 WebRTC 里很常见的视频编码。
VP9 压缩率更高,但设备支持和性能消耗要综合考虑。
8.4 AV1
AV1 是新一代视频编码器。
优点是压缩率高,同等画质下更省带宽。
问题是编码复杂度更高,对设备性能要求更高。
所以 AV1 很适合未来,但不是所有实时场景都适合一上来就用。
9. 语音通话怎么实现
语音通话比视频通话简单一些,但也不是“传音频文件”这么简单。
它需要:
- 麦克风采集。
- 音频编码。
- 回声消除。
- 噪声抑制。
- 自动增益。
- 网络传输。
- 抖动缓冲。
- 丢包恢复。
- 扬声器播放。
语音通话典型流程:
语音通话的核心指标:
- 延迟。
- 清晰度。
- 卡顿率。
- 丢包后恢复能力。
- 回声控制。
- 弱网表现。
语音通话通常比视频通话省流量。
一般情况下,语音通话可能在几十 kbps 到一百多 kbps 之间。实际取决于编码码率、采样率、是否双声道、是否有冗余包。
10. 视频通话怎么实现
视频通话比语音多了视频采集、视频编码、渲染、分辨率自适应等问题。
典型流程:
视频通话的核心指标:
- 首帧时间。
- 端到端延迟。
- 帧率。
- 分辨率。
- 卡顿率。
- 花屏率。
- 音画同步。
- 弱网降级能力。
视频通话通常需要自适应。
网络好时:
text
720p / 1080p
高码率
较高帧率
网络差时:
text
降低分辨率
降低码率
降低帧率
必要时只保留音频
一个好的视频通话系统,不是永远追求清晰,而是知道什么时候该降级。
11. 多人会议为什么需要 SFU
如果 1v1 是两个人直接沟通,多人会议就是多人互相看见、互相听见。
最朴素的方式是全员 P2P。
但全员 P2P 的上传压力会爆炸。
假设每路视频 1Mbps。
5 人会议中,每个人要上传 4 路:
text
每人上传 4Mbps
总上传链路复杂度高
10 人会议中,每个人要上传 9 路:
text
每人上传 9Mbps
移动端基本不现实
SFU 的出现,就是为了解决多人实时音视频转发。
SFU 全称 Selective Forwarding Unit。
它的工作方式是:
- 每个客户端上传一份媒体流到 SFU。
- SFU 根据需要把其他人的流转发给当前客户端。
- SFU 通常不做复杂转码,主要做选择性转发。
有了 SFU,客户端上传压力从 N-1 路变成 1 路。
服务器承担转发压力。
这也是多人会议、直播连麦、在线课堂常用 SFU 的原因。
12. 直播和视频通话的区别
视频通话是互动。
直播是分发。
视频通话通常是:
text
人数较少
双向互动
低延迟要求高
直播通常是:
text
一个或少数主播上行
大量观众下行
观众主要观看
延迟可以根据场景接受几百毫秒到几秒
普通直播架构:
直播连麦架构:
普通直播可以用 RTMP 推流、HLS/FLV 播放、CDN 分发。
低延迟直播和连麦更适合 WebRTC。
大规模观众分发仍然通常需要 CDN。
13. 大量用户进入一个直播房间会怎样
假设一个主播推 3Mbps 视频流。
如果 10000 个观众都直接从你的业务服务器拉流:
text
3Mbps * 10000 = 30000Mbps = 30Gbps
普通服务器扛不住。
即使服务器 CPU 没问题,带宽费用和网卡吞吐也会非常夸张。
所以大规模直播不能让所有观众直接连你的单台服务。
需要分层。
大规模直播要拆成几条链路:
- 音视频分发链路。
- 弹幕链路。
- 礼物链路。
- 在线人数链路。
- 推荐和房间列表链路。
- 审核链路。
- 录制回放链路。
不要把所有东西都塞进一个 WebSocket 服务。
14. 直播系统的典型架构
一个更完整的直播系统大概是这样:
直播间里不同数据的处理方式不同。
| 数据类型 | 推荐链路 |
|---|---|
| 主播视频流 | RTMP/WebRTC -> 源站/SFU -> CDN |
| 连麦视频流 | WebRTC -> SFU |
| 弹幕 | WebSocket -> IM/消息服务 |
| 礼物 | HTTP/WebSocket -> 业务服务 -> MQ |
| 在线人数 | Redis 计数 + 定时聚合 |
| 审核截图 | 媒体旁路 -> AI 审核 |
| 回放 | 录制 -> 转码 -> 对象存储 |
15. 如果不依赖第三方,怎么自建
不依赖第三方,不代表所有协议从零写。
现实的自建方案应该是:
- 业务服务自己写。
- 信令服务自己写。
- RTC 控制面自己写。
- TURN 服务使用 coturn。
- SFU 使用成熟开源方案。
- 录制转码使用 FFmpeg。
- 监控使用 Prometheus/Grafana。
推荐技术栈:
| 模块 | 技术选择 |
|---|---|
| API 网关 | Spring Cloud Gateway / Nginx / OpenResty |
| 信令服务 | Java Netty / Go WebSocket |
| RTC 控制面 | Go + Gin |
| SFU | LiveKit / Janus / mediasoup / Pion |
| STUN/TURN | coturn |
| 录制转码 | FFmpeg |
| 房间状态 | Redis |
| 业务数据 | MySQL |
| 消息队列 | RabbitMQ / Kafka / Redis Stream |
| 监控 | Prometheus + Grafana |
| 日志 | Loki / ELK |
| 对象存储 | MinIO / S3 / OSS |
自建整体架构:
在你的服务体系里,可以这样分工:
| 服务 | 职责 |
|---|---|
s-gateway |
入口、鉴权、路由 |
s-im-server |
WebSocket 长连接、在线路由、信令转发 |
s-message |
聊天消息、通话记录、离线消息、MQ 分发 |
s-rtc |
RTC 房间、Token、ICE、SFU/第三方 RTC 适配 |
s-media-session |
字幕、摘要、数字人、换脸、审核、AI 语音 |
s-ai |
模型、平台、账号、路由、计费 |
| SFU 集群 | 真正转发实时音视频媒体流 |
| coturn | NAT 穿透失败时做中继兜底 |
16. 你的系统里一次视频通话怎么走
推荐流程:
这里有几个关键点:
s-im-server不转发视频帧。s-message不保存媒体流。s-rtc不做 AI 编排。s-media-session不维护用户长连接。- 客户端直接连 WebRTC P2P 或 SFU。
17. 你的系统里一次语音通话怎么走
语音通话和视频通话架构类似,只是媒体轨道只有音频。
如果是小智语音助手,则不完全一样。
小智语音不是“人和人通话”,而是“设备和 AI 对话”。
这时可以进入 s-media-session:
18. 你的系统里直播怎么走
直播要分普通直播和直播连麦。
普通直播:
直播连麦:
直播里最容易犯的错,是把直播间所有东西都当成一条 WebSocket 消息流。
正确拆法应该是:
text
视频流走媒体链路
弹幕走 IM 链路
礼物走业务链路
在线人数走 Redis/聚合链路
审核走 AI 旁路
回放走录制转码链路
19. 自研实时音视频系统的分阶段路线
不要一上来就做完整直播平台。
建议按这个顺序:
阶段一:WebSocket 信令
先实现:
- 用户连接。
- 心跳。
- 在线状态。
- 单聊消息。
- 通话邀请。
- 接听/拒绝/挂断。
这一阶段不碰真正音视频。
阶段二:浏览器 1v1 WebRTC P2P
实现:
- 浏览器采集麦克风/摄像头。
- 交换 offer/answer。
- 交换 ICE candidate。
- 1v1 音视频直连。
这一阶段主要理解 WebRTC。
阶段三:接 STUN/TURN
实现:
- 配置 STUN。
- 自建 coturn。
- 验证复杂网络下 TURN 中继。
- 统计 P2P 成功率和 TURN 使用率。
这一阶段主要理解 NAT 穿透。
阶段四:引入 s-rtc
实现:
- 创建房间。
- 签发 Token。
- 返回 ICE 配置。
- 记录房间状态。
- 封装 provider。
这一阶段把 RTC 控制面沉淀下来。
阶段五:接 SFU
实现:
- 接 LiveKit/Janus/mediasoup/Pion。
- 多人会议。
- 发布/订阅媒体流。
- 房间成员管理。
- 基础质量统计。
这一阶段解决多人音视频。
阶段六:做直播连麦
实现:
- 主播开播。
- 观众进房。
- 连麦申请。
- 连麦审核。
- SFU 转发。
- CDN 分发。
这一阶段解决大规模观看和少量互动。
阶段七:AI 旁路
实现:
- 实时字幕。
- 会议摘要。
- 内容审核。
- 语音翻译。
- 数字人。
- 换脸或虚拟背景。
这时再让 s-media-session 介入,不要让 AI 逻辑污染 s-im-server 和 s-rtc。
20. 最后一张总图
21. 记住这几句话就够了
text
RTC 是实时通信领域,WebRTC 是具体实时音视频方案。
WebRTC 不只浏览器能用,App 和服务端也能用。
信令自己定义,通常走 WebSocket 或 HTTP。
媒体不要走普通业务服务转发,应该走 WebRTC P2P 或 SFU。
P2P 适合 1v1,多人会议和直播连麦需要 SFU。
STUN 找公网映射地址,TURN 做中继兜底,ICE 负责选择路径。
RTP 传媒体,RTCP 反馈质量,SRTP 加密媒体。
Opus 压缩语音,H264/VP8/AV1 压缩视频。
直播是大规模分发,视频通话是低延迟互动。
s-im-server 管连接和信令,s-rtc 管房间和 Token,s-media-session 管 AI 旁路。
实时音视频看起来复杂,是因为它横跨了客户端、网络、服务端、媒体处理和业务系统。
但只要分清层次,它就不再是一团乱麻:
- 业务层解决“谁和谁通信”。
- 信令层解决“怎么建立关系”。
- RTC 层解决“怎么传音视频”。
- SFU/CDN 解决“怎么多人和大规模分发”。
- AI 旁路解决“怎么做字幕、审核、摘要、数字人”。
真正好的实时音视频架构,不是把所有能力塞进一个服务,而是让每一层只做自己该做的事。