音视频技术基础

音视频技术原理及应用

一文从理论到应用带你入坑音视频技术

https://mp.weixin.qq.com/s/krCqizgTVG9_T7yGe5bi6Q

基础知识

• 音频基础：声音转数字信号（采样、量化、编码）、PCM 技术、音频压缩（有损和无损压缩）、AAC 解析。

• 视频基础：视频编码原理（空间冗余、时间冗余、编码冗余、视觉冗余、知识冗余）、H.264/AVC 和 H.265/HEVC 编码、码流结构、码率控制。

优化算法

• 音频优化：音频去噪（时域去噪、频域去噪、小波去噪、维纳滤波、卡尔曼滤波、自适应去噪）、回声消除、音量均衡（LKFS/LUFS 标准化）、空间音频技术（杜比全景声）。

• 视频优化：码控算法、Jitter Buffer、可伸缩编码（SVC）。

行业标准

• 编码协议：ISO-MPEG/ITU-T 系列（MPEG-1, MPEG-2, MPEG-4, H.261, H.262, H.263, H.264/AVC, H.265/HEVC）、AOM 系列（VP8, VP9, AV1）、AVS 系列（AVS1, AVS2, AVS3）。

• 封装协议：MP4、RMVB、MOV、AVI、MKV、OGV、QLV、WebM。

• 直播协议：WebRTC、WebSocket、M3U8/TS (HLS)、RTMP (FLV)、RTSP。

场景应用

• 人审业务：发言者标识、主备流切换、音量均衡。

• 直播业务：斗鱼（HTTP-FLV 优化方案）、虎牙（HLS 方案）、B 站（HLS 技术优化方案）。

• 实时会议：WebRTC 及其扩展用于点对点通信、电话会议、屏幕共享等，腾讯会议的 xCast-Pere 架构。