音视频基础之多媒体封装格式

栏目: IT技术 · 发布时间: 3年前

内容简介：一般情况下，一个完整的视频文件是由音频和视频两部分组成的。常见的 AVI、RMVB、MKV、ASF、WMV、MP4、3GP、FLV 等文件只能算是一种封装格式。H.264，HEVC，VP9 和 AV1 等就是视频编码格式，MP3、AAC 和 Opus 等就是音频编码格式。比如：将一个 H.264 视频编码文件和一个 AAC 音频编码文件按 MP4 封装标准封装以后，就得到一个 MP4 后缀的视频文件，也就是我们常见的 MP4 视频文件了。音视频编码的主要目的是压缩原始数据的体积。而封装格式（也称为多媒体容器

一般情况下，一个完整的视频文件是由音频和视频两部分组成的。常见的 AVI、RMVB、MKV、ASF、WMV、MP4、3GP、FLV 等文件只能算是一种封装格式。H.264，HEVC，VP9 和 AV1 等就是视频编码格式，MP3、AAC 和 Opus 等就是音频编码格式。

比如：将一个 H.264 视频编码文件和一个 AAC 音频编码文件按 MP4 封装标准封装以后，就得到一个 MP4 后缀的视频文件，也就是我们常见的 MP4 视频文件了。

音视频编码的主要目的是压缩原始数据的体积。而封装格式（也称为多媒体容器），比如 MP4，MKV，是用来存储/传输编码数据，并按一定规则把音视频、字幕等数据组织起来，同时还会包含一些元信息，比如当前流中包含哪些编码类型、时间戳等，播放器可以按照这些信息来匹配解码器、同步音视频。

接下来，本文我们将重点介绍 MP4、Fragmented MP4 和 FLV 这三种封装格式。不过在介绍封装格式前，我们先来了解一下视频播放器的原理。

一、视频播放器原理

视频播放器是指能播放以数字信号形式存储的视频的软件，也指具有播放视频功能的电子器件产品。大多数视频播放器（除了少数波形文件外）携带解码器以还原经过压缩的媒体文件，视频播放器还要内置一整套转换频率以及缓冲的算法。此外，大多数的视频播放器还能支持播放音频文件。

视频播放基本处理流程大致包括以下几个阶段：

（1）解协议

从原始的流媒体协议数据中删除信令数据，只保留音视频数据，如采用 RTMP 协议传输的数据，经过解协议后输出 FLV 格式的数据。

（2）解封装

分离音频和视频压缩编码数据，常见的封装格式 MP4，MKV，RMVB，FLV，AVI 这些格式。从而将已经压缩编码的视频、音频数据放到一起。例如 FLV 格式的数据经过解封装后输出 H.264 编码的视频码流和 AAC 编码的音频码流。

（3）解码

视频，音频压缩编码数据，还原成非压缩的视频，音频原始数据，音频的压缩编码标准包括 AAC，MP3，AC-3等，视频压缩编码标准包含 H.264，MPEG2，VC-1 等经过解码得到非压缩的视频颜色数据如 YUV420P，RGB 和非压缩的音频数据如 PCM 等。

（4）音视频同步

将同步解码出来的音频和视频数据分别送至系统声卡和显卡播放。

介绍完视频播放器的原理，我们开始进入正题 —— 多媒体容器格式。

二、多媒体容器格式

对于数字媒体数据来说，容器就是一个可以将多媒体数据混在一起存放的东西，就像是一个包装箱，它可以对音、视频数据进行打包装箱，将原来的两块独立的媒体数据整合到一起，当然也可以单单只存放一种类型的媒体数据。

有时候，多媒体容器也称封装格式，它只是为编码后的多媒体数据提供了一个 “外壳”，也就是将所有的处理好的音频、视频或字幕都包装到一个文件容器内呈现给观众，这个包装的过程就叫封装。常用的封装格式有：MP4，MOV，TS，FLV，MKV 等。

2.1 MP4 容器格式

MPEG-4 Part 14（MP4）是最常用的容器格式之一，通常以 .mp4 文件结尾。它用于 HTTP（DASH）上的动态自适应流，也可以用于 Apple 的 HLS 流。MP4 基于 ISO 基本媒体文件格式（MPEG-4 Part 12），该格式基于 QuickTime 文件格式。MPEG 代表动态图像专家组，是国际标准化组织（ISO）和国际电工委员会（IEC）的合作。MPEG 的成立是为了设置音频和视频压缩与传输的标准。

MP4 支持多种编解码器，常用的视频编解码器是 H.264 和 HEVC，而常用的音频编解码器是 AAC，AAC 是著名的 MP3 音频编解码器的后继产品。

MP4 是由一系列的 box 组成，它的最小组成单元是 box。 MP4 文件中的所有数据都装在 box 中，即 MP4 文件由若干个 box 组成，每个 box 有类型和长度，可以将 box 理解为一个数据对象块。box 中可以包含另一个 box，这种 box 称为 container box。

一个 MP4 文件首先会有且仅有一个 ftyp 类型的 box，作为 MP4 格式的标志并包含关于文件的一些信息，之后会有且只有一个 moov 类型的 box（movie box），它是一种 container box，可以有多个，也可以没有，媒体数据的结构由 metadata 进行描述。

好的，介绍完 MP4 容器的相关知识，现在让我们来看一下 MP4 文件的结构图：

音视频基础之多媒体封装格式

看完上述的 MP4 文件的结构图，相信有些读者会有疑问 —— 实际的 MP4 文件结构是怎么样的？通过使用 mp4box.js 提供的在线服务，我们可以方便的查看本地或在线 MP4 文件内部的结构：

mp4box.js 在线地址：https://gpac.github.io/mp4box.js/test/filereader.html

由于 MP4 文件结构比较复杂（不信请看下图），这里我们就不继续展开，有兴趣的读者，可以自行阅读相关文章。

接下来，我们来介绍 Fragmented MP4 容器格式。

2.2 Fragmented MP4 容器格式

MP4 ISO Base Media 文件格式标准允许以 fragmented 方式组织 box，这也就意味着 MP4 文件可以组织成这样的结构，由一系列的短的 metadata/data box 对组成，而不是一个长的 metadata/data 对。Fragmented MP4 文件结构如下图所示，图中只包含了两个 fragments：

（图片来源 —— https://alexzambelli.com/blog/2009/02/10/smooth-streaming-architecture/）

在 Fragmented MP4 文件中含有三个非常关键的 boxes： moov 、 moof 和 mdat 。

moov（movie metadata box）：用于存放多媒体 file-level 的元信息。
```
mdat
mdat
mdat
```
moof（movie fragment box）：用于存放 fragment-level 的元信息。该类型的 box 在普通的 MP4 文件中是不存在的，而在 Fragmented MP4 文件中，每个 fragment 都会有一个 moof 类型的 box。

Fragmented MP4 文件中的 fragment 由 moof 和 mdat 两部分组成，每个 fragment 可以包含一个音频轨或视频轨，并且也会包含足够的元信息，以保证这部分数据可以单独解码。Fragment 的结构如下图所示：