ts流_ts流和ps流_ts流结构(2)

基本流程如下：首先 MPEG-2 压缩编码得到的 ES 基本流，这个数据流很大，并且只是 I ， P ， B 的这些视频帧或音频取样信息，然后加入一些同步信息，打包成长度可变长度的数据包 PES ，原来是流的式，现在成了数据包的分割形式。同时要注意的是， ES 是只包含一种内容的数据流，如只含视频，或只含音频等，打包之后的 PES 也是只含一种性质的 ES, 如只含视频 ES 的 PES, 只含音频 ES 的 PES 等。可以知道， ES 是编码视频数据流或音频数据流，每个 ES 都由若干个存取单元（ AU ）组成，每个视频 AU 或音频 AU 都是由头部和编码数据两部分组成， 1 个 AU 相当于编码的 1 幅视频图像或 1 个音频帧，也可以说，每个 AU 实际上是编码数据流的显示单元，即相当于解码的 1 幅视频图像或 1 个音频帧的取样。 PEG-2 对视频的压缩产生 I 帧、 P 帧、 B 帧。把帧顺序 I1,P4,B2,B3,P7,B5,B6 帧的编码 ES ，通过打包并在每个帧中插入 PTS/DTS 标志，变成 PES 。在插入 PTS/DTS 标志时，由于在 B 帧 PTS 和 DTS 相等，所以无须在 B 帧多插入 DTS 。而对于 I 帧 和 P 帧，由于经过复用后数据包的顺序会发生变化，显示前一定要存储于视频的从新排序缓存器中，经过从新排序后再显示，所以一定要同时插入 PTS 和 DTS 作为从新排序的依据。

其中，有否 PTS/DTS 标志，是解决视音频同步显示、防止输入缓存器上溢或下溢的关键所在。PTS 表明显示单元出现在系统目标（ STD- System Target Decoder ）的时间 , DTS 表明将存取单元全部字节从 STD 的 ES 解码缓存器移走的时刻。视频编码图像帧次序为 I1,P4,B2,B3,P7,B5,B6,I10,B8,B9 的 ES ，加入 PTS/DTS 后，打包成一个个视频 PES 包。每个 PES 包都有一个包头，用于定义 PES 内的数据内容，提供定时资料。每个 I 、 P 、 B帧的包头都有一个 PTS 和 DTS ，但 PTS 与 DTS 对 B 帧都是一样的，无须标出 B 帧的 DTS 。对 I 帧和 P 帧，显示前一定要存储于视频的重新排序缓存器中，经过延迟（重新排序）后再显示，一定要分别标明 PTS 和 DTS 。例如，输入的图像帧次序为 I1,P4,B2,B3,P7,B5,B6,I10,B8,B9 ，依输出的帧次序，应该 P4 比 B2 、 B3 在先，但显示时 P4 一定要比 B2 、 B3 在后，即 P4 要在提前插入数据流中的时间标志指引下，经过缓存器重新排序，以重建编码前视频帧次序 I1,B2,B3,P4,B5,B6,P7,B8,B9,I10 。显然， PTS/DTS 标志表明对确定事件或确定信息解码的专用时标的存在，依靠专用时标，可知道该确定事件或确定信息开始解码或显示的时刻。例如， PTS/DTS 标志可用于确定编码、多路复用、解码、重建的时间。

PCR

PCR 是TS 里面的，即TS packet 的header 里面可能会有，他用来指定所期望的该ts packet 到达decoder 的时间，他的作用于SCR 类。

DTS, PTS

对于一个 ES 来说，比如视频，他有许多 I,P,B 帧，而 P, B 帧都是以I ，P 帧作为参考。由于B 帧是前向后向参考，因此要对 B 帧作 decode 的话，就必须先decode 该B 帧后面的 帧（P, 或者 I 帧），于是， decode 的时间与帧的真正的present 的时间就不一致了，按照DTS 一次对各个帧进行decode ，然后再按照PTS 对各个帧进行展现。ts流

有时候 PES 包头里面也会有 DTS ， PTS ，对于PTS 来说，他代表了这个PES 包得payload 里面的第一个完整地 audio access unit 或者video access unit 的 PTS 时间（并不是每个audio/video access unit 都带有 PTS/DTS ，因此，你可以在PES 里面指定一个，作为开始）。

PES 包头的DTS 也是这个原理，需要注意的是：对于video 来说他的DTS 和PTS 是可以不一样的，因为 B 帧的存在使其顺序可以倒置。而对于audio 来说， audio 没有双向的预测，他的 DTS 和PTS 可以看成是一个顺序的，因此可一直采用一个，即可只采用PTS。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-23455-2.html