一种用于虚拟现实头戴式显示设备的屏幕内容视频编码算法的法

本发明涉及屏幕内容视频通信领域，尤其涉及一种虚拟现实头戴式显示设备的屏幕内容视频编码算法.

背景技术:

由于价格和便利性的优势，面向普通消费者的虚拟现实设备主要是头戴式虚拟设备. 用户可以通过头戴式显示器通过光学镜头在非常近的距离观看屏幕上的虚拟场景. 随着虚拟现实用户的不断增加，虚拟现实应用程序的内容逐渐丰富. 同时，随着云技术的兴起，虚拟现实设备之间共享屏幕内容的需求也急剧增加，并且出现了诸如云游戏，无线屏幕显示，镜像屏幕和屏幕虚拟化之类的相应应用. 在这些应用中，屏幕共享通常需要在虚拟现实设备之间以屏幕内容视频的形式进行实时传输，因此对传输延迟有很高的要求.

与摄像机拍摄的视频相比，屏幕内容视频通常包含大量静态或活动的计​​算机生成的图形和文本，其中可能包括较大的移动（例如向下滚动页面），并且移动的方式与自然界中的人（例如演示文稿）. 文档中对象的逐渐发展和逐渐出现），不连续的色调，饱和的色彩，有限的颜色类型，无传感器噪声，较大的均匀且光滑的区域，重复的图案等特征. 屏幕内容视频编码是决定屏幕内容视频通信系统性能的核心技术之一.

当前，现有的屏幕内容编码方法主要集中在提高压缩性能和降低编码复杂度上，并在这些领域取得了长足的进步. 但是，上述屏幕内容编码方法在虚拟现实头戴式设备的屏幕内容的视频编码方面仍然存在以下缺点: （1）现有的屏幕内容编码方案没有考虑双视角特性. 虚拟现实头戴式设备的越大，枕形失真就越严重. 为了校正枕形失真，对耳机视图进行了桶形失真预处理，因此通过镜头看到的视频几乎可以正常显示. 虚拟现实耳机的矩形屏幕（不包括桶形有效区域）是无效区域. 现有的屏幕内容编码方案无法区分编码区域，从而浪费了编码位.

技术实现要素:

本发明要解决的技术问题是提供一种虚拟现实头戴式显示设备的屏幕内容视频编码算法，可以提高虚拟现实头戴式屏幕内容视频的编码效率. 显示设备.

为了解决上述技术问题，本发明提供了一种虚拟现实头戴式显示设备的屏幕内容的视频编码算法，包括以下步骤:

（1）根据屏幕内容中左眼和右眼视图的对称特性，将屏幕内容区域划分为两个，仅将一个区域划分为有效区域，然后镜像到另一个区域，用于屏幕内容使用基于阈值的图像分割方法；

（2）使用有效区域的统计相关性来更改无效区域的像素值，以使其像素值与有效屏幕区域内容更相关；

（3）使用双视图屏幕内容编码来编码处理后的屏幕内容. 左眼视图用作基本视图. 在对帧的视图之一进行编码时，时域相关性用于执行传统计时. 域帧间预测，或使用同一帧左右视图之间的相关性进行视图间预测，最后生成比特流.

优选地，在步骤（1）中，基于阈值的图像分割方法具体为: 有效区域和无效区域分别表示为C和C'，则基于阈值pt的图像分割方法如下:

其中（x，y）是位于图像（x，y）位置的像素，p（x，y）是该像素的像素值.

优选地，在步骤（2）中，改变无效区域的像素值具体为: 对于无效区域C'中的像素（x'，y'），其像素值改变为: p（x' ，y'）= p（x *，y *）;其中（x *，y *）是C中最接近（x'，y'）的点.

本发明的有益效果是: 本发明设计了一种屏幕内容视频编码方案，该方案用于具有左右双视角，无效区域和虚拟现实的头戴式虚拟现实设备的屏幕内容视频的特征. 不规则有效区域，提高了虚拟现实头戴式显示设备的屏幕内容视频的编码效率.

图纸说明

图. 图1是本发明中要编码的虚拟现实头戴式显示设备的屏幕内容的.

图. 图2是本发明的虚拟现实头戴式显示设备的双视点屏幕内容视频的编码框架的.

具体的实现方法

如图1所示，用于虚拟现实头戴式显示设备的屏幕内容的视频编码算法包括以下步骤:

（1）根据屏幕内容中左眼和右眼视图的对称特性，将屏幕内容区域划分为两个，仅将一个区域划分为有效区域，然后镜像到另一个区域，用于屏幕内容使用基于阈值的图像分割方法；

（2）使用有效区域的统计相关性来更改无效区域的像素值，以使其像素值与有效屏幕区域内容更相关；

（3）使用双视图屏幕内容编码来编码处理后的屏幕内容. 左眼视图用作基本视图. 在对帧的视图之一进行编码时，时域相关性用于执行传统计时. 域帧间预测，或使用同一帧左右视图之间的相关性进行视图间预测，最后生成比特流.

如图1所示，根据屏幕内容中左右眼视图的对称特性，首先将屏幕内容区域划分为两个区域，仅将其中一个区域划分为有效区域，然后进行镜像到其他地区. 为了校正光学透镜的枕形畸变，虚拟现实耳机将有效区域预处理为桶形. 视野越大，观察范围越大，有效区域的镜筒变形就越严重. 本发明采用基于阈值的图像分割方法. 将有效区域和无效区域分别标记为C和C’，然后基于阈值pt的图像分割方法如下:

其中（x，y）是位于图像（x，y）位置的像素，p（x，y）是该像素的像素值.

改变无效区域的样本值以提高非均匀块的编码效率的方案. 如果编码单元内的相关性相对较大，则意味着编码单元具有有效压缩的可能性，因此编码比特率将较低. 因此，计划使用有效区域的统计相关性来改变无效区域的像素值，使得像素值与有效屏幕区域内容更多地相关以提高编码效率. 用于改变无效区域的像素值的本发明的具体方案如下，其与非域内容更相关以提高编码效率. 用于改变无效区域的像素值的本发明的具体方案如下. 对于无效区域C'中的像素（x'，y'），像素值更改为:

其中（x *，y *）是C中最接近（x'，y'）的点.

虚拟现实耳机的双视点屏幕内容视频的编码框架如图2所示. 在此帧中，左眼视图用作基本视图. 在对一帧视图进行编码时，不仅可以将时域相关性用于传统时域帧间预测，而且可以将同一帧左右视图之间的相关性用于帧间预测. 查看预测. 另外，还可以在不同的帧和不同的视图之间执行预测处理. 例如，可以使用第n + 1帧的左眼视图来预测第n + 1帧的右眼视图. 其余编码框架基于高性能视频编码（HEVC）标准中屏幕内容编码（HEVC-SCC）标准的编码结构和编码工具，并使用诸如帧内块复制和调色板模式之类的编码工具

与现有的屏幕内容视频编码方案相比，本发明针对左，右双重视点，无效区域和不规则有效区域的屏幕内容视频的特征来设计屏幕内容视频. 虚拟现实头戴式现实设备. 该编码方案提高了虚拟现实头戴式显示设备的屏幕内容视频的编码效率.

尽管已经根据优选实施例对本发明进行了说明和描述，但是本领域技术人员应该理解，只要不超出权利要求所限定的范围，就可以对本发明进行各种改变和修改. 本发明的发明.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-302718-1.html