视频服务器还原图像主观评价的探讨 DV OnLine.数码视频在线数字摄像机数字视频处理视频采集卡编辑软件

关键词：视频服务器图像质量主观评价

    前言

    在新一代数字播出系统中，视频服务器已经成为最主要的信号源，并占有重要地位。已采用视频服务器进行播出的系统中，由视频服务器提供播出信号的时间通常占总播出时间的60％－80％，以全硬盘播出方式的甚至达到90％。视频服务器的性能对全系统性能起着重要影响，其技术指标也对全系统指标起到决定作用。
    视频服务器技术指标包含三个方面：最基本的是视频服务器的信号指标；作为播出系统中唯一对图像进行压缩处理的设备，视频服务器还原图像质量是决定播出图像最终质量的主要因素；作为多通道输入输出的计算机设备，视频服务器的整体综合性能也是重要的技术指标。
    其中，视频服务器还原图像质量的评定是以其主观评价为依据的。由于在测试仪器、方法等各方面还存在不少限制，视频服务器还原图像质量的主观评价未能普遍在电视台播出系统中实现客观和综合的比较。
    为了尽可能了解视频服务器还原图像质量的普遍特点和规律，我们对某品牌视频服务器在不同条件下的还原图像质量进行了一次粗略测试，尝试对视频服务器还原图像进行主观评价。

视频服务器还原图像质量的主观评价
    在全数字播出系统中，一般的视频设备都是基于非压缩的SDI信号进行处理，不对信号数字码（0、1码）进行任何转换；视频服务器对视音频信号的处理则是对基于信号的图像内容进行MPEG-2压缩。MPEG-2编码是图像信息的提取，其过程存在信息丢失，因此该过程是有损压缩。对视频服务器输出后的图像进行的主观评价属于损伤评价（Impairment Assessment ）。
    全数字播出系统的基带信号是以ITU601标准进行传输的，只要保证信号信息从前一级设备正确地传到后一级设备（眼开度能正确分辨0和1），那在整个播出系统中对视频信号产生损失的就只有视频服务器。因此，视频服务器的还原图像主观评价的等级，就决定了整个播出系统从最前级到最后级对图像信息的保持程度。视频服务器带来的信号信息损失几乎是整个系统对信号图像信息的损失。
    在这里需要说明以下前提：1、这里不存在量化误差（数字SDI输入）；2、在单一编解码一体设备内，不存在传输过程的数据误码或丢失；3、在单一编解码一体设备内，一般不出现由于解码性能导致的还原图像质量的损失。
    影响视频服务器还原图像质量的因素主要有两方面：一方面是硬件因素，就是视频服务器设置的编码参数；另一方面是图像内容，它是由图像的亮度和色度以及空间和时间的各种复杂性组合体现的。

视频服务器还原图像主观评价的模拟测试实验
    根据以上的两个影响因素，我们制定了视频服务器还原图像主观评价的模拟测试。
真正的图像主观评价需要一整套严格细致的测试流程和多个专业的评测人员，这样的测试在一般情况下显然不实际。因此，只能借助于仪器完成这一过程，而且是需要快捷和有效地进行大量测试。基于此原因，本次测试借助于泰克公司的PQA300测试仪，对视频服务器还原图像质量进行模拟主观评价。之所以称为“模拟”，是因为其过程并不是按照主观评价标准执行的，是借助于设备来得到相对接近的评价结果。具体安排如下：
    1、被测设备：视频服务器编码解码通道
    2、测试仪器：Tektronix测试仪PQA300
    3、输入信号格式：数字视频SDI（ITU601）
    4、测试对象：输出信号图像质量（与PQA300提供的原输入信号图像比较）
    5、改变硬件参数，提供不同压缩方式
    ● 编码格式：
        ■ MP@ML
        ■ 422P@ML
    ● 码流
        ■ 6-15Mbps （MP@ML）
        ■ 10-50Mbps（422P@ML）
        ■ 帧结构
        ■ IBP帧（不同长度GOP）
        ■ I帧
    6、输入不同内容图像--使图像出现亮度和色度、空间和时间的不同特性的组合
    ● 亮度细节（CCIR 26 Kiel Harbor 4）
    ● 色度细节（CCIR 15 Flower Garden）
    ● 横向/纵向运动（CCIR 30 Mobile and Calendar）
    ● 圆周运动：纵向＋横向的运动组合（CCIR 23 BBC disc）
    ● 随机运动（CCIR 29 Table tennis）
    ● 人物（脸部、头发等）画面：对人特写画面的还原（CCIR 43 Diva）
    ● 含字幕的运动画面：运动背景下对静止精细内容的还原（CCIR 43 Diva）
    ● 镜头运动：整体画面的运动（CCIR 15 Flower Garden）
    根据现有播出系统使用的习惯、以及大多数图像的性质，我们按照上面提及的两方面因素，设定不同的参数及有代表性的序列进行测试，记得如下数据（由于测试时间所限，部分数据未能测试完整）
序号
帧结构
编码格式
码流
Mbps
图像序列名称
CCIR 26
Kiel Harbor 4
CCIR 29
Table tennis
CCIR 23
BBC disc
CCIR 15
Flower Garden
CCIR 30
Mobile and Calendar
CCIR 43
Diva
RAI
Soccer
Characteristic(图像特征)
Luminance detail.
Landscape
Multiple random motion,
sport
Random movement
Color details, Landscape
Random motion of objects
Titles on busy scene
Sports action
Motion(图像运动方式)
Zoom
Pan
Circular
Slow Pan
Slow
Slow
Fast
还原图像平均PQR值(Luma & Chroma)
1
IBBP(GOP=12)
4:02:00
8
5.93
4.03
2.95
3.52
5.14
2.93
4.73
2
10
4.54
3
12
4.05
3.47
2.31
2.82
4.28
3.65
4
4:02:02
10
4.86
5
12
4.21
3.28
2.22
3.63
3.56
6
15
3.37
7
I
4:02:02
25
1.78
1.32
8
50
4
    说明：Tektronix PQA300测试仪采用的是一种人类视觉系统模型JNDmetrix ，该模型以Sarnoff 公司近几年的研究成果为基础。PQA300 对复杂的活动测试序列进行必要的三维测评：即空间分析、时域分析和全彩色分析。PQA300 的图像质量分析，具有测量的重复一致性和客观性，它可直接取代主观的人眼视觉评估。在对压缩视频系统进行测试时，PQA300既可作为提供参考测试素材的发生器，又可作为参考测试素材的分析仪。PQA300 存储被测系统的输出，并用DSP（数字信号处理器）加速硬件对经压缩后回放的序列进行分析，图像质量的测量结果用一单个数值来表示，该数值即称为图像质量率（PQR）。PQR值越小还原图像质量越高。其中，25时，图像信息损失达到了普通观众肉眼可察觉程度。

编码参数对还原图像质量的影响
    视频服务器的MPEG-2编码参数是影响还原图像质量的硬件因素，是内因。因此，我们着重分析同一个图像采用不同的编码参数，导致不同的还原图像质量结果。以下以CCIR 26 Kiel Harbor图像序列为例进行分析。

编码格式
    视频服务器对图像的编码格式决定视频信号在视频服务器中存储的文件格式，这也是视频服务器压缩运算的最重要的参数。编码格式主要表现在图像的采样方式。
通常以两种方式为主：MP@ML和422P@ML。

    从上图的采样示例可以看出，这两种方式最重要的区别就是对色度采样的比例不同，MP@ML色度采样与总数据比例是(4+4)/(16+4+4)=1/3，422P@ML色度采样比例是(8+8)/(16+8+8)=1/2。也就是在相同码流下，MP@ML在单位数据中比422P@ML多1/6亮度信息（忽略其他辅助数据）。从图像主观评价方法分析，人眼对亮度的分辨率较色度敏感。因此在相同的数据量条件下，亮度信息相对增加会有利于图像质量的提升。
    在本次实验中，在10Mbps下对Kiel Harbor图像在MP@ML和422P@ML条件下所得到的PQR分别是4.54和4.86；12Mbps下则是4.05和4.21。这个数字表明在以亮度信息作为还原图像主观评价的主要依据条件下，一定码流和帧结构的MP@ML的PQR值更低。当然，这在码流达到12Mbps后会因为亮度信息趋近饱和以及色度信息有效性增强而使422P@ML的PQR值比MP@ML低。

码流
    如果说编码格式是影响视频服务器还原图像质量的重要因素，那服务器的MPEG-2编码码流设置则是决定性因素。从实验结果看出，在同一编码格式前提下，码流越高，还原图像质量越高。仍以CCIR 26 Kiel Harbor为例作说明：
    对于MP@ML编码方式：8Mbps码流还原图像质量较差，达到了肉眼较容易察觉的程度，PQR接近6；10Mbps图像质量进入较好层次；到了12Mbps，还原图像PQR接近4。从这个图像来看，到了10Mbps以上，图像质量的提升就不快了。
    对于422P@ML编码方式： 10Mbps码流还原图像质量PQR已少于5；12Mbps图像质量进入较好；到了15Mbps，还原图像PQR低于4。从这个图像来看，422P@ML编码方式在12Mbps以上时，图像质量的提升就不快了。
    对于相同码流，MP@ML编码方式下10Mbps的还原图像质量比422P@ML高；在12Mbps时相近；而在15Mbps时PQR值明显改善。再参考其他图像PQR值，它们在12Mbps时接近甚至好于MP@ML编码的图像质量。因此，推测422P@ML编码方式在12Mbps以上时，图像质量开始比同码流的MP@ML编码方式的好。
    记录表下面记录的纯I帧方式作为对比参数。可以看出，422P@ML 下50Mbps的图像质量非常好（PQR<2）；而25Mbps的图像质量（PQR=4）反而不如422P@ML下的15Mbps，与MP@ML下12Mbps的PQR值相当。
    根据以上分析，还原图像质量有可能不是随着码流的增加呈直线上升趋势，而会是一个上升曲线最后趋于平缓的结果。由于本次实验时间较紧，只能以此少量数据供分析参考。


MPEG-2 帧结构

    MPEG-2压缩的帧结构有两个参数，一个是GOP（Group Of Picture）图像组的长度，一般可按编码方式从1－15；另一个是I帧和P帧之间B帧的数量，一般是1－2个。前者在理论上记录为N，即多少帧里面出现一次I帧；后者描述为多少帧里出现一次P帧，记录为M。图示的GOP是N=12，M=3。
    我们通常认为MPEG-2的GOP长度越长，图像压缩效率越高，也即在同码流同编码格式前提下还原图像质量越高。实验中我们特别对视频服务器设置了两组不同GOP长度进行测试，结果却与原观念不同。同样还是Kiel Harbor序列，在MP@ML 编码和8Mbps条件下，GOP=15的还原图像质量PQR＝5.59；而GOP=9的图像PQR＝5.49，比GOP=15好。
    当然，我们并不认为GOP越短图像质量越高。这里面可能也是一个先上升后下降的曲线关系，在一定条件下GOP会有一个最佳值。另外，IBP帧结构也会对还原图像质量产生影响。这两者之间互相作用，存在一定关联。由于本次实验未尽充分，因此暂时无法对两者的相互关系进行分析。

图像内容对还原图像质量的影响
    对还原图像质量的影响另一大类因素就是图像内容。在PQR测试数据表中我们发现，相同的编码条件下，不同图像内容所测得的还原图像质量也不相同。综合分析，各个序列还原图像PQR的相对大小并不随着编码参数的变化而变化。也就是如果一个图像序列在某一编码参数设置下测得的PQR值比另一图像要低，那么在其他编码参数设置下该图像序列的PQR值同样会比另一图像低。在此前提下，我们以MP@ML编码和8Mbps条件下的数据进行探讨：
    1、CCIR 26 Kiel Harbor 4图像质量损失最大，PQR接近6，说明在MPEG-2压缩中，亮度细节越多图像信息丢失得越多，当然这里的损失还包括快速推拉镜头引起的。
    2、CCIR 30 Mobile and Calendar的PQR也超过了5，可推断含有随机运动和运动镜头的图像损失较多。
    3、序列RAI Soccer和CCIR 29 Table tennis都属于运动图像和运动镜头，图像质量有一定的损失。
    4、CCIR 30 Mobile and Calendar图像体现的更多是色度细节，其次是前后景运动速度的差异，图像质量损失不多，印证了MPEG-2编码格式中亮度和色度对图像质量影响分析的区别。
    5、CCIR 43 Diva的图像主要是字幕加复杂背景，其还原图像质量较好。
    6、序列CCIR 23 BBC disc属于缓慢的随机运动和圆周运动，图像质量最好。
    仅以上述分析推断，对于图像内容的影响因素，图像特征方面的第一大损伤因素是亮度细节，第二大损伤因素是随机运动和位移，第三则是色度细节、复杂背景加字幕；镜头特征方面第一大损伤因素是快速摇镜头和推拉镜头，第二大损伤因素是常速摇镜头，第三则是镜头的圆周运动。
    从本次实验的记录来看，图像内容对还原图像质量影响应该是非常大的。正如序列Kiel Harbor 4在422P@ML编码和15M bps设置下的还原图像质量还不如MP@ML和8M bps设置下的BBC disc。然而，图像内容在节目里是随机的，在实际播出中是无法控制还原图像的最终质量。

平均图像质量与单帧图像质量
    在过去认识MPEG-2图像压缩时，通常会认为MPEG-2里的B帧和P帧可以通过运算还原其对应位置图像的所有信息。这样的理解从图像质量角度来看就等同于还原图像的B帧和P帧的PQR值与I帧基本相同。
    然而，从这次实验最终输出的图像质量记录表发现，B帧和P帧还原后并不能达到I帧的PQR值，而是比它低不少。P帧比I帧低，B帧更比P帧低。如图：

    这是CCIR 26 Kiel Harbor 4还原图像按照场序号排列的PQR值折线图。显而易见，波谷两场PQR最小，图像质量越高，组成了I帧；波峰四场PQR最小，图像质量最低，是两个B帧；中间的波谷，就是P帧。这显然就是一个完整MPEG-2图像组（参见前面的GOP示意图），N=12，M=3。随后我们做了一次纯I帧编码的测试，果然其PQR值很平缓，验证了我们以上的判断。
    如此看来，MPEG-2图像解码输出并不能保持一个基本相同的图像质量，而是会根据帧编码的不同而呈现质量的高低差异。但从图像主观评价的原理理解，人眼的判断是对动态图像的平均主观评价，而无法判定其中某一单帧的质量。而且，不管哪一单帧质量也无法代表整个图像组的还原质量。因此，从视频服务器而言，解压后的MPEG-2还原图像质量是其所有帧图像质量的平均值。
    当然，有些情况单帧图像质量也是很重要的。如果是用于编辑，那B帧质量显然不如I帧。也就是无论将长GOP的MPEG-2文件转码成纯I帧图像，还是直接解码输出SDI进行录制，所得到的图像质量都是不平均的。因此采用长GOP素材进行编辑的图像质量会参差不齐，甚至会互相影响导致质量再次降低。

总结
    本次测试由于时间匆忙，所测数据未尽完善，也无法完整得出结论。但作为尝试，我们认为这些测试数据可做为对视频服务器还原图像主观评价的探讨依据。总结如下以供参考：
    一、视频服务器硬件因素对还原图像质量的影响
    1. 相同码率下
        ● 相同帧结构时，在12Mbps码流以下，MP@ML编码的还原图像质量比422P@ML好；
        ● 相同帧结构时，422P@ML编码的还原图像色度质量比MP@ML 好；
    2. 视频服务器的还原图像质量是可调的，也就是要到指定的图像质量指标，可通过调整服务器参数达到；
    3. 不同视频服务器的编码效率有所不同，达到相同的还原图像质量有不同的参数设置。
    二、图像内容因素对还原图像质量的影响
    1. 同等编码条件下，静止画面的还原图像质量远比动态画面高，但在一定程度下不会再有明显改善；
    2. 相对静止和缓慢运动图像占电视画面的大部分，因此衡量还原图像质量应以这部分画面为基准；
    3. 不同类型的节目，要达到相同的还原图像质量，需要设置不同的硬件编码参数，如：
        ● 体育节目运动图像众多，信号编码的码流就需要设置高一些；
        ● 综艺节目色度细节较多，以422P@ML编码比较合适。
    需要说明的是，本次还原图像主观评价由泰克公司的PQA300测试仪模拟实现，以上的评测结果及分析仅依据本次实验记录，不作为视频服务器评判的标准。
    视频服务器的技术指标不仅是（数字）信号指标，更重要是还原图像质量，它代表该设备对图像信息的还原程度。正是因为视频服务器的MPEG-2编码是有损压缩，它是播出系统中带来图像质量下降最主要的设备，所以我们需要更清楚的了解这方面的情况，也就有了本次的实验和这篇探讨。
    此文仅作为引玉之砖，希望各位同行提出批评指正。