Deep feature importance awareness based no-reference image quality prediction_Shell

摘要

基于深度学习的图像质量评估(IQA)算法通常采用转移学习的方法，将一个预先训练好的分类任务网络转移到处理IQA任务上。虽然它可以在一定程度上克服IQA数据库不足的问题，但它不能区分重要的和不重要的深度特征，这可能导致预测性能不准确。在本文中，我们提出了一种基于深度特征重要性建模的无参考IQA方法。采用自适应迁移学习方法建立了SE-VGG网络。它可以抑制对IQA任务不重要的图像显著性目标局部特征，突出重要的图像失真特征和显著性目标。在小型IQA数据库中，研究了SE-VGG的结构以提高图像质量评价的准确性。

介绍

在图像质量评价领域，数据集很小，因此无法直接使用DNN模型进行训练。由此产生两种方法：

基于图像块的方法
基于迁移学习的图像的方法

然而对于前者来说，每个图像块的真实质量分数是未知的，同时直接将整张图像的分数作为图像块的分数是不合适的因为图像的质量分布是不均匀的。使用全参考方法对每个图像块进行打分也是不合适的，因此无法得到理想的图像块质量分数。
在RankIQA中，作者首先利用大规模的Imagenet数据集对VGG网络进行预训练，完成识别任务(VGG- C)，然后利用合成的失真图像对孪生网络进行预训练，对图像失真等级进行排序。最后，他们提取了孪生网络的一个分支VGG-L网络，并对VGG-L网络进行了微调以估计图像质量分数。
然而，在迁移学习过程中，VGG-L网络不能区分对IQA任务重要和不重要的特征，导致预测性能下降。这是因为VGG-L网络是从VGG-C网络传输来完成分类任务的。与分类任务相关的重要特征并不都有利于IQA任务。在分类任务中，显著的目标和局部的部分是很重要的。在IQA任务中，观众的注意力集中在显著的物体和严重失真上，因此局部部件的特征是无用的。然而，在迁移学习过程中，这些特征的重要性并没有得到区分，这影响了IQA的性能。
近年来，人们提出了一种能够区分深层特征重要性的压缩激励网络(SENet)。在分类、目标检测等任务中验证了该算法的性能。然而，该方法只有在提供了足够的数据集(如ImageNet, COCO)时才能表现良好。对于IQA任务，不能直接使用SENet，因为IQA数据库较小，训练容易出现过拟合。
在本文中，我们提出了一种基于深度特征重要性建模的无参考的IQA方法——DFIA。该方法利用各种公共IQA数据库进行性能评价，与现有的IQA方法相比，具有更好的性能和泛化能力。本文的主要贡献总结如下。

通过自适应迁移学习方法，将压缩激励块集成到VGG-L网络的深层特征层中。它采用通道注意机制自适应地强调重要的图像失真特征和与突出目标相关的迁移特征，用于IQA任务。同时，它抑制了对IQA任务不重要的突出显著局部部分的特征。
为了提高图像质量评价的准确性，我们开发了SE-VGG网络。针对实际IQA数据库不足的情况，确定了SE- VGG网络中SE块的最优位置和数量。该方法避免了深度网络的过拟合问题，提高了预测精度。

DFIA算法

第一步，通过对VGG-C网络进行预训练，利用大型Imagenet数据库完成分类任务。在第二步中，使用与现有IQA数据库中的失真相似的人工失真来生成大量不同质量级别的失真图像。明确的说，使用RANK方法生成人工失真图像。然后，对带有双VGG-L的孪生网络进行预训练，来对不同输入图像的失真程度进行排序。第三步，利用所提出的SE-VGG网络自适应区分迁移学习过程中IQA任务的重要特征和不重要特征，对IQA数据库进行微调，得到图像质量分数。网络框架如下：
在这里插入图片描述

DFIA算法提出动机

简单概括：VGG-L是从VGG-C分类网络中得到的，这些网络能够提取显著的物体和这些物体的局部区域等与分类相关的特征，因此即使使用IQA数据集进行微调，这些特征还是存在。然而这些特征对于IQA任务不是全部有用的，IQA任务主要针对显著物体的失真特征，那些与物体分类有关的特征会影响算法的预测，因此需要减少那些无关的特征。
可视化这部分结论：
在这里插入图片描述

上图是三种网络的特征图可视化，我们可以清楚地看到，在VGG-L和RANK网络中保留了显著对象的特征及其局部部分，这将影响预测结果。此外，VGG-L网络无法区分IQA任务中重要和不重要的特征。

SE-VGG网络结构

SE- VGG网络是通过使用两个部分(SE块和VGG-L网络)来确定的。首先，通过自适应迁移学习方法将SE块集成到VGG-L网络的第五卷积层中。然后利用IQA数据库对SE-VGG网络结构进行微调，获得图像质量。网络结构如下：
在这里插入图片描述

融合SE到VGG-L的第五个卷积层

SE被应用到VGG的第五层来区分IQA任务中重要特征和不重要的特征。由于conv5是深层特征层的开始，因此与IQA任务相关的特征和与分类任务相关的转移特征以conv5的局部特征图的形式给出。由于每个学习滤波器都有一个局部接受域，所以每个特征图都不能利用该区域以外的整幅图像的全局特征。因此，利用SE块中的全局池化层将每个通道的局部特征压缩为一个标量，然后收集所有的标量来表示整个图像的全局特征。使用全局池化来计算全局特征如下（就是简单的全局平均池化）：
在这里插入图片描述
为了展示局部特征和全局特征之间的映射关系，在SE模块中包含两个全连接层。在经过SE模块后会产生一个向量，大小为通道数c，这就为每个通道的特征分配了一个权重，从而区分出重要和不重要的特征。最后把通道权重和特征图进行权重和。权重越大，局部特征在全局特征中占IQA任务的比重越大。同时，通过对包含突出目标局部部分的特征图赋小的权值，抑制了IQA任务中不重要的特征。当特征图表示图像失真或突出目标时，在IQA任务中赋予它们较大的权重。另外，当特征图表示突出目标的局部时，对这些特征图分配小的权重进行抑制，以完成IQA任务。
为了展示特征图的效果，对特征图进行了可视化，输入两个高斯失真图像到网络中：
在这里插入图片描述
我们观察到，图6 (b) - (d)说明局部部分的不重要特征被抑制到全局和显著的目标畸变，因为它们的权重被设置为0。同时，如图6 (e) - (g)所示，强调了图像畸变和突出目标的重要特征，因为它们的权值设置为1。