第一作者简介:曾锦华,男,福建连江人,博士,高级工程师,研究方向为声像资料司法鉴定。E-mail: zengjh@ssfjd.cn
目的 研究图像降噪和图像增强方法对人脸识别系统识别性能的影响,以期为人脸识别系统应用过程中的图像处理方法选取提供理论指导和技术方案。方法 收集33起人像鉴定领域实际案例中的人脸图像素材,研究以高斯滤波和小波变换为代表的图像降噪技术以及具有边缘保持和小波变换特性的单帧图像超分辨率增强技术对人脸识别系统识别性能的影响,并对不同图像处理方法对人脸识别性能的影响进行量化比较分析。结果 本文研究的图像降噪技术均显著提高了人脸识别系统的识别准确性,而图像增强技术虽然提高了人脸图像显示效果,但对人脸识别系统的识别性能无正向促进作用。此外,高斯模糊图像处理的图像降噪方法虽然简单,但与本文研究的其他方法比较,其在人脸识别系统识别性能改善方面效果最显著。结论 人脸图像质量对人脸识别系统的识别性能具有显著影响,可以通过图像处理技术改善人脸图像质量进而提高人脸识别系统的识别准确性。其中,图像降噪处理可以显著提高人脸识别系统的识别性能,且比图像增强技术更适合于实际人像鉴定应用中的人脸识别系统识别性能增强。
Objective Face recognition system (FRS) is favorite with public security because it can bring forth direct and visible facial images about the involving people. Therefore, the quality of face image is crucial for FRS to play its role effectively. Adoption of image denoising and enhancement can improve image quality, ever becoming the trend those eligible operators pursue. What effect does such an adoption have on the performance of FRS? This study is to explore into the question, with purpose to provide theoretical and technical reference for the selection of image processing approaches to apply FRS into forensic human image identification.Methods Face image materials were collected from 33 real cases about forensic identification of human images. Image denoising was carried out with Gaussian filtering and wavelet transform handling. Single-frame image super-resolution boosting, incorporated with the characteristics of edge-preserving and wavelet transform, was chosen for image enhancement. All the image processing choices adopted above were statistically analyzed to quantitatively assess their effects on the face recognition.Results Two image denoising methods (Gaussian filtering and wavelet transform) did improve the recognizing precision of FRS. However, the image enhancement technique (single-frame image super-resolution boosting) had no positive effect on the discriminability of FRS although it meliorated the displaying effect of the selected facial images. Among the image denoising means, Gaussian filtering, albeit simple of handling, brought the maximal improved performance into FRS.Conclusions Face image quality is of significant influence on the performance of FRS. The image processing could enhance the quality of face image, thereby capable of improving the recognizing precision of FRS. The image denoising methods utilized here could significantly enhance the performance of FRS, with Gaussian filtering being more suitable for improving the performance.
当今, 人脸识别系统在人脸识别和身份验证中发挥了极大的作用[1, 2, 3]。公共安全领域中, 通过人脸识别系统的比对和搜索, 可以利用案发现场作案人留下的人脸影像来获取可能的嫌疑人身份信息, 在后续的人像司法鉴定中, 鉴定人就作案人和嫌疑人的身份是否同一人给出专业判断, 进而把影像资料很好地转换为认定犯罪事实的法庭证据。
人像鉴定是对影像资料中记录的人体身份信息是否同一进行专业判断[4]。对作案人图像(通常称之为检材人像)和嫌疑人图像(称之为样本人像)的身份同一性检验过程中, 鉴定人的经验判断和定量分析技术均起到重要的作用。其中, 人脸识别系统的身份验证技术是人像鉴定中重要的定量分析技术, 可以对人脸五官形态(轮廓)及其配置关系进行高效准确的定量检验分析[3, 5]。人像鉴定领域中的人像特征涵盖头部形态特征、五官形态特征、五官配置关系特征、胡须特征、皱纹特征、颜面动态特征、体态特征、人体特殊标记特征、人体着装特征、人体佩饰特征, 以及其他人体动态特征, 比如步态特征等[6, 7]。其中, 人脸五官形态及其配置关系特征是人像特征的重要组成部分, 且在大部分人像鉴定案件中, 通常是起到最关键作用的人像特征。
然而, 实际人像鉴定案件中, 由于拍摄距离较远、画面质量较差等各种原因, 往往监控录像中的作案人人脸图像比较模糊, 人脸图像质量受到极大影响。人像鉴定中的人脸识别应用对输入的人脸图像质量比较敏感, 案件中经常出现的模糊人脸图像对人脸身份信息的感知和识别造成极大阻碍, 很多情况下甚至无法达到人脸识别系统对输入人脸图像质量的最低要求, 因此需要对图像进行处理。图像处理技术根据用途大体可以划分为图像降噪技术[8, 9]和图像增强技术[10], 图像降噪技术主要是去除图像中无用或干扰有用信息的内容, 包括基于滤波技术、稀疏编码、外部先验知识、聚类低秩, 以及深度学习方法的图像降噪技术[11, 12, 13]。而图像增强技术主要是用来突出图像中有用信息, 比如具有保持边缘特性的图像超分辨率增强技术[14], 这些技术均可或多或少地提高图像的视觉感知效果。针对人脸图像的处理技术, 业界也有专门的研究, 比如人脸图像增强、人脸三维重建等技术[15, 16]。在法庭科学领域, 要求数据来源的客观真实性、关联性、合法性。针对人像鉴定, 更多的是注重数据来源的真实性。因此对人像鉴定领域中的人脸图像处理, 要求图像处理后的人脸图像不应改变原有人脸图像的实质性内容。这就要求我们在人脸图像处理中谨慎对待引入的额外数据信息, 比如基于机器学习的人脸图像增强处理中引入的人脸图像细节信息等。
现有研究结果表明, 图像质量对人脸识别技术的识别性能具有较大影响[17], 此外光照条件变化也会降低人脸识别系统的识别性能[18]。Bharadwaj等[17]研究了噪声信息对基于纹理的人脸识别算法性能的影响。实验中, 人脸图像加入噪点信息后, 人脸识别系统的识别性能明显下降。此外, Emambakhsh等[19]研究不同去噪技术对三维人脸识别技术的影响, 其中, 中值滤波方法取得了最佳的性能增强效果。基于此, 本文从实际案例角度出发, 研究真实案件中图像降噪技术和图像增强方法对当前基于深度学习的人脸识别系统的识别性能的影响, 通过统计分析, 对影响进行具体量化和比较。
为了增强研究结果的有效性和实际适用性, 本文研究的人脸图像材料均来源于真实人像鉴定案件。本文收集了33起人像鉴定案件。这些案件中, 嫌疑人的初始身份信息均是通过人脸识别系统对作案人的人脸图像进行识别获取, 随后, 司法鉴定人对这些案件中的作案人人像和嫌疑人人像进行了人像鉴定, 并给出了认定同一的鉴定意见, 且最终这些人像鉴定意见均被法庭采纳。实际鉴定案件的人脸图像研究使本文的研究结果更具实际应用价值。
通过人脸检测算法获取的检材人脸图像大小分布如图1所示, 部分检材人脸图像如图2所示。其中最小的人脸图像大小为30× 28像素, 最大的为175× 174像素。样本人脸图像大部分来源于嫌疑人的身份证照片或被抓获后拍摄的嫌疑人正面照片, 样本人脸照片的图像质量较好。本文主要研究检材人脸图像的图像处理问题, 暂不考虑样本人脸图像质量因素的影响作用。
本文以图像鉴定领域常用的图像降噪方法, 即高斯滤波方法[11]和小波变换去噪方法[20], 对案件中的检材人脸图像进行降噪处理。针对单帧图像增强处理, 本文选取基于保持边缘[14]和小波变换[21]的单帧图像超分辨率计算方法对检材人脸图像进行增强处理。为了对人脸图像进行精确人脸验证计算, 本文使用人脸识别领域先进的商业化商汤人脸识别引擎对检材人脸和样本人脸图像进行相似性量化计算。所使用的人脸识别系统中, 相似性量化值区间为0~100, 其中分值越高表明两者人脸相似性越高。研究中, 人脸识别系统将对处理前和处理后的检材人脸图像分别与样本人脸图像进行人脸的相似性量化计算, 分析不同图像处理方法对人脸识别系统的影响; 并利用统计学方法, 量化分析图像处理对人脸识别系统的影响。考虑实验设计方案, 数据分析中, 我们将采用重复测量方差分析方法研究不同图像处理技术对人脸识别系统的影响; 通过单因素方差分析方法研究人脸图像大小等因素对人脸识别系统性能的影响。
实验设计中, 考虑到检材人脸图像大小差异及不同参数设置对图像降噪性能的影响, 针对高斯滤波图像降噪方法, 设置的滤波半径参数分别为0.5、1.0、2.0像素。针对基于小波变换的图像降噪方法, 设置噪声方差参数分别为0.2、1.0、2.0、4.0像素。而基于保持边缘和小波变换的单帧图像增强计算过程中, 超分辨率计算倍率设置为200%。为了分析不同图像处理技术对人脸识别系统的影响, 数据分析时, 不同参数设置情况下的降噪结果图像分别输入人脸识别系统进行人脸验证计算, 并选取其中的最高人脸相似性量化值作为该降噪处理方法的最终输出结果。
为描述方便, 使用JC(i)(i=1, …, 33)和YB(i)(i=1, …, 33)分别表示检材人脸图像和案件中与检材人脸图像对应的样本人脸图像集合。IP1(i)(i=1, …, 33)、IP2(i)(i=1, …, 33)、IP3(i)(i=1, …, 33)、IP4(i)(i=1, …, 33)分别表示JC(i)(i=1, …, 33)人脸图像经过基于高斯滤波降噪处理、基于小波变换降噪处理、基于边缘保持图像增强处理以及基于小波变换图像增强处理的结果图像。人脸识别系统中JC(i)和YB(i)人脸图像的相似性量化值标记为SM(i)(i=1, …, 33); IP1(i)、IP2(i)、IP3(i)、IP4(i)分别与YB(i)人脸图像比较的相似性量化值标记为SM1(i)(i=1, …, 33)、SM2(i)(i=1, …, 33)、SM3(i)(i=1, …, 33)、SM4(i)(i=1, …, 33)。
人脸图像大小是人脸图像质量的重要因素, 通常, 高质量的人脸图像占据更大的像素存储空间。本文通过分析人脸图像大小对人脸识别系统识别性能的影响间接研究人脸图像质量对识别性能的影响。为了便于数据分析, 根据图像大小把检材人脸图像分为三类, 即检材人脸图像宽度和高度位于30~49像素之间、位于50~69像素之间以及70像素以上三类, 分别标记为Size1、Size2、Size3。以图像大小为分类标准, 通过单因素方差分析方法研究不同检材人脸图像大小对人脸识别系统识别性能的影响, 部分结果如表1所示。
数据分析中方差齐性检验结果表明方差属于齐性(F(2, 30)=0.761, P=0.476)。单因素方差检验结果表明图像大小组间均值存在显著性差异(F(2, 30)=4.098, P=0.027)。图像大小组间两两比较检验发现, 在人脸识别系统中, 相较于Size1大小的检材人脸图像, Size3大小的检材人脸图像获得了更高的人脸相似性比对量化值(F=6.228, P=0.028)。Size2与Size1(P=0.207)和Size3(P=1.000)无明显差别。数据分析结果表明, 人脸图像越大越能获得更好的人脸识别比对结果。通常人脸图像越大也就意味着人脸图像质量可能越好, 其中的人脸信息含量更好, 也就更能获得更好的人脸比对结果。
根据实验设计方案, 本文采用重复测量方差分析方法比较SM(i)(i=1, …, 33)、SM1(i)(i=1, …, 33)至SM4(i)(i=1, …, 33)均值的异同, 部分结果如图3所示。
数据分析中检验数据不满足Mauchly′ s 球形检验(Test of Sphericity)(P=0.000)。我们采用Greenhouse-Geisser方法(P=0.619)对实验数据进行分析。检验发现, SM(i)(i=1, …, 33)、SM1(i)(i=1, …, 33)至SM4(i)(i=1, …, 33)的主体内效应检验具有统计学意义(F(2.476, 79.223)=49.472, P=0.000)。进一步对SM(i)(i=1, …, 33)、SM1(i)(i=1, …, 33)至SM4(i)(i=1, …, 33)相互间进行两两比较检验。
3.2.1 SM(i)(i=1, …, 33)与SM1(i)(i=1, …, 33)至SM4(i)(i=1, …, 33)的比较检验
SM(i)(i=1, …, 33)与SM1(i)(i=1, …, 33)至SM4(i)(i=1, …, 33)的比较检验结果如表2所示。
从表2中可以发现, SM(i)(i=1, …, 33)与SM1(i)(i=1, …, 33)均值存在显著差异(P< 0.001), 即相较于未处理的检材人脸图像, 经过高斯滤波降噪处理的检材人脸图像可以在人脸识别系统中取得更高的相似性比对结果, 两者均值差异为-2.497。说明高斯模糊图像处理虽然一定程度上降低了图像的清晰度, 但却提高了人脸识别系统的识别性能。此外, SM(i)(i=1, …, 33)与SM2(i)(i=1, …, 33)间均值亦存在显著差异(P< 0.001), 说明基于小波变换的图像去噪方法亦可提高人脸识别准确性。然而, SM(i)(i=1, …, 33)与SM3(i)(i=1, …, 33)均值的显著差异(P=0.001)表明相较于未处理的检材人脸图像, 经过基于保持边缘的单帧图像超分辨增强处理的人脸图像反而在人脸识别系统中起到了相反的作用, 两者均值差异为1.236。SM(i)(i=1, …, 33)与SM4(i)(i=1, …, 33)的均值不存在显著性差异(P=0.473), 即基于单帧小波变换的图像增强方法对人脸识别系统的识别性能无明显影响。
3.2.2 SM1(i)(i=1, …, 33)至SM4(i)(i=1, …, 33)相互间两两比较检验
SM1(i)(i=1, …, 33)至SM4(i)(i=1, …, 33)相互间两两比较检验结果如表3所示。从表3中可以发现, SM1(i)(i=1, …, 33)至SM4(i)(i=1, …, 33)均值间均存在显著性差异(所有P< 0.05), 且高斯滤波降噪处理的效果最好, 而保持边缘的图像增强处理效果最差。其中, 通过SM1(i)(i=1, …, 33)至SM4(i)(i=1, …, 33)的均值排序可以发现, 图像降噪对人脸识别系统识别性能的影响均大于图像增强。
实验数据表明, 人脸图像质量对人脸识别系统的识别性能具有显著影响。应用人脸识别系统鉴定人像, 应尽可能选取质量最优的人脸图像用于人脸识别比对, 特别是人像所在的载体为视频的情况下, 能否在系列视频帧中选取最优的人脸图像, 对人脸识别系统的有效应用具有重要影响。影响人脸图像质量的因素多种多样, 包括人脸图像大小、光照条件、成像角度等。实际应用中, 宜尽可能选取正面人脸图像, 且通常情况下, 图像中人脸图像大小占比越大, 人脸图像的质量将越高。
本文研究的图像降噪技术均显著提高了人脸识别系统的识别准确性, 说明了图像处理技术在人像鉴定人脸识别系统应用中的重要性。图像处理技术是图像资料司法鉴定技术中最基本但又是最核心的内容。图像处理技术可以有效改善人脸图像质量, 特别是在模糊人脸图像场景中, 其效果越发明显。此外, 需注意图像处理不应改变人脸图像的实质性内容, 然而, 在以侦查为主导的应用场景中, 适当引入机器学习领域的外部人脸图像信息可以有效扩展目标人脸图像的识别率和检出率, 并在后续线索排查中进行进一步人像身份信息筛查。
本文研究的图像降噪方法包括高斯滤波方法[11]和小波变换去噪方法[20], 研究的图像增强方法包括基于保持边缘[14]和小波变换[21]的单帧图像超分辨率计算方法。噪声信号常常被认为存在于图像的高频信息中, 高斯滤波可以设计成一种典型的低通滤波器, 但图像的边缘纹理等信息亦存在于高频部分, 因此, 高斯滤波是一种典型的空域降噪方法, 在抑制噪声信息的同时, 也会造成一定程度的图像边缘和纹理等细节信息的丢失。而基于小波变换的降噪方法则是一种变换域的图像降噪方法, 其在去除图像噪声的同时还注重图像结构信息的维护。保持边缘特性的图像增强方法其核心思想是改变图像大小的同时保持图像中细小的边缘细节信息, 不造成图像中边缘信息的模糊。基于单帧小波变换的方法是利用图像小波分解特性, 通过估计和预测小波变换中的高频系数进而提升原始图像的分辨率。上述方法均是基于单帧的图像降噪或图像增强方法, 对人脸图像视觉效果改善均具有一定的积极作用, 且处理后的人脸图像并未改变原有人脸图像的实质性内容, 均是对人脸图像已有信息的减弱或增强, 并未引入其他外部数据信息。
本文所研究的人脸图像处理技术中, 高斯模糊图像降噪技术获得了最好的人脸识别系统识别性能增强效果。高斯模糊降噪处理是对检材人脸图像进行平滑降噪, 去除检材人脸图像的高频信息。图像中的噪点信息通常被认为存在于图像的高频信息部分。研究结果表明去除检材人脸图像的高频部分内容, 进而去除检材人脸图像的噪点信息, 可以更好地增强人脸识别系统的识别性能和检出率。其中的原理可能在于为了增强人脸识别系统对不同质量的人脸图像识别的适应性和准确性, 现有的基于神经网络的人脸识别系统对人脸图像的轮廓信息更加重视和关注, 而人脸图像局部细节信息的准确与否对最终的识别性能影响相对较小。比如在本文研究的一起案件中, 嫌疑人脸上有一块较大的色斑, 其对应的检材人脸图像上是否有对应的色斑对两者人脸识别结果的影响不大。通过PS技术去除该色斑后的样本人脸图像和未去除色斑的人脸图像在人脸比对系统中比对的相似率高达99.999%。高斯模糊图像处理是典型的图像平滑降噪处理技术, 对模糊检材人脸图像的高斯模糊, 可以去除检材人脸图像的噪点信息, 提高模糊人脸图像的准确轮廓信息进而提高识别率和检出率。然而, 保持边缘的图像增强方法却起到了相反的作用, 可能的解释是本文研究的人脸图像均来源于真实鉴定案件, 人脸图像质量普遍不高, 图像超分辨率计算方法在增强图像显示效果的同时, 增强了人脸图像上原本存在的噪点信息, 进而影响了人脸识别系统的识别性能。
现有的基于深度学习技术的人脸识别系统基本均具有较高的人脸识别准确性, 具有较好的实践应用价值, 已成为公共安全领域视频侦查的重要技术手段, 亦成为人像鉴定中人脸图像特征量化检验分析的重要技术方法。然而, 人脸识别技术的检验内容仅局限于人脸五官形态及其配置关系特征, 此外, 该技术对人脸细节特征的价值缺乏有效评估, 且人脸图像质量对人脸识别系统的识别性能具有较大影响, 人脸识别技术无法有效应对人皮面具等化妆技术的挑战。人像鉴定中检验的人像特征涵盖头部形态特征、五官形态特征、五官配置关系特征、人体特殊标记特征, 以及其他的人体动态特征, 比如步态特征等, 因此, 人像鉴定实践中应尽可能对人像特征进行全方位检验分析, 并进行特征价值的综合评断, 在此基础上给出科学客观的人像鉴定意见。
人脸识别系统已成为人像鉴定领域的重要量化分析技术手段, 而本文研究成果表明了图像处理技术在改善人脸图像质量方面的积极影响, 针对人像鉴定中人脸识别系统应用, 图像处理技术具有重要作用, 特别是在模糊人像鉴定应用场景中图像处理技术的作用将越发重要。