普通纸质药盒1个, 三边尺寸为15 cm× 9 cm× 5 cm, 随机选择3个表面, 分别捺印红色印泥手印（见图1）。样本制作完毕后, 在自然条件下放置3 d。

图1

Fig. 1

	Figure Option ViewDownloadNew Window
	图1 纸质药盒表面捺印指纹原貌图Fig. 1 Original appearance of fingerprint imprinted on the surface of paper package of medicine

HIMI-VIS光谱成像仪（广州星博科仪有限公司）; 卤素灯（北京欧亿上佳照明公司）; 小米11手机（小米科技有限责任公司）; 数据处理运行环境:GPU TESLA V100, 显卡内存32 G, CPU Intel (R) Xeon (R) Silver 4114, 系统内存12 G。

光谱影像集采集方法:使用卤素灯均匀配光, 波长范围400~720 nm, 波长间隔10 nm, 自动曝光时间模式, 分别采集纸质药盒6个平面各33张光谱图像数据。

三维重建彩色图像采集方法:使用手机拍照功能, 从48个角度围绕纸质药盒分别拍摄（图2）, 得到48张2 800万像素彩色图像。

图2

Fig. 2

	Figure Option ViewDownloadNew Window
	图2 三维重建彩色照片采集示意图（a:三维重建彩色照片采集位置; b:经过SFM后估计的相机位姿）Fig. 2 Schematic of color photo acquisition for 3D reconstruction (a: sites for acquisition; b: SFM-estimated poses of camera)

三维光谱成像过程如图3所示, 将物证材料分别通过普通彩色相机和光谱相机进行拍摄, 获取彩色图像和光谱图像。

图3

Fig. 3

	Figure Option ViewDownloadNew Window
	图3 三维光谱重建流程图Fig. 3 Route of 3D spectral reconstruction

1）通过光谱影像分析实现光谱图像分类, 通过计算两两光谱图像的夹角余弦相似系数, 将相似的图像归为一类, 通过将相似图像分类, 可以降低光谱图像重定位的检索空间, 提升匹配效率。

2）通过运动恢复结构算法（structure-from-motion, SFM）^[12]完成相机位姿估计, 并通过蝙蝠算法（bat algorithm）^[13]完成相机的迭代优化, 利用相机位姿反推获得彩色图像的三维点云, 并通过泊松重建^[14]和纹理贴图, 构建物证的彩色三维重建模型。

3）将分类后的光谱影像通过基于HF-Net架 构^{[15, 16]}的深度神经网络实现光谱特征在三维彩色模型上的重定位。

4）通过纹理重贴图, 生成光谱三维模型。

1.4.1 光谱影像分析

使用MIsystem软件光谱特征整体匹配方法对采集到的光谱影像集进行指纹显现处理。光谱特征整体匹配有很多方法, 如基于几何特征、统计特征、变换域特征的方法。这些方法都是采用某一度量距离函数进行计算, 如利用范数（常用的为欧氏范数）、相关系数、夹角余弦相似系数等方法、Hausdorff距离等。本文使用的是相关系数和夹角余弦两种方法。

两个随机变量X, Y的相关系数ρ _XY定义如下:

$\rho_{X Y}=\frac{\operatorname{Cov}(X, Y)}{\sqrt{D(X)} \sqrt{D(Y)}} $（1）

其中Cov（X, Y）为X和Y的协方差; D（X）, D（Y）分别为X、Y的方差。相关系数越大, 表示X、Y存在线性关系的概率越大, 当相关系数为1时, 表示存在确定的线性关系, 即Y=kX。相关系数定义简单, 意义明确, 在实际的光谱曲线匹配中经常使用。两个向量X、Y的夹角余弦系数C_XY定义如下:

$C(X, Y)=\frac{\sum_{k=1}^{n} x_{k} y_{k}}{\sqrt{\left(\sum_{k=1}^{n} x_{k}^{2}\right)\left(\sum_{k=1}^{n} y_{k}^{2}\right)}} $（2）

夹角余弦在图像识别中的应用比较广泛, 对于形状相同而尺度不同的曲线也可以进行匹配。在通用的光谱影像匹配中, 夹角余弦作为一种有效度量方法, 常常成为研究人员的首选方法。

1.4.2 彩色图像三维重建

1）使用彩色图像构建稠密点云。通过彩色二维图像的SFM算法, 确定每张彩色二维图像的相机位姿, 并通过蝙蝠算法对相机的位姿图进行迭代优化, 得到可靠的相机位姿。在相机位姿的基础上, 融合每一个相机位姿对应的深度图, 得到物体的稠密点云图。

2）构建模型。利用稠密点云完成立体模型重建, 构建三维网格（3D mesh）或者面元（Surfel）图。常见的有泊松重建、Surfel重建、八叉树地图, VRIP算法。本文采用是的泊松重建方法^[16]。

3）纹理贴图。对没有纹理的三维模型, 需要通过立体贴图得到最终的彩色模型, 光线投射是立体贴图的方法之一, 它的理论基础是观察投射光线到物体上的每个点, 查找阻挡光线的最近物体, 也就是将图像当作一个屏风, 每个点就是屏风上的一个正方形。成像平面每个像素沿着视线方向发出一条射线穿过体数据, 沿着这条射线等距离重采样, 求出各重采样的颜色值和阻光度, 然后按照由前向后或由后向前的方式合成射线上各重采样点的颜色和阻光度, 即得到该像素颜色。本次实验中, 三维重建运行时间15 min。

1.4.3 光谱特征重定位

光谱图像的视觉定位, 关键要解决光谱相机位姿估计与三维模型的空间重定位问题, 最主要的挑战是建立输入光谱图像数据与基准三维点云数据之间的相关性。传统的视觉定位方法被分为基于结构或基于图像两类, 大都采用判别的方法, 依赖强有力的特征描述算子来建立各种观测条件下同一关键点之间的联系。然而, 在实际情况下, 观测条件的不确定性使得现有特征描述算子很难准确捕捉各个关键点的稳定性, 尤其在缺少特征的地方往往会发生定位失败, 缺乏鲁棒性。基于图像检索的替代定位方法最近在稳健性和效率方面显示出不错的结果, 但在准确性方面没有竞争力。近年来, 基于卷积神经网络的关键点检测在使用较少的计算开销同时, 表现出了无与伦比的鲁棒性。

本文使用一种用于分层特征的新型神经网络HF-Net, 可以实现高效的精细定位。它可以一次性检测关键点并计算局部和全局描述符, 从而最大限度地提高计算共享, 同时保留较大基线网络的性能。HF-Net架构由单个编码器和三个头预测（关键点检测分数、密集局部描述符和全局图像范围描述符）组成。

1）训练过程。首先, 通过MobileNet^[17]实现三维重建彩色点云（point cloud）的提取特征, 输出的特征图用于后续的全局描述子（global descriptor）、关键点得分（key point scores）、局部描述子（local descriptors）的预测。其次, 通过SuperPoint解码, 使用一种非学习的固定方式得到三维重建彩色点云的关键点得分和局部描述子。然后, 通过MobileNet和NetVLAD层实现对三维重建彩色点云的全局描述子的提取（图4）。

图4

Fig. 4

	Figure Option ViewDownloadNew Window
	图4 HF net网络结构图Fig. 4 Structural illustration of HF-Net network

2）重定位过程。将光谱图像放入HF-Net中进行计算, 分别得到全局描述子、局部描述子、关键点得分, 使用光谱图像的全局描述子, 在三维重建彩色点云的数据集进行全局检索, 检索得到此光谱照片对应的三维模型的大致位置。使用光谱图像的局部描述子和关键点得分, 进行局部特征匹配, 找到光谱图像中的光谱信息, 对应三维模型点云中的匹配点, 从而完成光谱信息和三维模型的映射。再通过HF-Net网络实现光谱特征点的匹配, 就可以将光谱信息完整地映射到三维重建的模型上去, 从而实现三维光谱成像物证检验的目标（见图5）。

图5

Fig. 5

	Figure Option ViewDownloadNew Window
	图5 光谱图像的特征点在彩色图像三维模型上的重定位Fig. 5 Relocation of feature points of spectral image onto three-dimensional pattern of color image

此过程的运行框架:Tensorflow 1.12; 当1张光谱影像处理结果匹配4张彩色照片时, HF-Net运行时间:12 s。

使用MIsystem软件对纸质药盒三个不同表面处理结果和显现的捺印指纹放大结果如图6所示。通过光谱影像分析, 可以将纸盒表面的潜在指纹全部显现出来, 并清晰放大, 对于后续光谱特征重定位提供了较好的影像素材。

图6

Fig. 6

	Figure Option ViewDownloadNew Window
	图6 光谱成像显现指纹结果图Fig. 6 Fingerprint displayed out from spectral imaging

通过多角度高清彩色图像完成的物证三维重建效果见图7。由于本文采用基于普通相机拍摄的彩色照片完成物证的三维重建, 无需专业的激光扫描设备, 应用场景更灵活, 更适合现场物证采集。而且三维重建模型的图像分辨率显著高于激光三维扫描的重建分辨率。本文重建的三维模型的彩色分辨率为6 016 × 4 512, 约2 700万像素, 而目前市场上分辨率最高的激光扫描重建设备, 最大分辨率900万像素。

图7

Fig. 7

	Figure Option ViewDownloadNew Window
	图7 彩色图像三维重建模型效果图Fig. 7 RGB-formatted rendering into 3D-reconstruction of the original image

纸质药盒表面指纹的光谱信息映射到三维建模点云效果见图8。由于采用基于HF-Net框架的深度神经网络进行光谱特征匹配, 匹配精度高于传统的误差平方和算法 (sum of squared differences, 简称SSD算法), 而且适合不同光照条件, 鲁棒性更好。

图8

Fig. 8

	Figure Option ViewDownloadNew Window
	图8 三维光谱重建模型效果图Fig. 8 Spectral 3D-reconstructed rendering of the original image