第一作者简介:白司悦,女,吉林吉林人,硕士研究生,研究方向为生物医学工程。E-mail: 727698922@qq.com
目的 尸体角膜随死后时间延长发生的形态学变化是规律性较好的指标,常用来判断死亡时间(postmortem interval, PMI)。本文尝试用机器视觉代替人的肉眼主观判断,收集尸体样本以建立通过人体角膜图像推断PMI的模型。方法 收集实际案例建立包含505例人体死后角膜图像的数据库,PMI范围为0.24h(约死后14min)至492h(约死后20.5d),大致分为三类(依次为:0~<6h、6~<20h、20h及以上)或二类(0~<15h、15h及以上);使用由华盛顿大学陈天奇博士提出的Xgboost模型分别进行二分类与三分类分析;使用多种卷积神经网络模型分别进行分类和回归学习,并通过比较最终选择了由微软研究院提出的ResNet模型进行分析。结果 Xgboost在三分类时预测准确率依次为71.8%、40.7%、65.7%,二分类时为90%、48.5%。ResNet分类模型中,精准率、召回率在三分类时分别依次为:81%、75%,30%、50%,61%、71%,二分类时为:70%、92%,76%、38%。ResNet回归模型中,比较整个模型的预测结果,0~6h内的预测值与真实值较为接近,均值误差为0.5616,均方误差为0.5873,6h之后开始出现较大误差。结论 分类和回归模型都在0~6h之内得到了很好的结果,说明在此时间段内,角膜图像噪声较低,可预测性强。
The morphological changes of cornea are an important indicator for postmortem interval (PMI) estimation, thus having frequently been used in forensic practice when available. In this paper, an attempt was carried out to estimate PMI from human corneal images through machine vision instead of human visual subjective judgment. Based on routine forensic examination, a PMI database, enclosing 505 corneal images of their respective PMI labeled from 0.24-492h, was established, consequently being roughly divided by PMI into three categories: 0-6h, 6-20h and more than 20h, or two categories: 0-15h and more than 15h. Xgboost, proposed by Dr. CHEN Tianqi of the University of Washington, was used to perform two- and three-category classifications. The convolutional neural network model was also selected to perform both the classification and regression learning. However, ResNet, developed by Microsoft Research Institute, was the final chosen model for analysis because of its outperformance. For Xgboost, its accuracy showed with three-category classification at 71.8%, 40.7% and 65.7%, and two-category classification at 90% and 48.5% in their respective designated PMI categories. For ResNet, the three-category classification contributed its precision rate 81% and recall rate 75% with the first category 0-6h, plus the corresponding 30% and 50% about the second category 6-20h or 61% and 71% for the category 20h and more, respectively. When ResNet was put under the two-category classification, its precision rate was 70% and recall rate 92% for the first category 0-15h, together with the second category more than 15h demonstrating the respective 76% and 38%. For ResNet to play role into regression learning, its predicted numeral was closer to the true value for the 0-6h PMI, with the mean error value 0.5616 and mean squared error value 0.5873, contrasting to large errors appearing after 6h. Therefore, the selected models proved their performance in both classification and regression learning, showing better for the 0-6h PMI estimation because the corneal images in the interval were of low noise and high predictability.
死亡时间(postmortem interval, PMI)指发现尸体或检验尸体的时间点与发生死亡的时间点之间的时间间隔[1]。观察角膜混浊程度以推断死亡时间是一种传统而经典的方法, 简单直观, 在实践中应用很广, 也是法医学研究的热点[2, 3, 4]。本文通过基于死后角膜图片本身视觉特征的机器学习和神经网络方法, 建立了新的客观推断人体死亡时间的模型, 并对预测效果进行了评价。
常规尸检时由专业法医对尸体角膜拍照, 记录拍照时间和宣布死亡的时间, 计算出PMI, 填写案件信息表, 并与图片一起提交。案例材料汇总后由专业人员对原始图像进行处理, 自动分割出角膜部分图片, 并进行特征提取、模型训练等进一步实验。
本次实验共使用了505具尸体的角膜图像作为数据集, PMI分布及图片示例如图1所示。数据集按照4:1的比例随机划分为训练集(384例)和测试集(121例)。
使用基于阈值的分割方法[5]对灰度化的原始图片进行初步分割。图像处理会受到图像中包含的噪声的影响, 图像中一些与角膜区域拥有同样灰度的噪点会影响阈值划分的效果。为了最大程度降低这些噪声的影响以确保实验的准确性, 本文使用了形态学闭运算[6]来优化图像分割效果。
参照文献[7]提取以下8个特征:图像颜色的平均值; 颜色在图像上的分布均匀程度; 图像颜色分布的不对称性; 图像纹理光滑程度; 图像纹理清晰程度; 图像纹理的多少和质地; 矩阵中行或列元素之间相似程度; 图像灰度分布均匀性的度量。
实验将数据按照PMI值0~<6 h, 6~<20 h, 20 h及以上进行划分, 使用Xgboost进行三分类实验, 准确率为0.613 9, 具体混淆矩阵如表1所示。
根据混淆矩阵来计算每一种类别的准确率, 分别为71.8%、40.7%、65.7%。
在三分类的研究基础上, 进行二分类实验。数据按照PMI值0~<15 和15 h及以上进行划分, 准确率为0.736 5。二分类的准确度高于三分类, 根据混淆矩阵计算得到准确率为90%和48.5%。可以看出在短时间精度内, 利用这8个特征参数去估计死亡时间还是比较精确的。
选择多种卷积神经网络分别进行二分类和三分类的训练, 准确率对比如表2所示。
从表2中可以看出, 在二分类学习中, 由微软研究院首次提出的ResNet模型[12, 13, 14], 设置深度为50, 表现最好, 三分类准确率则普遍偏低。联系实际应用情况, 最终选择ResNet模型进行分析及下一步学习。与其他网络相比, ResNet网络由于引入了残差结构, 尽管增加了网络的深度, 但是不会产生过于严重的梯度退化问题。
ResNet模型在二分类学习中, 第一类0~<15 h的精准率、召回率分别为70%、92%, 第二类15 h及以上为76%、38%。在三分类学习中, 第一类0~<6 h的精准率、召回率分别为81%、75%, 第二类6~<20 h为30%、50%, 第三类20 h及以上为61%、71%。从分类的准确程度比较, ResNet分类模型与Xgboost分类模型相比总体准确率相差不大, 但ResNet分类模型在各个分类上的准确率更加均衡。
选择ResNet模型进行回归模型的训练, 随着学习率(learning rate, lr)的变化, 训练集的损失值(loss)曲线如图2所示。对不同lr对应的loss曲线进行比较, lr=5×10-5对应的曲线下降趋势更明显, 波动更小, 收敛效果相对较好, 因此选择了5×10-5的学习率。对于正则项系数以及训练轮次(epoch)的大小, 在经过多次尝试比较结果后, 最终选定正则项系数为3×10-4, 训练轮次为250。
选定超参数后, 对训练集进行训练, 得到回归模型, 并应用于测试集, 最终得到了测试集死亡时间的真实值和预测值两组数据, 比对结果如图3。图中横坐标为测试集中的图片数据的序号, 已经预先将数据按照实际死亡时间升序排列, 纵坐标为死亡时间数值。蓝色曲线为数据实际值, 橙色曲线为模型的预测值。
从图3可看出, 在0~6 h的时间范围内, ResNet模型给出的回归预测值与真实值误差较小, 在超过6 h之后精度便随之下降, 尤其是12 h之后预测值开始出现大的波动, 与真实值之间存在着很大误差。0~6 h内预测模型的均值误差为0.561 6, 均方误差为0.587 3, 均方根误差为0.766 3, 误差值远远小于6 h之后预测值的误差。从ResNet回归的结果来看, 其模型效果同之前的Xgboost分类模型结果(表1)和ResNet分类模型结果(表2)类似, 对0~6 h内的有较高的预测精度, 随着死亡时间的继续延长, 受噪声影响增加, 预测误差逐渐增大。
通过对角膜的肉眼观察来推断死亡时间具有一定的主观性。为寻找能较好表征角膜混浊度的量化指标, 学者们研究了角膜离体后的诸多生理化学特性变化, 包括角膜厚度、透光率、内皮细胞活性率、DNA含量及角膜的超微结构变化等, 都取得了较好的结果[15, 16, 17, 18, 19, 20], 表明角膜死后变化与PMI的良好相关性。这些方法需将角膜取下处理, 一定程度上改变了角膜的自然状态和生理特性, 复杂的操作过程产生的人为误差也难以控制, 限制了后续的影响因素研究以及实验室方法在实践中的应用[21]。随着计算机科学技术的进步, 机器学习和深度学习等都取得了长足的发展, 其成果在包括法医学在内的许多学科领域中得到了广泛的应用[22]。本文回到角膜的原位形态学观察, 探索通过机器视觉推断PMI的模型, 在前期动物实验模型[23, 24, 25]的基础上, 收集实际案例人体角膜图像建立样本库, 使用的两种算法均显示了较好的潜力。
本文使用的数据库是目前已知的本类数据库中最大的, 使用的建库和建模方法较为便捷, 在探索研究和实践应用方面均具有积极的意义。后续将在此基础上, 进一步扩大样本量, 优化算法, 并引入外部参数与角膜图像特征进行整合, 形成一个体系, 以期为死亡时间推断系统建立一个可行的范本。
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|
[22] |
|
[23] |
|
[24] |
|
[25] |
|