引用本文
杨超朋, 赵俊彦, 何光龙, 王坚, 刘力, 刘华, 刘凡, 张磊磊. 基于深度学习的人体肋骨骨折智能检测技术[J].刑事技术, 2021,46(2):134-139
YANG Chaopeng, ZHAO Junyan, HE Guanglong, WANG Jian, LIU Li, LIU Hua, LIU Fan, ZHANG Leilei. Deep Learning into Intelligent Detection of Rib Fracture from X-Ray Imagery[J]. Forensic Science and Technology,2021,46(2): 134-139  
Doi: 10.16467/j.1008-3650.2020.0002
Permissions
Copyright©2021, 《刑事技术》编辑部
《刑事技术》编辑部
基于深度学习的人体肋骨骨折智能检测技术
杨超朋1, 赵俊彦2, 何光龙1,*, 王坚1, 刘力3, 刘华3, 刘凡3, 张磊磊4
1.公安部物证鉴定中心,北京 100038
2.北京中景崴科技有限公司,北京 101100
3.北京市公安局刑侦总队,北京 100054
4.山东省公安厅物证鉴定研究中心,济南 250001
* 通信作者简介：何光龙,男,福建平潭人,硕士,副主任法医师,研究方向为法医病理、损伤学。E-mail: guanglong_he@163.com

第一作者简介：杨超朋,男,山东济宁人,硕士,主检法医师,研究方向为法医病理、损伤、人类学。E-mail: yangchaopeng50403@163.com

基金资助: 公安部“双十”计划重点攻关项目（2019SSGG0401）
摘要

目的 将人工智能中的深度学习技术应用到人体肋骨骨折识别,实现人体肋骨骨折智能检测,提高法医肋骨骨折诊断效率。方法 采集3143例人体胸部X线数字影像（2602例用于训练,541例用于测试）,标注肋骨骨折特征点,通过多层网络堆叠,分层、分级主动学习原始数据高度抽象的特征表述,并将此特征反馈至检测器进行骨折检测,输出骨折位置及相应置信度。结果 基于深度学习的人体肋骨骨折检测准确率在90%以上。结论 基于深度学习的人体肋骨骨折检测准确率较高,可用于辅助法医进行肋骨骨折识别诊断、检验鉴定等,本研究可为人体其他部位骨骼损伤智能检测提供参考。

关键词: 法医影像学; 肋骨骨折; 智能检测; 人工智能; 深度学习; 卷积神经网络（CNN）; X线数字影像
中图分类号:DF795.1 文献标志码:A 文章编号:1008-3650(2021)02-0134-06
Deep Learning into Intelligent Detection of Rib Fracture from X-Ray Imagery
YANG Chaopeng1, ZHAO Junyan2, HE Guanglong1,*, WANG Jian1, LIU Li3, LIU Hua3, LIU Fan3, ZHANG Leilei4
1. Institute of Forensic Science, Ministry of Public Security, Beijing 100038, China
2. Beijing ZhongJingWei Technology Co., Ltd., Beijing 101100, China
3. General Corps of Criminal Investigation of Beijing Public Security Bureau, Beijing 100054, China
4. Forensic Identification Center of Evidential Materials, Shandong Provincial Public Security Department, Jinan 250001, China
Abstract

Objective To apply deep learning intelligence into rib fracture detection from X-ray medical imagery to realize the artificial intelligent detection of human rib fracture so as to improve the forensic diagnostic efficiency of rib fracture.Methods 3143 human chest digital X-ray radiographs were collected, having the relevant rib fractures marked so that such labelled images were taken as the input. With 2602 radiographs to be used for training and the other 541 ones for testing, intelligent deep learning launched actively to learn those abstract featuring representations in a hierarchical way from the raw image through stacking multiple neural network layers. The derived featuring representations were further fed into a detector to have the fracture area localized. The output indicated both the image coordinates referring to the rib fracture area and the corresponding confidence.Results An accuracy was greater than 90% obtained from the deep learning intelligence to detect human rib fracture.Conclusions Deep learning intelligence is promising in X-ray medical rib fracture detection, capable of assisting forensic diagnosis for rib fracture detection and reference to intelligent detection about other bone fracture.

Key words: forensic imaging; rib fracture; intelligence detection; artificial intelligence (AI); deep learning; convolutional neural network (CNN); digital X-ray radiograph

肋骨骨折是法医学实践中常见损伤之一, 在故意伤害、交通事故、高坠、意外事故等案事件中发生率较高。法医对这类损伤的检验鉴定主要依据DR、CT等设备拍摄的X线数字影像、诊疗记录、活体检验等客观资料综合分析研判, 检验结果的准确性不仅受上述客观资料影响, 同时也受鉴定人所掌握的影像知识、实践经验等主观因素影响。为尽可能提高肋骨骨折检验鉴定准确性, 降低主、客观因素不利影响, 有必要引入图像智能识别技术。

人工智能可以模仿人的认知思维, 采用多种算法, 通过大样本学习, 实现对观察对象的自动识别检测, 随着样本数量递增、算法升级等, 识别准确率将不断提升, 该方法可有效避免人为主观因素干扰, 确保检测结果更加科学、客观、真实。

本研究采用深度学习技术[1, 2, 3, 4, 5, 6], 建立模拟人脑进行分层学习的神经网络, 模仿人脑的工作机制来解释图像数据。深度学习通过将低层特征组合形成更抽象的高层来表示属性类别或特征, 以发现数据的分布式特征表示。深度机器学习方法分为有监督学习（如卷积神经网络, convolutional neural networks, 简称CNN）与无监督学习, 不同学习框架下建立的学习模型不同, 本研究首次建立卷积神经网络系统检测人体肋骨骨折的智能方法。

1 材料与方法
1.1 材料

1.1.1 研究对象

3 143例采用荷兰飞利浦双板直接数字化X线机（见1.1.3）拍摄的新鲜肋骨骨折影像片（正位胸片）, 骨折线较清晰、易观察, 剔除极轻微骨折、隐匿骨折、显著骨质疏松、严重骨性疾病、骨骼显著移位、特殊骨性结构等影响骨折形成与观察的特殊样本。其中, 2 602例用于训练, 541例用于测试, 拍摄时间为2013~2019年, 男性2 294例, 女性849例, 平均年龄56.16岁, 最小年龄16岁, 最大年龄81岁。该研究符合有关的医学伦理及法律条款规定。

1.1.2 材料来源

山东某医院影像科。

1.1.3 仪器设备

荷兰飞利浦双板直接数字化X射线成像（digital radiography, DR）系统, 型号DR 3.1, 主要参数：电压80 kV、电流25 mA, 工作站Eleva Workspot, 操作系统Unix, 软件Unique。

1.2 方法

本研究所采用的机器学习模型是深度学习的典型代表卷积神经网络CNN[7, 8, 9], 它以层级化的方式进行特征的自主学习, 将简单的低级特征组合成复杂的高级特征, 以此递进, 提取到各种高度抽象、具有区分性的特征。

1.2.1 神经网络模型

本研究采用的CNN结构如图1所示, 该结构由输入层、特征提取模块、目标提取模块和输出层组成。特征提取模块主要由残差模块组成（详见1.2.2）; 目标提取模块主要由RPN子网、ROI池化、骨折位置细化模块组成; 输出层主要由softmax和骨折区域坐标组成, 输出该区域为骨折区域的置信度及坐标。

图1 卷积神经网络整体结构Fig.1 Convolutional neural network for deep learning

1.2.2 肋骨骨折特征提取

本研究所采用的骨折特征提取器是残差网络[10]ResNet-50, 通过引入短路连接（如图2中的曲线连接）, 解决特征“ 退化” 问题, 提高深度网络特征表示能力。残差网络以“ 残差模块” 为基本单元进行深度网络的构建, 一个“ 残差模块” 通常由若干个卷积层组成。典型残差连接模块如图2所示, 图中每一个矩形表示一个卷积操作, “ 3× 3” 表示卷积核大小, “ 64” 表示有64组卷积滤波器。通过将“ 残差模块” 不断叠加, 根据使用“ 残差模块” 数量不同, 可得到不同深度的残差网络。本文使用ResNet-50作为特征提取器, 其网络结构如表1所示, 表中以224× 224大小的输入影像为例, 输出为2 048张7× 7大小特征图, 作为输入X线医学影像的特征表示。

图2 残差连接基本模块Fig.2 A basic block of residual connection

表1 ResNet-50网络结构 Table 1 Convolutional neural network of ResNet-50

1.2.3 肋骨骨折区域检测

骨折区域检测[11, 12, 13]器以特征提取器得到的特征为输入, 通过区域生成网络（region proposal network, RPN）提取候选区域, 之后将得到的候选区域的对应特征输入ROI池化（region of interest pooling）层, 得到固定长度的特征, 并将其输入分类层与回归层, 分别进行进一步的是否为骨折区域判断和骨折区域的预测。本研究骨折检测的整体流程如图3所示。

图3 骨折检测整体流程Fig.3 The overall process of fracture detection

RPN可以将任何尺寸的特征图作为输入, 得到系列矩形目标候选区域框, 每个框都有一个类别概率, 该操作可由全卷积方式实现。为了生成区域候选框, 在特征提取器得到的特征图上滑动一个小的网络。该小网络将输入的特征映射到一个固定大小的空间窗口作为小网络的输入, 将其映射为一个更低维的特征。得到的特征送入两个分支中, 一个用于框内区域的分类, 判别是否为骨折区域; 另一个用于框大小和位置的回归, 如果该区域为骨折区域, 输出最有可能的位置。小网络执行滑动窗口形式, 所有空间位置都共享全连接层。

RPN网络可以通过反向梯度传播和随机梯度下降方法进行训练, 训练过程分为四个步骤：

1） 特征提取器用ResNet-50预训练模型进行初始化, 并用候选区域与真值针对特征提取网络和RPN网络进行端对端训练。

2） 利用第一步训练好的RPN网络提取候选区域, 将候选区域作为检测网络的输入, 同样提取器用ResNet-50预训练模型进行初始化, 针对特征提取网络和检测子网络联合训练。

3） 固定特征提取网络, 训练RPN网络。

4） 固定特征提取网络, 训练检测子网络。

2 结果与讨论

本研究利用2 602张新鲜人体肋骨骨折检测数据进行模型训练, 对训练集经过6.5万次迭代, 肋骨骨折检测平均精确率均值（mean average precision, MAP, 该值源于对准确率/查准率和召回率/查全率求均值）达到94.91%, 将模型应用到测试集, MAP达到90.67%, 迭代次数与肋骨骨折检测MAP对应关系见表2, 系统智能检测效果如图4所示。

表2 迭代次数与MAP对应关系 Table 2 Relations between the number of iterations and MAP (mean average precision)

图4 肋骨骨折专家标注与机器检测对比图（1至4排依次为原始图、专家标注图、机器检测图、专家标注与机器检测对比图）Fig.4 Comparison of expert labeling against machine detection of rib fraction (row 1 to 4 are pictures of the original, expert labeling, machine detection, and the superposed with comparison between expert labeling and machine detection. A, B, C, D are four different chest X-ray radiographs)

本研究尝试将人工智能常用的深度学习技术应用到人体肋骨骨折智能检测, 采用CNN神经网络结构对专家标注的骨折区域进行训练学习, 建立了一套肋骨骨折自动检测系统模型, 将标准人体胸部DR原始图像输入该系统模型, 机器自动进行图像处理、特征提取、目标识别、区域标注等工作, 输出标注骨折区域的数字图像。将该模型分别应用到训练集和测试集进行检验, 结果显示两者的MAP均达到90%以上, 准确度较高、泛化能力较强, 研究结果达到了项目预期。

本研究在实施过程中受到多种因素影响, 一是样本来源较为单一、区域性较强、样本总数较少; 二是样本拍摄时间跨度较大、图像质量存在一定差异; 三是部分骨折未能同时标注、两名标注专家存在认识差异等。这些因素使得测试集和样本集MAP仍然有5%和9%的提升空间, 可通过大幅度扩大样本总数、选择高质量图像、组织多名专家会诊共同标注争议骨折等措施进一步提高MAP。

相关文献报道, 法医采用传统X线片诊断肋骨骨折误诊和漏诊率较高, 李成栋[14]对36例肋骨骨折的法医学鉴定研究发现, 鉴定前的临床医学诊断误诊率为22%。龚晓虹等[15]对80例存在肋骨骨折的患者DR正、侧位片进行观察, 漏诊49处, 漏诊率为19.14%（49/256）。

与传统人工检验方法相比, 本研究肋骨骨折检测MAP在90%以上, 准确率较高, 可用于辅助临床法医对肋骨骨折损伤程度进行鉴定, 在一定程度上可降低误诊率、漏诊率, 此外, 还可用于辅助法医病理检验人员确定尸体肋骨骨折部位、数量、走行、程度以及完成致伤机制分析, 也可为其他部位人体骨骼损伤智能检测研究提供参考。

本研究所建立的系统模型是否具有普遍适用性仍待进一步检验, 同时, 为不断完善系统模型, 有必要进一步扩大采样地区、丰富样本数量, 特别是增加轻微、隐匿等疑难复杂肋骨骨折样本等。

本研究所采用的样本是人体胸部DR平面数字影像, 构建的深度学习神经网络模型主要适用于人体DR平面数字影像, 尚不能直接应用到人体CT、MRI等层面数字影像, 此类人体数字影像肋骨骨折自动检测仍需进一步研究。

3 结论与展望

本研究将人工智能深度学习技术应用于人体胸部X线数字影像肋骨骨折自动检测中, 基于CNN构建深度学习模型, 以ResNet-50为特征提取器, 使用RPN网络和检测子网络作为骨折区域检测器, 提取骨折部位候选区, 进行第二次置信度和位置估计, 并细化结果, 在数据集上的训练和测试取得了良好的效果。

研究表明, 基于深度学习的人体肋骨骨折检测准确率较高, 可用于辅助法医进行肋骨骨折识别诊断、致伤工具推断、成伤机制分析等, 也可为人体其他部位骨骼损伤自动检测提供参考。

本研究成功将深度学习神经网络模型应用到肋骨骨折自动化检测中, 取得了较好的研究成果, 为胸骨、四肢长骨等通过DR数字影像可以较完整显示骨折特征的人体其他部位骨骼损伤的自动化检测积累了经验, 为推动人体骨骼系统损伤智能检测研究打下了良好基础。

另外, 本研究可为人体骨骼损伤时间智能推断提供参考, 通过构建不同部位人体骨骼损伤愈合时间自动化检测模型, 可辅助法医判断骨折发生时间, 进而区别造作伤、无关损伤, 使骨骼损伤程度鉴定更加客观、科学、公正。

此外, 随着深度学习神经网络结构的不断发展、成熟、完善, 可将CT、MRI等数字影像数据作为研究对象, 实现人体骨骼及其他脏器损伤智能检测, 为研究人体损伤致伤工具、成伤机制、损伤时间等提供更全面、更系统、更客观的数据及技术支撑。

参考文献
[1] 尹宝才, 王文通, 王立春. 深度学习研究综述[J]. 北京工业大学学报, 2015, 41(1): 48-59.
(YIN Baocai, WANG Wentong, WANG Lichun. Review of deep learning[J]. Journal of Beijing University of Technology, 2015, 41(1): 48-59. ) [本文引用:1]
[2] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 18(7): 1527-1554. [本文引用:1]
[3] HINTON G, OSINDERO S, TEH Y. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554. [本文引用:1]
[4] 古德费洛, 本吉奥, 库维尔. 深度学习[M]. 赵申剑, 黎彧君, 符天凡, 等译. 北京: 人民邮电出版社, 2017.
(GOODFELLOW I, BENGIO Y, COURVILLE A. Deep learning[M]. ZHAO Shenjian, LI Yujun, FU Tianfan, et al, trans. Beijing: Posts and Telecom Press, 2017. ) [本文引用:1]
[5] 蔡自兴, 刘丽珏, 蔡竞峰, 等. 人工智能及其应用[M]. 5版. 北京: 清华大学出版社, 2016: 290-298.
(CAI Zixing, LIU lijue, CAI Jingfeng, et al. Artifical intelligence and its application[M]. 5th ed. Beijing: Tsinghua University Press, 2016: 290-298. ) [本文引用:1]
[6] 刘志勇, 张更谦, 严江伟. 人工智能在法医学中的应用与展望[J]. 刑事技术, 2019, 44(5): 383-387.
(LIU Zhiyong, ZHANG Gengqian, YAN Jiangwei. Forensic applicability of artificial intelligence and prospect[J]. Forensic Science and Technology, 2019, 44(5): 383-387. ) [本文引用:1]
[7] LIU Q, ZHAN N Y, YANG W Z, et al. A review of image recognition with deep convolutional neural network[C]//Intelligent Computing Theories and Application, Liverpool, 2017: 69-80. [本文引用:1]
[8] GIRSHICK R. Fast R-CNN[C]//IEEE International Conference on Computer Vision (ICCV), Santiago, 2015: 1440-1448. [本文引用:1]
[9] LIN M, CHEN Q, YAN S. Network in network[C]//International Conference on Learning Representations (ICLR), Banff, 2014: 102-112. [本文引用:1]
[10] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, IEEE Computer Society, Las Vegas, 2016: 770-778. [本文引用:1]
[11] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39: 1137-1149. [本文引用:1]
[12] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition, Columbus, 2014, 580-587. [本文引用:]
[13] GIDARIS S, KOMODAKIS N. Object detection via a multi-region and semantic segmentation-aware CNN model[C]//IEEE International Conference on Computer Vision (ICCV), Santiago, 2015: 1134-1142. [本文引用:]
[14] 李成栋. 36例肋骨骨折的法医学鉴定浅析[C]//法医临床学专业理论与实践——中国法医学会·全国第二十一届法医临床学学术研讨会论文集. 北京: 中国法医学会法医临床专业委员会, 2018: 68-70.
(LI Chengdong. Analysis of forensic identification of 36 cases of rib fractures[C]//Theories and Practice of Forensic Clinical Profession-Thesis of the 21st National Forensic Clinical Symposium. Beijing: Forensic Clinical Professional Committee of Chinese Forensic Medicine Association, 2018: 68-70. ) [本文引用:]
[15] 龚晓虹, 孟祥志, 付传明, 等. MSCT与DR诊断肋骨骨折的对比研究[J]. CT理论与应用研究, 2012, 21(3): 549-556.
(GONG Xiaohong, MENG Xiangzhi, FU Chuanming, et al. Comparative study of MSCT with DR for rib fracture[J]. CT Theory and Applications, 2012, 21(3): 549-556. ) [本文引用:]