基于卷积神经网络和长短期记忆融合的尿液有形成分识别技术

发布时间:2021-04-23       作者:王梦龙       来源:临床实验室        浏览:2261       收藏: 0

作者:王梦龙   王琨   秦鑫龙   蒋均   粟传军

尿液中各类有形成分对人体肾脏、泌尿系统疾病具有重要的诊断和鉴别作用,临床急需红细胞、白细胞、上皮细胞、结晶和管型准确的亚分类,以对尿路结石、泌尿系统感染、肾小球肾炎、急性肾小管坏死等疾病进行诊断和鉴别诊断。常规的人工镜检操作过程繁琐、耗时,而且极大消耗精力,大批量样本无法保证TAT。所以目前大部分医院已采用全自动尿液分析仪。其中相当一部分与人工智能相结合,降低了人工镜检的频率,极大提高了工作效率。但由于尿液pH、渗透压等理化环境复杂,尿液中有形成分往往不典型。而且其图像种类繁多、纹理轮廓千变万化、图像清晰度不统一、色彩亮度分布不均匀和散焦严重等特点,导致尿液中各类有形成分识别困难。

一、人工智能技术的应用

从最初的经典机器学习,到现在深度学习,人工智能的发展迅速,目前深度学习已经替代了经典机器学习成为了人工智能的主流。

深度学习是一种以人工神经网路为架构,对资料进行表征学习的算法。对于计算机视觉来说,深度学习通过将数据抽象化为一系列特征点(或神经元),从而对于给定目标进行分类。

33.jpg

本技术基础的深度学习框架采用卷积神经网络(CNN),并尝试了多种网络模型,如:AlexNet、SqueezeNet、EfficientNet等。不同的CNN分别是由卷积层、线性整流层、池化层、完全连接层按照不同的数量和不同的排列组成,模仿人的思考方式,通过感知局部特征,并将这些特征联系起来得到数据特征。

虽然CNN对于图像有着独特的优越性,但在尿液图像这样复杂的环境中,常规的CNN无法有效完成对有形成分的分类工作。问题主要来自以下几个方面:(1)从原始图中切割出有形成分效果差。如:偏心、不完整、未切割等。对于以透明管型为代表,部分或边缘与背景融合的成分特别容易出现不完整的情况。YOLO等目标识别框架受此影响较小。(2)受仪器成本的限制,图像分辨率不高,细节不清晰。(3)有形成分重叠。这点在采用沉降式的仪器中出现频率最高。(4)对于纹理特征相似,但形状不同的成分易混淆。这是由于CNN的局部感知带来的缺陷,例如:单颗酵母菌、单颗球菌和小红细胞很难区分;椭圆结晶和一些红细胞亚分类很难区分。

34.png

二、技术改进

为了解决以上问题,本技术提出一种上下文的思考方式:在一份尿液样本中一些有形成分的出现是存在一定关联性,并不是毫无联系的;同时一些其他的检测数据对于某些有形成分的出现是可以预知的。如:(1)标本中出现大量酵母菌,那么识别为单颗球菌或小红细胞的部分就需要重新评估,因为它们极大可能会是单颗酵母菌。(2)标本中出现大量红细胞,那么非红细胞管型或血液管型等其他管型部分就需要重新评估。

从以上思路出发,考虑引进用于处理序列变化数据的循环神经网络(RNN),以处理有形成分之间以及已测量数据间的联系。它与CNN不同,CNN类似于树状结构(中间会有发散和聚集),RNN则是链式结构。在RNN的神经元序列中,每个神经元的输入包含上次输出以及原始数据,因此能将多个数据进行关联。

由于每次计算后输出与输入差距很大,数据间的联系在传递过程中与特征误差将进一步扩大,以致于普通的RNN在长序列训练过程中会出现梯度消失和梯度爆炸问题,因此本技术采用了一种特殊RNN——长短期记忆(LSTM)。

35.png

LSTM依旧采用RNN的链式结构,但每个神经元的内部结构会相对复杂。特别的是,这也是LSTM的核心思想,增加一条贯穿整条链的信息传送带——单元状态(cell state)。相比输入输出的较大差距,单元状态以缓慢的速度更新,以保持数据间的联系特征传递。

36.png

LSTM的神经元由三部分组成:(1)遗忘门。用于决定让单元状态哪些特征数据继续通过神经元,剔除非特征性的数据。(2)传入门。用于决定输入哪些新的数据,更新特征数据。(3)输出门。用于产生本次的输出,同时也是下次的输入。

37.png

通过引入LSTM,样本首先使用CNN进行单张图像识别,再使用LSTM将所得数据关联,形成整个样本的数据链,并对样本进行修正。这样使标本的检测由单张图像识别扩展为整个标本的识别,大幅提高识别率。

三、总结与展望

按照本文所述技术改进后,弥补了CNN对于图像切割、图像不清晰、重叠、易混淆方面的缺陷,有形成分的分类有了显著的提升。同时将原有的单张图像分析提升到了整个标本的训练和分析。识别提升主要体现在以下几个方面:(1)提升管型召回率和准确率,增加了其亚分类;(2)提升肾小管上皮的召回率和准确率;(3)解决了红细胞、球菌和酵母菌混淆的问题;(4)解决了椭圆形状的结晶和红细胞混淆的问题。

虽然目前的识别已经能满足大部分需求,但继续提高依旧是我们面临的巨大挑战。在软件方面我们期望从模型不同参数的训练方式、模型融合以及网络最合适的图像尺寸等方面取得进展,在硬件方面我们将使用染色后的有形成分彩色图片应用5G网络上传至云端进行识别,进一步提高对于尿液有形成分的识别种类和识别率,尤其是对药物结晶的识别,如阿莫西林、环丙沙星、阿昔洛韦、甲氨蝶呤等,从而更大程度上减轻人工镜检的负担,提高仪器的准确性,缩短TAT,为临床诊断提供更准确更丰富的尿液检验数据。

杂志后跟_副本.png

本文链接:http://www.ddm360.com/article/detail/1392
版权所有,转载时请以链接的形式注明来源!
相关主题: 临检