Press "Enter" to skip to content

基于Transformer、GasHis-Transformer的胃组织病理学图像分类

GasHis-Transformer是一个实现胃组织病理图像分类(GHIC)的模型,它在胃癌诊断中自动将胃的显微图像分为正常和异常两种情况,如图所示。

 

GasHis-Transformer是一种多尺度图像分类模型,它结合了视觉变换器(VIT)和CNN的最佳特征,其中VIT有利于全局信息,而CNN有利于局部信息。

 

GasHis-Transformer由两个重要模块组成,全局信息模块(GIM)和局部信息模块(LIM),如下图所示。

GasHisTransformer对胃组织病理学测试数据具有较高的分类性能,其估计精度、召回率、F1得分和准确率分别为98.0%、100.0%、96.0%和98.0%。

 

实施

 

GasHisTransformer由两个模块组成:全局信息模块(GIM)和局部信息模块(LIM)。全局信息模块(GIM)基于僵尸网络50从胃组织病理图像中提取全局信息。局部信息模块(LIM)基于Inception-V3的并行结构,多尺度获取胃组织病理图像的局部信息。LIM模块(Inception-V3)的输入大小从299×299更改为224×224,以匹配GIM模块和LIM模块的特征测量。利用GIM和LIM分别对2048维特征进行融合,将4096维特征通过FC层和Softmax进行胃癌诊断。

实验结果

 

从实验结果中非常有趣地注意到,他们成功利用了两个不同网络的工作原理:一个是全局信息强的视觉转换器(VIT),另一个是局部信息强的CNN(ResNet-50,僵尸网络-50)。

此外,下面的念力矩阵显示,GasHisTransformer的收敛和泛化能力非常高,足够实际使用。在验证集中,206幅异常图像和209幅正常图像被正确分类,4幅异常图像被误分类为正常(假阳性),1幅正常图像被误分类为异常(假阴性)。在测试集中,403幅异常图像和420幅正常图像被归为正确的类别。仅17幅异常图像被误判为正常(假阳性),无假阴性。

参考文献

 

[气体变形金刚]陈浩源,陈澧,李晓燕,葛旺,胡伟明,李一新,刘万里,孙昌浩,姚玉栋,岳阳腾,马辛·格泽高泽克,2021年。GasHis-Transformer:一种用于胃组织病理学图像分类的多尺度视觉转换器方法arxiv预印本arxiv:2104.14528。

 

[僵尸网络]Srinivas,A.,Lin,T.Y.,Parmar,N.,Shens,J.,Abbeel,P.,Vaswani,A.,2021.用于视觉识别的瓶颈转换器。arxiv预印本arxiv:2101.11605。

 

[Increation-V3]Szegedy,C.,Vanhoucke,V.,Ioffe,S.,Shens,J.,Wojna,Z.,2016。重新思考计算机视觉的初始架构,见:IEEE计算机视觉和模式识别会议论文集,第2818-2826页。

 

首页–期刊主要分类–期刊细介绍–期刊题录与文摘–期刊详细文摘内容一张图片价值16×16个字:按比例进行图像识别的变形金刚。arxiv预印本arxiv:2010.11929。

 

原创文章,作者:fendouai,如若转载,请注明出处:https://panchuang.net/2021/06/23/%e5%9f%ba%e4%ba%8etransformer%e3%80%81gashis-transformer%e7%9a%84%e8%83%83%e7%bb%84%e7%bb%87%e7%97%85%e7%90%86%e5%ad%a6%e5%9b%be%e5%83%8f%e5%88%86%e7%b1%bb/

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注