基于I3D-CNN的自闭症分类方法

仇喆磊1,王莉1+,王晓2,韦奕1,梅雪1
(1.南京工业大学电气工程与控制科学学院,江苏南京211816;
2.南京医科大学附属脑科医院影像科,江苏南京210000)

摘要:为解决传统基于静态功能网络连接的自闭症分类算法忽略了脑功能连接的时变特性问题,提出一种基于膨胀卷积网络(inflatedthreedimensionconvolutionneuralnetwork,I3D-CNN)的自闭症分类识别方法。提取被试大脑的静息态功能核磁共振影像(reststatefunctionalmagneticresonanceimaging,RS-fMRI)每个感兴趣区域(regionofinterest,ROI)的时间序列,基于时间序列利用随机滑动时间窗口法,构建多个3D动态脑功能连接矩阵,使用I3D-CNN从3D动态脑功能连接矩阵中提取大脑的时空特征,建立自闭症分类模型。通过在ABIDE数据集上进行实验,验证了该方法的可行性和有效性。
关键词:三维卷积神经网络;静息态功能核磁共振影像;动态功能网络;自闭症;分类
中图法分类号:TP391.41文献标识号:A文章编号:1000-7024(2022)06-1644-07
doi:10.16208/j.issn1000-7024.2022.06.018

0引言

近年来,我国自闭症谱系障碍(autismspectrumdisor-der,ASD)患者人群数量和发病率都在快速上升[1]。随着医学影像的发展与人工智能深度学习算法的普及,越来越多的人工智能等领域的科研人员和团队也加入到自闭症的自动分类识别研究中。其中静息态功能核磁共振影像(reststatefunctionalmagneticresonanceimaging,RS-fMRI)是医学影像中研究大脑功能连接异常的有效手段。Saeed等[2]设计了一种数据增强算法,以生成训练模型所需的综合数据集,该模型先将数据时间节点数截取至相同长度,再由自编码器和单层感知器组织提取特征。HailongL等[3]使用了一种基于堆叠自编码器的深度神经网络,使用自闭症影像数据交换(autismbrainimagingdataexchange,ABIDE)数据库中的多个站点的健康受试者训练基于堆叠自编码器的深度神经网络,然后用训练好的网络模型对不同站点数据进行测试。Li等[4]通过使用滑动窗口来提取fMRI被试样本的体素特征,分别计算体素特征的均值和标准差作为双通道输入3D-CNN中训练,测试时对同一样本不同滑窗结果进行投票分类。
综上所述,目前的方法没有充分使用有限数据样本中所蕴含的信息,忽视了脑区之间的功能连接随时间变化的特性。Carreira等[5]针对传统三维卷积算法面对时序数据表现不佳的问题,提出了通过将经典卷积神经网络Inception-V1架构的二维网络,增加了一个时间维度变为三维膨胀卷积神经网络(inflatedthreedimensionconvolutionneuralnetwork,I3D-CNN),该网络可以从视频动作数据中提取出时空特征。出于充分利用样本全部时序信息的考虑,本文提出了一种基于I3D-CNN的自闭症分类方法。

1方法实现结构流程

本文所提出的基于I3D-CNN的自闭症分类方法创建流程如图1所示,具体过程如下:①首先对原始RS-fMRI图像数据进行预处理;②按照自动解剖标记(automatedana-tomicallabeling,AAL)模板将大脑划分为116个脑功能区,并提ROI的时间序列数据;③将预处理后提取的ROI被试样本分为训练样本与测试样本;④利用随机滑动窗口法将提取后的时间序列数据,划分成若干子时间序列数据;⑤采用这些子时间序列数据的训练集生成三维动态脑功能连接矩阵,采用测试集生成三维动态脑功能连接矩阵组;⑥将训练样本生成的三维动态脑功能连接矩阵送入I3D-CNN进行训练后得到自闭症分类模型;⑦利用训练好的自闭症分类模型,对测试样本的类别进行识别;⑧对分类结果进行统计分析处理。所述8个主要过程之间的层次关系及相互之间的联系如图1所示。

2基于I3D的自闭症分类算法

2.1脑功能区域连接矩阵

创建该算法前,首先采用DPARSF(dataprocessingassistantforresting-statefMRI)软件对全部RS-fMRI原始数据进行预处理,使用预处理后的RS-fMRI数据与自动解剖标记AAL模板相匹配,将全脑分割为116个功能不同的感兴趣区域(ROI),其中大脑分割为90个ROI,小脑分割为26个ROI。计算各个脑分区内所有体素血氧水平依赖(bloodoxygenleveldependent,BOLD)信号的平均值,得到116个ROI的时间序列,分别提取全部样本在M个时间节点的ROI,生成M*116的样本矩阵。这里M是原始数据时间序列的长度。
对于样本矩阵,可以通过应用皮尔逊(Pearson)相关系数来计算不同脑区(ROI)之间的功能连接强度,从而
得到116*116的相关系数矩阵。

皮尔逊相关系数的定义如式(1)所示
rij=    ∑(ri-ri)(rj-rj)    (1)
        (rj-rj)2    
式中:rij表示通过脑区i和脑区j计算的Pearson相关系数;ri和rj分别表示脑区i和脑区j的时间序列,其长度是后面算法实现中具体采用的滑动时间窗口长度值;ri和rj表示序列ri和rj的平均值。

2.2三维动态脑功能连接网络

本文使用的自闭症被试来自自闭症影像数据交换(au-tismbrainimagingdataexchange,ABIDE)计划所公开的数据集,该计划汇总了来自世界各地实验室收集自闭症的RS-fMRI数据集。由于不同的国际站点所提供的RS-fMRI原始数据时间节点的长度不尽相同。针对这一问题,研究分析脑疾病通常会选择独立站点进行分析,使用多站点分析前需要将数据裁剪至相同大小。ABIDE脑影像数据集样本量通常只有1977个被试样本,相比于其它公开数据集的上万的样本量显得微不足道,因此充分利用脑影像数据中的全部信息尤为重要。
本文设计了一个基于随机滑动窗口生成三维动态脑功能连接网络的方法,其思路如图2所示。考虑到传统计算静态脑功能的连接网络,只是计算各个脑区之间的相关性,而忽略了脑区之间的相关性随时间变化的属性,导致利用动态脑功能连接网络实现脑疾病诊断的方法,只在意独立脑区的相关性变化,而忽视了大脑整体的相关性及其随时间变化的特点。为了表示被试样本在不同ROI之间的功能架构的时间变异性,利用滑动窗口将每个ROI的时间序列划分成若干个子时间序列,设置滑动窗口长度为L,步长为S,则生成的窗口数量总数目是D=M-L×S+1。
本模型的设计与使用,都是针对多站点数据来开展的。因此,必须要考虑到不同测量站点之间,通常选取的测量时间不同,这会导致被试样本的时间节点数M存在比较大差异,也同时导致从功能连接矩阵中生成的窗口数量D也将有较大差异。对于每个ROI的窗口,在子时间序列上计算功能连接矩阵。从生成的D个功能连接矩阵中,随机抽取连续的d个按顺序完成拼接,构成116*116*d的三维脑动态功能矩阵。在训练过程中,每一轮训练对同一被试样本每次提取连续的d个功能连接矩阵都是随机的,这样做增强了数据集的数量,同时也充分利用了RS-fMRI样本中所蕴含的随时间变化的信息。
在测试过程中,不同于训练时同一被试样本可以多次随机抽取参与训练,每个测试样本只能使用一次。考虑到在被试样本中随机提取连续的d个功能连接矩阵,会对分类结果带来一定的误差,故而本文对同一测试样本按顺序多次采样,生成三维动态脑功能矩阵组,每次脑动态功能网络的间距为4个是时间节点。分类时分别得出三维动态脑功能矩阵组中脑功能矩阵的归一化指数函数(softmax)分类值,按照自闭症与健康两种分类,将分类值分别相加求和之后用于实现分类。
通常的做法是人为将被试样本的时间节点截取至相同长度,或者使用单一站点数据从而避免时间节点数量不同的问题。截取至相同长度的时间节点,会导致浪费大量被试样本提供的信息,而选取单一站点又会使模型具有局限性,泛用性不足。

2.3I3D-CNN模型

考虑到医学影像的特殊性,不同于传统视频分类问题,医学影像的样本量远少于其它数据集的样本量,因此建立的模型要对数据变化规律更加敏感,要学习到更加细微的信息变化。文献[5]通过同时更改测试与验证的数据集对5种架构的性能进行比较后发现,I3D模型的性能最佳。I3D-CNN模型对具有时序信息的数据有比较好的学习能力,可以从3D动态脑功能连接矩阵中提取大脑的时空特征。值得注意的是,I3D模型的参数数量虽然相比于其它模型较大,但面对数据量较小的数据集时,分类效果依然最好。因此本文采用I3D-CNN来构建自闭症分类诊断的网络结构,后期的实验结果也验证了此模型结构的可行性及有效性。
基于I3D-CNN的自闭症分类模型组成结构实现过程如图3所示。I3D-CNN模型是经过Inception-V1架构拓展后得到的,即将原有的针对二维矩阵的2D卷积核与池化操作,同时都增加一个时间维度后变成了3D。该网络由3维卷积层、Inception模块、3维最大值池化层、3维平均池化层构成,以三维动态功能连接矩阵作为网络的输入,提取脑功能网络中的时空特征。
I3D-CNN的Inception组成结构实现过程如图4所示。在Inception(简称Inc)结构模块中,在得到来自上一层的输入特征后,分别并行执行1*1*1、3*3*3、3*3*3的卷积运算和一个3*3*3的最大池化操作,将4部分计算结果通道拼接起来送入下一层。为了减少网络中参数的数量,除1*1*1的卷积运算通道外,其余计算通道上分别加入了一个1*1*1的卷积模块。

3实验及结果分析

3.1数据获取及预处理

实验数据方面,本实验使用ABIDE中的RS-fMRI数据,ABIDE包含ABIDEⅠ和ABIDEⅡ两个数据集,每一个数据集都由来自24个国际脑成像实验室独立收集的数据集汇集而成。我们选取其中的945名ASD受试者和1032名TD对照受试者的RS-fMRI数据进行实验,具体数据分布见表1。
RS-fMRI数据均使用DPARSF软件进行预处理,主要内容和过程步骤包括:移除时间点、时间层校正、头动校正、空间标准化、平滑、去线性飘移、滤波以及消除协变量。
表1ABIDE数据分布

3.2实验结果

本实验中采用的服务器硬件配置包括i7-8086K(16核)型CPU、16GB内存以及RTX2080Ti型显卡。运行软件环境由Windows10系统,python3.6语言和Facebook人工智能研究院开发的PyTorch1.6版本组成。
实验中对预处理后的数据进行划分,将80%的数据作为用于网络训练与参数学习的训练集,将剩余20%的数据作为用于测试模型准确率和泛化性的测试集。通过对大量的对比实验结果的分析发现,算法中参数设置及取值如下时,训练出来的网络模型使用效果最好。具体设置的参数或取值是:用于计算功能连接矩阵的滑窗长度取为30,滑窗步长取为2,每名被试者功能连接矩阵数目确定为16,每批样本数量为16,训练数据集合被轮选次数(epochs)大小确定为200,学习率选取为0.001。
为了进一步确认模型的最佳参数和最佳使用方式,我们在借鉴已有研究成果的基础上,还分别设计了两组实验进行优化分析验证。文献[6]通过对猕猴进行实验,得出RS-fMRI影像数据通常取30~60个时间节点就可以作为独立样本,能传达完整信息的结论。参照这个研究成果,本文的第一组实验在输入样本覆盖不少于60个时间节点的前提下,测试不同滑窗大小对实验结果产生的影响,考虑到实验室设备性能和I3D网络的普遍使用方法,输入的三维矩阵长度(输入的功能连接矩阵数量)为25以内。为提高训练效率及准确性,在训练过程中需要对数据进行归一化的操作,在整个学习过程中被试数据多次发生维度变化时,要完成的归一化的内容分别是ROI特征提取得到的结果、计算功能连接矩阵后的二维矩阵、将二维功能连接矩阵生成的三维功能连接矩阵。由此设计完成了第二组对比实验,在对比实验一取得的最佳滑窗大小的基础上,分别验证在不同数据变化的各个时期进行归一化时,对实验结果产生的影响。
实验中,为了分析滑动窗口大小对分类精度的影响问题,从5开始按照步长为5依次取不同的滑动窗口大小直至60,实验结果如图5所示。可以看出,滑动窗口的大小对分类性能具有一定影响,而且影响结果呈现出随窗口大小变化并非单调性分布的现象,当滑动窗口大小取为30时得自闭症分类模型的分类精度(ACC)最高,准确率可达到72.25%,因此最后根据实验结果确定的滑动窗口大小为30。
表2为选取不同归一化位置时间点时的实验结果。为了确保实验结果的准确可靠,每个归一化位置各做5组实验,分别计算分类结果准确率的平均值,结果见表2。可以发现,当在生成功能连接矩阵后的时刻进行归一化操作时,实验效果更为出色。
表2归一化位置时刻不同时的实验结果

为了评估本文提出的基于3D卷积的脑功能网络在自闭症识别分类使用中的有效性,将其与现有的一些使用ABIDE数据集,基于深度学习的ASD分类方法进行了比较,结果参见表3。
表3多站点实验结果比较

从表3中可以看出,在数据集同为多站点的条件下,本文提出并建立的自闭症分类方法的分类精度为72.25%,具有更好的分类效果,对于不同站点不同来源的数据具有比较好的泛化能力。
此外,还把采用本文的方法训练好的自闭症分类模型,在单个站点的数据集上进行了实验测试,实验结果见表4。可以看出,作为同一个模型,用在不同站点上时的分类正确率不同,这是由于不同数据站点使用的数据采集仪器、采样时间等因素存在较大差异,以及模型的泛化能力共同造成的。这也从一个侧面也反映出,如何进一步提高分类模型的泛化能力,尽量减少对不同源头数据的依赖,仍然是一个需要继续深入研究的方面。
表4不同站点实验结果

考虑到很多研究人员,在使用独立站点对自闭症脑图像进行研究分类。本文还与现有的其它一些针对独立站点进行分类研究的方法进行了对比,这里选用NYU、UM和USM这3个经常使用的实验站点数据进行实验对比,结果分别如图6~图8所示。3组站点对比尽可能选择相同的实验方法,仔细观察可以发现,在同一模型环境下,对于不同站点测试结果差异显著的问题属于共性问题。在相同站点中,本文方法的分类精度仍然较高。这说明本文建立的自闭症分类识别模型在使用过程中,具有比较好的泛化能力。

4结束语

本文基于I3D-CNN建立了一种能更加有效捕捉脑功能连接空间上的联系及其随时间的变化特征的自闭症分类识别智能算法。该算法利用随机滑动时间窗口,提取多个3D动态脑功能连接矩阵,将3D动态脑功能连接矩阵输入I3D-CNN网络进行训练,从而构建自闭症分类模型。
相比于忽略差异使用单一站点或者将不同站点数据删减至相同大小的方法,本文提出的方法可在多站点数据存在差异的情况下,减少不必要的数据信息浪费,可充分利用全部数据及数据中的潜在信息,特别是本文提出了,增添利用fMRI数据中脑区之间的相关性随时间变化过程中呈现出来的差异性信息特征的思想。相应的实验结果也表明,本文提出的思想方法,不仅可以从RS-fMRI数据中提取不同脑区连接在空间上的差异,同时也可以充分利用脑区功能连接随时间变化的特性。本文所提出的思想和所建立的模型算法,对于促进人工智能技术在自闭症诊断方面的应用发展和提高其它应用领域类似工作的技术水平,都具有比较好的参考和借鉴价值。
值得注意的是,虽然与其它同为使用多站点做自闭症分类的方法相比,本文的思想方法有更高的识别率和泛化能力,但是通过对实际实验结果的进一步分析也发现,本方法在不同站点的数据集应用中的准确率,仍然存在一定的差异。因此,如何适应不同站点数据之间的异构性,从而进一步提高模型的泛化能力,仍然是一个需要继续深入研究的课题方向。
根据本文的实践,作者认为在后续研究中,可分别从模型适应性与数据本身两个角度同时出发,深入分析造成多站点识别中个别站点识别率较低的根本原因,以便在提高整体识别率的同时,进一步减小多站点数据识别中,对不同站点识别准确率的差异性,从而建立起来泛化能力更强的自闭症辅助诊断人工智能模型算法。

参考文献:

[1]WUCAILU.ReportondevelopmentofautismeducationandrehabilitationindustryinChina[M].Beijig:BeijingNormalUniversityPress,2019:1-25(inChinese).[五彩鹿儿童行为矫正中心.中国自闭症教育康复行业发展状况报告[M].北京:北京师范大学出版社,2019:1-25.]
[2]SaeedF,EslamiT,MirjaliliV,etal.ASDDiagNet:Ahybridlearningapproachfordetectionofautismspectumdisor-derusingfMRIdata[J].FrontiersinNeuroinformatics,2019,8(11):70-80.
[3]HailongL,ParikhNA,LiliH.Anoveltransferlearningapproachtoenhancedeepneuralnetworkclassificationofbrainfunctionalconnectomes[J].FrontiersinNeuroscience,2018,12(7):491-501.
[4]LiX,DvornekNC,PapademetrisX,etal.2Channelconvolutional3Ddeepneuralnetwork(2CC3D)forfMRIanalysis:ASDclassificationandfeaturelearning[C]//IEEE15thInternationalSymposiumonBiomedicalImaging,2018:1252-1255.
[5]CarreiraJoao,ZissermanAndrew.QuoVadis,ActionRecognition?Anewmodelandthekineticsdataset[C]//IEEEConferenceonComputerVisionandPatternRecognition,2017:6299-6308.
[6]EickenbergM,GramfortA,VaroquauxG,etal.Seeingitall:Convolutionalnetworklayersmapthefunctionofthehu-manvisualsystem[J].Neuroimage,2017,152(5):184-194.
[7]YaoD,LiuM,WangM,etal.TripletgraphconvolutionalnetworkformultiscaleanalysisoffunctionalconnectivityusingfunctionalMRI[C]//GraphLearninginMedicalImagingFirstInternationalWorkshopProcessing,2019:70-78.
[8]AnirudhR,ThiagarajanJJ.Bootstrappinggraphconvolutionalneuralnetworksforautismspectrumdisorderclassification[C]//IEEEInternationalConferenceonAcoustics,SpeechandSignalProcessing,2019:3197-3201.
[9]DvornekNC,VentolaP,PelphreyKA,etal.IdentifyingautismfromrestingstatefMRIusinglongshorttermmemorynetworks[J].MachLearnMedImaging,2017,10541:362-370.
[10]AnibalSólonHeinsfelda,DARFBC,GRCCF,etal.IdentificationofautismspectrumdisorderusingdeeplearningandtheABIDEdataset-ScienceDirect[J].NeuroImage:Clinical,2018,17(C):16-23.
[11]WangM,ZhangD,HuangJ,etal.IdentifyingautismspectrumdisorderwithmultisitefMRIvialowrankdomainadap-tation[J].IEEETransactionsonMedicalImaging,2019(99):1-1.
[12]XiaoXiang,FangHui,WuJiansheng,etal.DiagnosticmodelgeneratedbyMRIderivedbrainfeaturesintoddlerswithau-tismspectrumdisorder[J].AutismResearch,2017,10(4):620-630.
[13]EslamiT,MirjaliliT,FongA,etal.Asddiagnet:Ahybridlearningapproachfordetectionofautismspectumdisor-derusingFMRIdata[J].FrontiersinNeuroinformatics,2019,13(11):70-82.
[14]KamTE,SukHI,LeeSW.Multiplefunctionalnetworksmodelingforautismspectrumdisorderdiagnosis[J].HumanBrainMapping,2017,38(11):5804-5821.
[15]WangJ,WangQ,ZhangH,etal.SparsemultiviewtaskcentralizedensemblelearningforASDdiagnosisbasedonageandsexrelatedfunctionalconnectivitypatterns[J].IEEETransactionsonCybernetics,2019,49(8):3141-3154.