基于Di-LSTM算法的注意力缺陷多动障碍症分类

张淼，陈宏涛
(太原理工大学信息与计算机学院，山西晋中030600)

摘要：对注意力缺陷多动障碍症(ADHD)受试者的准确识别一直是神经科学研究和临床诊断的挑战。基于更好的区分正常人和患者这一目的，文中采用了一种基于字典学习和长短期记忆(LongShortTermMemory，LSTM)网络的Di-LSTM算法，通过利用快速独立成分分析(FastIndependentComponentAnalysis，FastICA)初始化的在线字典学习，获得相应时间序列并且结合LSTM进行分类实验，实验结果表明，所提方法分类准确率达到了79.01%，特异性为88.9%，灵敏度为62.7%，说明该方法对于识别ADHD患者有所帮助，具有较好的应用前景。
关键词：ADHD；rs-fMRI；在线字典学习；FastICA；长短期记忆网络
中图分类号：TN91文献标识码：A文章编号：1674-6236(2022)04-0052-06
DOI：10.14022/j.issn1674-6236.2022.04.011

ADHD[1]是一种以多动、注意力不集中和行为冲动为特点的精神障碍，在儿童和青少年中常被诊断出来，并且最近有记录证明其可能会持续到成年期，这种疾病在男孩中更为普遍。通常，ADHD的诊断是基于使用不同版本的精神疾病诊断和统计手册 (DiagnosticandStatisticalManualofmentaldisorders，DSM)或国际疾病分类(InternationalClassificationofDiseases,ICD)的标准进行的，由于诊断是通过教师、家长和行为科学家进行的主观观察来完成的，因此寻找有助于诊断ADHD的定量技术已经引起人们的关注。
近些年来，静息态功能磁共振成像(restingstate-functionalMagneticResonanceImage，rs-fMRI)因其无创、无辐射、时空分辨率高且不需要被试完成复杂的任务，已经被广泛地用于精神疾病的研究[2]。已有许多在fMRI上使用机器学习来研究ADHD，杜海鹏等人[3]提出一种基于多目标支持向量机的分类模型，经过对比，其准确率显著提高，达到了75.3%。但是由于传统的机器学习模型大多是浅层模型，对于高维    fMRI数据的拟合效果并不理想，并且大多需要人工进行特征选择，一些相关性较弱的体素会被忽视。所以，深度学习逐渐被引入相关研究，2017年毛振宇、苏怡等人[4]基于静息态fMRI数据，提出了一种基于4-DCNN的深度学习模型用于ADHD的分类，得到实验结果准确率为71.3%，AUC为0.8；2020年张涛、李存波等人[5]通过将分离通道卷积神经网络        (SC-CNN)与基于注意力的网络(SC-CNN-attention)相结合，提出了一种新的两阶段网络结构，以大规模区分ADHD和健康控制多站点数据库，分类结果为68.6%。
“深度空间”的卷积神经网络(ConvolutionalNeuralNetwork，CNN)和“时间深度”的递归神经网络    (RecursiveNeuralNetwork，RNN)是两个经典的深度学习分支。RNN模型(例如长短期记忆(LongShortTermMemory,LSTM)[6])和门控循环单元(GatedRecurrentUnit，GRU[7])已被大量用于精神疾病的识别与分类，例如使用fMRI识别孤独症谱系障碍[8]和阿兹海默症[9]等。
文中提出了将字典学习和长短期记忆网络相结合的方法对rs-fMRI数据进行处理，最终用来预测ADHD患者和正常人。

1材料和方法

ICA(IndependentComponentAlgorithm)由于其可以很好地处理稀疏分量[10]被广泛应用于rs-fMRI数据的处理，但是由于其具有一定的限制和局限性。字典学习算法有着更为稀疏的表示，因此受到学者们的重视[11]。
首先利用ADHD和正常被试数据相结合，基于FastICA初始化的在线字典学习获取ROI时间序列，结合LSTM对于序列类数据处理的优势，再将获得的时间序列输入提出的LSTM模型中进行训练，然后进行预测。实验流程如图1所示。

1.1在线字典学习

在线字典学习算法可以在线解决字典学习矩阵分解问题，通过求解式(1)找到用于近似数据矩阵的最佳字典和相应的稀疏编码。
(U*,V*)=argmin0.5||Z-UV||+α∗||U||1(1)
(U,V)
with||Vk||2=1forall0≤k式中，V是字典，U是稀疏编码，Z是数据矩阵，α为正则化参数。显然，式(1)的第一项是希望很好地重构Z，第二项则是希望U尽量稀疏，k为字典V的行实验流程索引。
在线字典学习需要获得稀疏编码和学习字典矩阵，文中采用交替优化的策略来求解式(1)，包括稀疏编码和更新字典两个阶段，其中，利用最小角度回归法来解决Lasso问题，迭代次数设为100，批量大小为η(值为3)，通过批量处理可以加快算法的收敛速度。在在线字典学习开始之前，已经通FastICA结合岭回归获得了字典初始化矩阵，以此来初始化式(1)中的V。在之后的每次迭代顺序循环选择3行数据进行计算。

1)稀疏编码与更新辅助变量
创建矩阵A以及矩阵B来保存辅助变量(零矩阵)，方便后续的迭代更新。Ut的计算如式(3)所示：
Utargikn0.5||Zt-UVt-1||+α∗||U||1(3)式(3)中，t为第几次迭代，k即为设定的成分数目，每次迭代过程都选择数据中的η行。

2)字典更新
字典更新开始时使用Vt-1进行热启动。Vt的计算如式(4)所示：Vtargin0.5||Zj-UjV||+α∗||Uj||1=argin(0.5Tr(VVTAt)-Tr(VBt))在字典更新中循环k次，k为成分数，即字典的行数。

1.2长短期记忆模型

长短期记忆(LongShortTermMemory)模型属于一种特殊的RNN模型，它的提出是为了解决RNN模型梯度弥散的问题，由重复的单元组成，这些单元接收来自前一个单元的输入以及当前时间步长t的数据输入xt。每个LSTM单元包含一个单元状态ct和隐藏状态ht，它们由控制进出单元存储器的信息流的4个神经网络层进行调制。控制LSTM的方程为:
it=σ(Wixt+Uiht-1+bi)()5
ft=σ(Wfxt+Ufht-1+bf)()6
ot=σ(WOxt+UOht-1+bo)(7)
t=tanh(Wfxt+Ufht-1+bc)(8)
ct=it*t+ft*ct-1(9)
ht=ot*tanh(ct)it(10)
具体来说，输入门控制输入xt和ht-1对当前存储单元的影响程度(式(5))；遗忘门ft控制前一个存储单元ct-1对当前存储单元ct的影响程度    (式(6))；输出门控制当前单元ct对隐藏状态单元ht的影响程度(式(7))；存储单元ct是两个分量的总和:前一个存储单元ct-1由ft和gt调制    (式(8))，输入门it调制的当前输入和先前隐藏状态进行加权组合(式(9))；同样，用输出门ot过滤单元状态，用于隐藏状态更新，这是LSTM单元的最终输出(式(10))。

2数据

2.1数据集

选择NeuroBureau为ADHD-200竞赛发布的北京大学站点预处理后的数据。该数据由rs-fMRI数据以及每个被试的不同表型信息(非成像数据)组成。其中，训练集中有144个被试，测试集中有50个被试，所有被试都是右利手。数据集信息如表1所示。

2.2数据预处理

数据是基于NIAK管道预处理的，使用了MINC工具包和自定义Matlab/Octave脚本[12]。预处理步骤包括去除前3个时间点、时间层校正、头动校正、校正时间漂移和生理噪声，将功能数据配准到3×3×3mm3分辨率的蒙特利尔神经病学研究所    (MontrealNeurologicalInstitute，MNI)的标准空间模板，最后采用6mm全宽半高(FullWidthatHalfMaximum，FWHM)高斯核空间对图形进行平滑化处理。在后续的实验中，学习大脑ROI是在训练集上进行的，防止过拟合[13]。

3实验

3.1字典学习提取ROI

ROI的常见确定方法：一种是基于各种大脑模板图谱的自动解剖标记(AutomatedAnatomicalLabeling,AAL)，这是一个大脑结构图谱，包括116个ROI。稳定集群自举分析(BootstrapAnalysisofStableClusers,BASC)是一个多尺度的功能图谱，具有不同数量ROI图谱的选择，包括36、64、122、197、325和444。另一种是通过数据驱动的方式来获取ROI，包括k-means、ward和最近提出的ReNA聚类算法[14]，以及ICA方法和字典学习方法，后两者在fMRI数据上表现比前者更好。基于大脑图谱的方法在获取被试的大脑网络时可能存在一定的偏差，选择数据驱动的方法来获取所需的ROI时间序列。与经典批处理算法相比，在线字典学习有着更好的性能，且能获得更好的字典，文中提出将FastICA应用到在线字典学习的初始化环节，使得分类效果有所提升。

3.1.1计算字典初始值

除了比较常见的利用SVD来构建初始化字典，还可以通过已知的脑网络来获取初始化的字典[15]。文中利用FastICA算法获取相应的脑网络并计算出字典初始值。每个被试的rs-fMRI数据是形如(49，58，47，232)的四维图像，其中第四维是时间点，前三维构成了包含3D大脑的立方体。
在对rs-fMRI图像预处理之后，利用训练集所有被试的图像获得共同的大脑掩模，大脑掩模可以提取3D立方体空间中只属于大脑内部的体素，结合大脑掩模将每个被试的rs-fMRI图像转换为形如(28546，232)的二维时间序列，28546为体素个数。对每个被试的体素时间序列进行PCA降维，再将所有被试降维后的数据叠加到一起形成了组成级别分析所需的数据Z，如(28546，n*60)，其中n为被试个数，60为指定的降维数目。在对数据Z进行标准化以及典型相关分析之后，利用FastICA算法即可获取相应的脑网络成分，即独立成分。
利用FastICA获取的脑网络成分(即独立成分)和数据Z结合岭回归即可获取相应的回归系数，使之作为字典初始值。岭回归相比最小二乘法获得的回归系数更切合实际、更可靠，通过对回归系数增加惩罚项来实现。

3.1.2在线字典学习

实验中对字典更新迭代100次便得到了更新后的字典V，结合数据Z可以计算得到所需要的稀疏编码U，即在线字典学习脑网络成分。在线字典学习获取的众多成分中每一个都可以称为脑网络，并且所有脑网络可以被概念化为脑功能图谱，如图2所示。获取的时间序列如图3所示。

3.2扩充时间序列

在得到每个受试者的平均时间序列之后，为了得到更多的输入样本防止过拟合，选择提取长度T=30的一系列子时间序列[16-17]，从每个被试的时间序列里截取10个长度为T的序列，这样我们就得到了原来数据10倍的时间序列，总共1940个数据作为模型的输入。

3.3模型训练

文中提出了一种LSTM体系结构，该体系结构将功能磁共振成像即上面所获得的1940个时间序列作为输入。
提出的LSTM模型总共有4层，采用最基本的框架，如图4所示。在给定来自前一个时间点T的时间序列数据的情况下，预测在时间T+1时的fMRI时间序列数据。测试数据被输入到LSTM层，最后一层输出被送到完全连接层。使用Kears对LSTM进行了相应的训练和测试，并且使用了自适应矩估计(Adam)优化器来最小化真实标签和预测标签之间的损失值，将batchsize设置为32，学习率从0.001开始，并在每个时期后以10-2的衰减率衰减，损失函数为交叉熵损失。
为了提高模型的泛化性能并克服过度拟合，还使用了dropout(dropout=0.5)和L1,2-范数正则化(L1=0.0005，L2=0.0005)来调节模型参数。当验证损失停止减少50个epoch或执行了最大epoch(1000个epoch)时，训练过程就停止了，显著性检验采用双尾配对t检验，α=0.05。
为了对模型进行评估，文中使用了10倍的交叉验证，对数据集进行了分割，对25%进行测试，75%进行训练。

4结果与分析

4.1评估指标

根据交叉验证的结果，选择了灵敏度(sensitivity)、特异性(specificity)以及分类准确率(accuracy)3个分类结果评估指标。指标计算方法如下：
SN=(11)
SP=(12)
ACC=(13)
FPR=(14)
式中，TP为真正例，FN为假反例，FP为假正例，TN为真反例，SN为灵敏度，SP为特异性，ACC为分类准确率，FPR为假阳性率，ROC曲线下的面积可以反映分类器的性能，面积越大分类器的性能越好。

4.2TC提取策略的分类比较

除了使用文中所提出的基于在线字典学习的方式提取时间序列之外，传统方式还可以通过各种脑区模板来对时间序列进行提取。为了验证方法的有效性，通过使用概率图谱(MSDL)、自动解剖标签    (AAL)和史密斯地图集(SmithAtlas)3种模板来提取时间序列，并和提出的方法做对比，不同模板提取时间序列结果比较如表2所示。
通过实验可知，基于已知模板的方式直接提取相应时间序列，该方式与文中提出的基于FastICA初始化的在线字典学习算法提取前期的ROI相比，文中方式在准确率上达到了79.01%，在灵敏度和特异性方面也分别达到了62.70%和88.90%，很明显Di-LSTM方法得到的大脑ROI图谱更加稳定和精确，分类效果也较优。

4.3不同方法分类性能比较

目前，对于ADHD分类的研究，很多方法是基于功能连接结合机器学习的算法。为了验证方法的有效性，基于ADHD-200数据集设计了3个对比实验：对基于多尺度SVM、SC-CNN-Attention、Di-DNN3种分类方法结果作对比。
Di-DNN将字典学习和深度神经网络相结合，利用ADHD和正常被试数据结合基于FastICA初始化的在线字典学习获取ROI时间序列，之后结合深度神经网络(DeepNeuralNetworks，DNN)算法进行分类，得到的分类结果为另一组对比实验，表3是文献中方法与Di-DNN以及Di-LSTM方法进行对比的结果。深度神经网络由4层全连接层构成，每层的神经元个数分别为512、256、128、2，每个全连接层之后均有一个dropout层，且前三层的激活函数为LeakyReLU(alpha=0.05)，最后一层为softmax。由表3可知，Di-LSTM算法准确率达到了79.01%，而相应的ROC图如图5所示，达到了0.88，整体表现较好。

文献[3]使用多目标支持向量机对ADHD进行分类，准确率为75.30％；文献[5]使用了带有注意力网络的分离通道卷积神经网络(SC-CNN-Attention)，处理了基于AAL模板提取的时间序列信号，最后得到的准确率为68.6%；字典学习和深度神经网络(DNN)相结合达到的分类结果准确率为70.1%；Di-LSTM用字典学习和LSTM相结合的方法对ADHD疾病进行预测分类，最终得到的平均准确率达到了79.01％，分类的结果分别比文献[3]、文献[5]、字典学习和DNN结合的方法提高了3.71%、10.41%、8.91%。实验结果验证了Di-LSTM算法在ADHD疾病领域分类的可用性。

5结论

文中提出了一种基于在线字典学习和LSTM的方法对多动症进行功能磁共振成像分类。文中的时间序列利用FastICA初始化的在线字典学习算法获取被试数据的稀疏表示，其次使用LSTM模型对所获得的时间序列进行训练。由此产生的网络实现了在注意力缺陷多动症ADHD-200数据集上对典型个体和注意力缺陷多动症患者进行分类的先进性能。在未来，定位注意力缺陷多动症的典型脑运动模式，并构建更深入的学习模型，以用于注意力缺陷多动症和其他精神障碍的诊断，将是一个有意义的方向。

参考文献：

[1]MichelsonD,FariesD,WernickeJ,etal.Atomoxetineinthetreatmentofchildrenandadolescentswithattention-deficit/hyperactivitydisorder:arandomiz-ed,placebo-controlled,doseresponsestudy[J].Ped-iatrics,2019,108(5):83.
[2]MarieB,ArsalidouA.Brainareasassociatedwithnumbersandcalculationsinchildren:metaanalysesoffMRIstudies[J].DevelopmentalCognitiveNeuro-science,2018(30):239-250.
[3]杜海鹏,邵立珍,张冬辉.基于多目标支持向量机的ADHD分类[J].北京科技大学学报,2020,42(4):441-447.
[4]MaoZY,SuY,XuGQ,etal.SpatiotemporaldeeplearningmethodforADHDfMRIclassification[J].InformationSciences,2019(499):1-11.
[5]ZhangT,LiC,LiP,etal.SeparatedChannelAttentionConvolutionalNeuralNetwork(SCCNNAttention)toidentifyADHDinMulti-SiteRs-fMRIDataset[J].Entropy,2020,22(8):893.
[6]DvornekNC,VentolaP,PelphreyKA,etal.IdentifyingautismfromrestingstatefMRIusinglongshorttermmemorynetworks[J].MachLearnMedImaging,201710541:362-370.
[7]YanRQ,LiuW,ZhuM,etal.Realtimeabnormallightcurvedetectionbasedonagatedrecurrentunitnetwork[C].ResearchinAstronomyandAstro-physics,2020.
[8]BrieberS,HerpertzDB,FinkGR,etal.CoherentmotionprocessinginAutismSpectrumDisorder(ASD):anfMRIstudy[J].Neuropsychologia,2010,48(6):1644-1651.
[9]LiW,LinX,ChenX.DetectingAlzheimer'sdiseasebasedon4DfMRI:anexplorationunderdeeplearningframework[J].Neurocomputing,2020(388):280-287.
[10]BeckmannCF.HandclassificationoffMRIICAnoisecomponents[J].Neuroimage,2017(154):188-
205.
[11]SeghouaneAK,IqbalA.Sequentialdictionarylearningfromcorrelateddata:applicationtofMRIdataanalysis[J].IEEETransactionsonImageProc-essing,2017,26(6):3002-3015.
[12]Margulies,DanielS.TheneurobureauADHD200preprocessedrepository[J].NeuroImage,2017(144):275-286.
[13]AbrahamA,MilhamM,MartinoAD,etal.Derivingreproduciblebiomarkersfrommulti-siteresting-statedata:anautism-basedexample[J].Neuroimage,2017(147):736-745.
[14]HoyosIdroboA,VaroquauxG,KahnJ,etal.RecursiveNearestAgglomeration(ReNA):fastclusteringforapproximationofstructuredsignals[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2019,41(3)：669-681.
[15]ZiA,LuLA,ZheGA,etal.AsemiblindonlinedictionarylearningapproachforfMRIdata[J].JournalofNeuroscienceMethods,2019(323):1-12.
[16]NichaCDvornek,PamelaVentola,JamesSDuncan,etal.InInternationalSymposiumonBiomedicalImaging(ISBI)[C].IEEE17th,2020:1395-1398.
[17]李冰,李智,杨溢龙.基于词嵌入和长短期记忆网络的非功能软件需求分类[J].广西师范大学学报(自然科学版),2021,39(5):110-121.