基于深度学习的孤独症儿童康复训练人机交互系统研究

孤独症儿童的情绪障碍和刻板动作一直以来都是干预治疗的核心症状，一般是以康复训练为主，药物治疗为辅。由于康复训练的成本十分高昂，专业的医护人员或康复专家较为短缺，患儿无法得到持久有效的改善，而且治疗周期较长，造成患儿家庭压力巨大。孤独症儿童情绪变化的表现主要通过面部表情传达，而刻板动作的表现主要为重复且刻板的肢体动作。本文以情绪障碍和刻板动作为突破口，基于深度学习搭建实时识别患儿面部表情和刻板动作模型，将识别结果下发给人形机器人，使机器人具备识别患儿特征的能力。根据识别结果，设计机器人交互行为，通过算法识别增强人与机器人的交互体验，构建情绪互动和刻板动作矫正的人机交互康复训练系统。

本文的主要工作如下：

（1）搭建基于卷积神经网络（CNN）的面部表情识别模型。针对训练数据不足以及模型精度问题，本文通过数据增强的方式扩充数据集，采用多层小卷积核堆叠的方式增加网络深度，提升模型的表达能力以及精度，通过优化策略避免神经网络梯度消失或过拟合的情况。

（2）针对孤独症儿童的刻板动作行为，构建了基于长短时记忆（LSTM）网络的动作识别模型。相对于传统的手动提取骨架数据特征，本文基于OpenPose算法提取人体骨骼关键点，通过去除头部关键点和舍弃缺失身体关键部位的图像等处理，减少模型计算量，提高分类准确率。利用LSTM网络的时序特性处理连续多帧的人体骨骼关键点，提取动作特征进行分类。

（3）基于康复机构的孤独症儿童康复训练内容，进行机器人交互设计，搭建康复训练系统。结合患者的面部表情和刻板动作的识别结果，设计交互逻辑以及机器人语音播报、动作组。在情绪互动模块中，根据孤独症儿童的表情识别结果，机器人执行相应的语音指令或动作指令，算法再次识别患儿当前的面部表情，并通过机器人给出语音反馈。在刻板动作矫正模块中，当算法检测到患儿的刻板行为时，机器人会语音提示患儿模仿机器人示范的标准动作，算法会识别儿童是否完成指定行为，并通过机器人给予反馈，与患儿进行互动。

本文将深度学习与机器人技术相结合辅助康复训练，增强患儿与机器人的交互体验，在一定程度上有助于改善患儿症状，缓解康复师紧缺的现状，减轻患儿家庭压力。

关键词：孤独症儿童，表情识别，动作识别，人机交互