基于虚拟现实技术的心理疾病干预系统设计与开发

2022-08-02 14:57:36
1.5W次

来源：电脑编程技巧与维护 .2021年03期

作者：

摘要：游戏是儿童的天性，那么如何通过虚拟现实的手段将教育游戏引入到对心理疾病儿童的教育康复之中并寓教于乐是本项目研究的重点。项目拟结合医疗专家知识、虚拟视效专业技术，从VR技术和AI技术构建新的心理疾病干预训练的解决方案，其成果将使广大患者和家庭受益，具有重要的社会价值。

关键词：心理疾病,自闭症,心理干预

陈希赟，鲍成恒，陆佳飞
（嘉兴职业技术学院，浙江嘉兴 314036）

摘要：根据现有辅助心理疾病如抑郁症、自闭症干预方案，设计开发了一套基于虚拟现实技术的单人儿童心理疾病干预训练软硬件系统，用于辅助心理疾病儿童的康复性训练。详细介绍了该系统的 3D 建模、基于游戏引擎开发、脚本编写等设计与实现过程。

关键词：；场景设计；角色模型；虚拟现实；交互

1 系统开发的背景与意义

心理疾病如抑郁症、多动症、孤独症是一种广泛性发展障碍，多见于严重的、广泛的社会相互影响和沟通技能的损害为表征，会给患者个人和家庭带来及其严重的不良后果。随着时代的发展、科学的进步，特殊群体越来越受到社会的关注，特殊教育是国家教育系统中的重要组成部分。以心理疾病儿童为例，其作为特殊群体的一部分在很长的一段时间里都被大众所忽视，在心理疾病儿童的康复理论与实践中，人们往往更多地关注药物治疗和传统的行为、教育干预，而忽视了现代技术手段的研究与应用。大量的实验案例表明，诸如媒体、视频、计算机、虚拟现实等技术手段是可以用来为心理疾病儿童的康复服务的，而且效果相当明显。

目前，教育康复作为全面康复的重要组成部分，其价值己被越来越多的人所认可。众所周知，游戏是儿童的天性，那么如何通过虚拟现实的手段将教育游戏引入到对心理疾病儿童的教育康复之中并寓教于乐是本项目研究的重点。项目拟结合医疗专家知识、虚拟视效专业技术，从VR技术和AI技术构建新的心理疾病干预训练的解决方案，其成果将使广大患者和家庭受益，具有重要的社会价值。

2系统产品

2.1产品架构

干预系统主要设计适用于具有心理疾病的儿童，因此系统模式设计主要采用适合儿童的游戏模式，以游戏的方式积极调动儿童参与的兴趣。通过前期的调研分析，系统剧情上设计制定了从早晨起床到晚上入睡的一天活动脚本，通过时间划分穿插干预游戏，充分锻炼心理疾病儿童的自主能力，以达到干预效果

2.2设计与开发技术

(1)基于虚拟现实技术的心理疾病干预系统开发开发工具：Unity2018.4.24f1 MicrosoftVisualStudio2019开发语言：C#

(2)场景美术设计

建模软件：3DsMax2014

贴图制作工具：AdobePhotoshopCC2019、Sub-stancePainter

3系统角色和场景设计

而忽视了现代技术手段的研究与应用。大量的实验案例表明，诸如媒体、视频、计算机、虚拟现实等技术手段是可以用来为心理疾病儿童的康复服务的，而且效果相当明显。

3系统角色和场景设计

3.1人物角色建模

系统以儿童为主要角色，并辅以母亲角色进行交互活动，因此在创建角色模型时需至少包含两个人物角色，且角色设定需尽可能与真实人物情况吻合。

3.2活动场景建模

系统设计了若干个儿童熟悉的活动场景，主要有儿童卧室场景、游戏活动室场景以及客厅场景，以配合活动治疗。场景设计和建模采用儿童喜欢的卡通风格和色彩，室内装潢设计、家具摆放等贴近真实生活场景，通过各场景中散落的玩具设计，给儿童营造以亲切、舒适的逼真家中感受。

4系统开发关键技术

4.1实现路径

基于虚拟现实技术的心理疾病干预系统采用三维建模软件3DsMax对场景进行全景建模，利用AdobePho-toshopCC2019绘制模型贴图，利用Unity3D引擎搭建场景，后导入PicoSDK开发与测试虚拟现实训练模式并通过C#脚本控制NPC与使用者进行交互训练。

4.1系统模块与封装

在干预系统中嵌入有PicoVR模块，TTS(Text-To-Speech语音合成)模块，ASR(AutomaticSpeechRecognition语音识别)模块，眼动模块以及眼动模块识别优化算法。并对以上模块进行封装，便于后期的开发，对TTS和ASR语音封装的Voice.cs，对PicoVR交互封装的VRController.cs，以及对眼动模块封装的VREyeController.cs。

4.2优化处理

由于Pico是一体式的VR设备，在设备性能方面不如台式电脑，所以需要对干预系统整体做优化处理。例如在建模方面，由于高精度模型过多的消耗资源，而低精度模型缺少细节略显粗糙，所以需采用一种折中的方法。首先建立高精度模型，烘焙渲染出贴图，再把贴图赋予低精度模型，这种方法既节约了性能资源的消耗，又保留了部分模型细节。在场景加载上，控制优先加载场景，再加载场景内其他模型，对于重复使用的物体进行公共预设处理，减少由于重复加载造成的资源浪费。在光源上，对场景进行烘焙处理，不开实时光照渲染，把实时光照渲染只给主角。在碰撞和物理碰撞上，避免使用meshcollider，并减少刚体，在刚体不用的情况下激活IsKinematic并减少资源的损耗。在开发过程中，有时同一段动画会做多边，就产生了大量无用的anima-tor脚本，在最后打包时删除。在贴图材质上，会控制贴图的大小，贴图大小一般控制在1024和512，除个别必需使用2048的贴图外。对于大面积相同材质，会使用重复贴图的方式，交替使用1-4种贴图，再通过光影变化打破贴图的重复感。在操作方面，干预系统面向对象为具有心理疾病的儿童，他们可能在操作方面有一定的不足，所以对操作添加语音识别模块，减少手柄按键的操作，通过语音交互方便操作。

5干预方案的设计与开发

为了更好地引导儿童认知和适应真实生活环境，系统设计并开发了儿童认识水果的干预方案及功能模块。

5.1整体游戏逻辑

(1)找出目标问题。假设父母教儿童认识水果时，儿童不看向目标且不给出反应。

(2)定义和测量问题。当父母教儿童认识水果时，测量儿童看向其他或不作答的次数。

(3)设定干预目标。当父母教儿童认识水果时，儿童朝着目标图片看；当父母向儿童提问时，儿童有回答(即使答错也没有关系)，干预的主要目标是增加儿童回答以及眼神聚焦的次数。

(4)选择干预手段。首先是新手教程，在刚开始游戏时场景中只有一张游戏卡片，以降低难度。等儿童适应该游戏模式后，便有多张卡片出现在场景中以强化锻炼。当儿童看向目标图片并正确回答父母提问时，给予语音表扬并进入下一等级测试。若回答错误，语音表扬并提示，等待儿童回应。若回答不上来，给予时间延迟与提醒，提醒有3个强度等级：一级强度为语音提示，二级强度为语音提示加卡片抖动，三级强度为语音提示加动画演示。当儿童完成所有关卡，系统给予语音表扬加礼花动画，并给出儿童在整个游戏中的反馈次数。但儿童如没做出正确选择，系统不会进入下一阶段，会指导儿童直至完成所有正确选项。

5.2游戏美术

考虑到系统的适用人群是儿童，场景美术更偏向于卡通风格，通过夸张的家具造型以及卡通风格的材质灯光，让儿童具有更好的沉浸式体验。场景设计时不宜添加过多的装饰元素，(1)考虑到这会分散儿童注意力，削弱任务完成度；(2)减少不必要的模型，可以提高应用运行速度，获取更好的交互体验。

游戏美术的另一重点是卡片设计，卡片采用圆角矩形带来视觉上的舒适感，卡片底色采用暖色调的米黄色与整体场景相统一。卡片内容以卡通水果图案、中文名称及拼音构成，帮助儿童读图、识图。当儿童将手柄射线或视线指向、看向交互对象时，UI上用环形进度条来表现射线或视线停留卡片的时长。

5.3程序设计

在程序设计和功能开发方面，用CardManager.cs来进行脚本管理和实现整个水果识别模块，用CardGuid-ance.cs实现每个关卡的细节逻辑、语音动画提示并记录儿童未回应次数等，用Card.cs实现卡片被射线点击、记录射线与视线停留事件、卡片动画等。用CardRespond.cs来记录儿童未回应、点击正确和错误的次数。

6设计创新与项目前景

6.1创新点

传统的心理治疗有暗示、催眠术、精神分析、行为矫正等一系列技术手段和方法。只是尽管有这么多的方法，心理治疗都无法通过使病人处在一个合适的场景来进行康复训练[1]。本项目将传统的心理治疗手段与现代化的虚拟现实技术相结合，将虚拟现实技术使用与现实生活场景相结合，将虚拟现实技术与其他辅助心理疾病干预的治疗方法相结合，转变了传统康复治疗模式，实现了多样化的互动体感交流，有助于获得良好的治疗效果[2]。

6.2市场前景与推广价值

心理疾病儿童的最佳康复期是0-6岁，其病理因素较为复杂且致病原因尚不明确。通过国内外的许多研究与实验表明，及时合理的康复干预可以缓解症状，并可以走向社会。心理疾病的特殊症状影响着人们的社会性发展，早期有效的干预治疗对于每个心理疾病患者都非常重要。

然而目前心理疾病的发病机制尚未完全明晰，也没有很有效的治疗手段可以治愈心理疾病的核心症状，传统的干预治疗方法并不能很好地满足于患者及其家庭与社会的需求，为心理疾病的干预与治疗寻找一项高效、便捷、经济、安全、科学的治疗方法刻不容缓。虚拟现实实技术是近些年来迅速发展起来的一项技术，随着虚拟现实技术的发展，近些年来有许多专家学者利用虚拟现实技术对精神类疾病进行辅助治疗。