增强现实技术在孤独症儿童教学中的应用述评

户秀美 姜依彤 马永强 胡晓毅 徐紫薇 梁伟智

【摘要】近年来，增强现实技术被广泛应用于改善孤独症儿童核心障碍的教学中。文章结合国内外增强现实技术在孤独症儿童教学中的应用现状，从社会交往和沟通技能、注意力与情绪能力、学业技能、生活技能四个方面，阐述了增强现实技术在孤独症儿童教学中的积极效果，对现有的局限和挑战进行分析，并
对增强现实技术的应用提出了建议。
【关键词】增强现实技术；孤独症儿童；核心障碍
【中图分类号】G760

孤独症是一种起源于儿童早期，以社会交往和沟通障碍、兴趣范围狭窄及重复刻板行为为主要特征的发育障碍[1]。近年来，随着增强现实（AugmentedReality，简称AR）等新兴技术的推广，越来越多的创新性研究聚焦在如何有效地利用AR技术针对孤独症儿童的核心障碍进行教学。AR是一种结合现实世界和虚拟内容的新技术，能增强人类对外界的感知[2]。AR技术利用计算机等科学技术进行模拟仿真，可以将虚拟的事物叠加到真实世界，有利于学习者获得超越现实世界的感官体验。
由于AR技术具备提升现实情境的清晰直观性和感知冲击力，使得情景式的学习方式更具亲和性、动态性和自然性，在一定程度上能弥补孤独症儿童对现实世界信息和刺激接收迟缓的弱势，以及社交沟通上动机明显不足的劣势[3]，能为孤独症儿童教学情景创设的实现提供新的途径。此外，AR技术可以寓教于乐，将知识融于活动中，提高孤独症儿童的学习动机，为孤独症儿童提供主动建构新知的机会，又能让孤独症儿童很容易地过滤掉周围的不相干因素，将注意力集中到学习内容上，进入沉浸状态中[4]。本文梳理了近年来AR技术应用于孤独症儿童教学的实证研究，归纳了AR技术所应用的各个教学领域及教学效果，对AR技术的局限性与挑战进行分析，以期为AR技术在我国孤独症儿童教学中的应用提供借鉴与启示。

一、AR技术在孤独症儿童教学中的应用现状

AR技术为孤独症儿童的教学提供了新的路径。近年来的相关研究表明，AR技术在发展孤独症儿童的社会交往和沟通技能、注意力与情绪能力、学业技能及生活技能等方面都取得了积极的成果。

（一）社会交往和沟通技能

孤独症儿童的重要特征表现为不与人进行交往、无法适应周围的环境、无法理解正常的社交信号[5]，这种社会交往和沟通技能的障碍会严重影响孤独症儿童的学习与日常生活。AR技术将虚拟对象与现实世界合并在一起，支持真实世界，而不是用合成环境替代[6]。通过AR技术提供的真实性场景进行教学，能增强孤独症学生对现实情境的感知能力，逐渐锻炼孤独症学生的一些社交能力，为孤独症学生与真实外界的交互提供基础。
Cunha等人基于AR技术设计了游戏手册，目的在于提高孤独症儿童的社交互动能力。游戏手册中讲述了Tobias这个虚拟卡通人物在参观动物园期间的冒险故事，描述了现实世界中的五种场景，能使儿童和Tobias一起玩耍，接触不同的场景、理解Tobias的不同感受，并学习不同的情感表达方式。此方案突出的优势在于游戏手册可以在任何移动平台上使用，例如手机、平板电脑等设备，也可以在线获取[7]。
社交故事在孤独症儿童社交技能的发展中扮演着重要的角色，基于故事的教学可以有效促进孤独症儿童社交技能的发展[8]。“社交指南”就是基于社交故事和视觉提示对儿童进行社交能力培养的课程，学者Tentori和Hayes提出根据“社交指南”的课程框架来开发移动AR系统，主张在社交故事中通过视觉支持引导儿童，通过提供潜在的社交互动机会来鼓励儿童主动互动。例如David是一名9岁的孤独症儿童，喜欢下棋和打篮球，当他在操场上走动时，系统会通知他附近的学生正在下棋，当David到达下棋的地点时，系统会指向他的朋友Alex和一名陌生的朋友Ethan，并提示David陌生朋友的名字是Ethan，他们对篮球都感兴趣，系统会建议David向Alex主动提出下棋比赛的建议，同时也建议David和陌生的朋友Ethan分享兴趣爱好[9]。此AR系统开发的思路侧重于交互及时性，提供潜在社交互动的机会。儿童可以预见社交机会，从而促进儿童的主动互动，而不是仅仅被动地做出反应。
后续还有学者基于“社交指南”课程框架中的社交故事和视觉支持开发了AR软件MOSOCO，来帮助孤独症儿童在现实生活中进行社交互动，并且系统性地引导孤独症儿童了解同伴的兴趣和喜好。研究结果显示，3名孤独症儿童和9名普通儿童在软件支持下社交互动次数增加了56.73%；并且孤独症儿童在使用软件期间与他人互动的时间较多，在社交互动的数量上有所增加，社交互动的质量也得到有效提升，从而进一步减少了不当社交行为的发生频次，促进了孤独症儿童融入普通儿童群体[10]。

（二）注意力与情绪能力

孤独症儿童普遍存在注意力与情绪问题，表现出注意力不集中[11]，难以理解自己和他人的情绪状态，并且难以基于情境正确表达自我情绪和回应他人的情绪[12]。与传统的教学方法相比，AR技术所具有的沉浸感、真实感与趣味性，有助于孤独症儿童注意力与情绪能力的提高。
宋文凯基于AR技术设计开发了面向孤独症儿童的注意力训练系统。注意力训练任务以三维游戏的形式呈现，其中设计了接鸡蛋游戏和贪吃蛇游戏。以接鸡蛋游戏为例，游戏场景上方有五只母鸡，儿童需要用双手尽可能接住母鸡下的蛋，并小心避开粪便。实验前后测的数据表明此系统有助于提高孤独症儿童的注意力，使儿童在享受乐趣的过程中提升注意力水平，同时改善共同注意缺陷[13]。除了专门的注意力训练系统外，也有学者开发了通过教授孤独症儿童识别不同物体的教学系统来提升孤独症儿童的注意力和情绪能力。例如在程鹏润设计的教学系统中，当儿童选择了正确的图案时，会跳出3D物体的增强效果。数据结果显示，孤独症儿童在使用该教学系统时会有更多的积极情绪，对物体的持续注意力时间增长了4倍左右，也可以等待轮流使用软件，这些积极情绪的增长，能够帮助孤独症儿童更好地融入社会，学习新的东西[14]。
国外学者Escobedo等人也通过让儿童识别基于AR技术的物体来提高儿童的注意力和情绪能力，在研究中使用搭载于智能设备的移动物体识别系统Mobis，将数字内容叠加在物理对象上。以教授自闭症学生Marley识别玻璃杯为例，当Marley拿起手机时，手机会发出声音并振动，在屏幕的右上角显示玻璃杯的图像来提醒Marley要抓住的物体，如果Marley抓住了叉子，Mobis会发出声音“Marley，拿起杯子”，并在玻璃杯上画上一个圆圈，当Marley看到提示后抓起杯子，Mobis会展示一段短视频作为奖励。研究结果显示，Mobis提高了学生的持续注意力，在使用Mobis时，学生连续完成任务的时间增加了45%。Mobis也激发学生产生更多的积极情绪，在使用Mobis前，学生开心情绪的平均时长为1秒，使用Mobis时，学生开心情绪的平均时长为2分13秒，同时学生也表现出积极的行为改变，比如更加耐心地等待轮流[15]。

（三）学业技能

学业技能的掌握为孤独症儿童接受进一步的教育提供了可能。AR技术将知识融于活动中，更容易吸引儿童的注意力，给儿童提供主动建构新知识的机会。最早的应用是将AR技术应用在儿童读物上，让书上的图画直接跃然于纸上，让学前儿童的随手涂鸦直接变成三维立体图像，甚至可以与之发生对话、交互，让阅读体验超乎想象[16]。除了阅读之外，也有学者将AR技术应用于孤独症儿童的词语学习中。孤独症儿童的语言水平整体滞后于同龄的正常发展儿童，而词语是语言发展的基础，对于社交沟通也至关重要。陈靓影等人采用随机对照试验的方法，对比了使用AR卡片和2D卡片对孤独症儿童进行词语教学的效果。研究选定了28名孤独症儿童，实验组和对照组均使用平板电脑。实验组使用AR软件，可以与虚拟实体进行交互，通过触摸激活屏幕上的动画和声音，滑动屏幕旋转虚拟实体、移动位置；对照组直接呈现2D图片，可以触摸屏幕上的图片，触发声音，并拿卡片与屏幕图片进行配对。研究结果表明，相比于传统的图片教学，AR软件可以提高孤独症儿童注视目标物体的时间，从而提高词语的习得成绩。数据表明，实验组儿童的图片指认能力和命名能力均高于对照组[17]。

（四）生活技能

日常生活技能是孤独症儿童需要掌握的重要能力。为了更好地融入社会，他们不仅需要掌握穿衣、如厕等简单的生活技能，年龄稍大的儿童还需要掌握过马路、打扫卫生、购物、上学等技能。AR技术能提供超越现实的感官体验，为孤独症儿童的生活技能教学营造安全、可重复、可控制的教育环境。
在孤独症儿童生活技能的传统教学中，任务分析是最常见的教学手段之一，即将目标技能分解成一个个小步骤来对儿童进行教学。Cihak等人发表了第一篇关于使用AR技术通过任务分析来教授孤独症儿童生活技能的研究，探究了使用AR技术教授孤独症儿童刷牙技能的维持效果和社会效度。Cihak等人使用的材料包括搭载于便携式多媒体播放器的AR程序、62秒的剪辑视频、五步任务分析的图片，研究人员将刷牙图片和视频连接在一起，当使用播放器的相机扫描图片时，会自动启动并播放刷牙的步骤，视频呈现在图片提示的下方，以提供增强现实的体验。研究结果表明，通过AR技术三名孤独症儿童都学会了如何独立刷牙，并在9周后展示出良好的维持效果。社会效度的数据表明AR技术是学习新技能的有效方式，教师和助教表示会继续使用AR技术来对教学进行补充[18]。
Bouaziz等人关注孤独症儿童在生活技能学习中面临的困难，并基于此提出了一种AR学习系统。即通过AR系统的摄像头扫描吃饭的纸质卡片，从而在移动设备的屏幕上产生3D动画的增强效果。与传统的纸质卡片的教学方法相比，这种方法使得儿童能够看到卡片中描述的技能，也能更好地吸引儿童的注意力，使儿童在学习过程中不容易分心[19]。

二、AR技术在孤独症儿童教学中应用的局限与挑战

尽管AR技术在孤独症儿童教学中取得了良好的效果，但是在如何将其与现有教学内容相融合，以及现有研究是否支持其教学效果两方面仍面临着巨大挑战[20]。
首先，AR技术在我国的应用尚处于起步时期，设备价格昂贵、使用范围有限，尚不能广泛运用于孤独症儿童的教育干预中。一方面，课程开发难度大，缺乏技术与学习内容的深度融合。尽管通过计算机等科学技术将虚拟的信息应用到真实世界，能达到超越现实的感官体验[21]，但它无法完全复制复杂多变的真实世界。在AR技术下的干预中，主要通过让孤独症儿童与虚拟客体进行互动来实现教学。一方面，这样减少了儿童与真实世界的互动，弱化了儿童习得技能的自然泛化；另一方面，随着教学时间的推移，固定的教学场景和程序式教学会使儿童丧失最初的新鲜感，产生疲惫、厌烦感，不能有效提高儿童灵活应对的能力[22]。更重要的是，儿童适应了这种虚实结合的场景后，能否在真实世界泛化仍是一大挑战。如运用AR技术教授孤独症儿童过马路技能，尽管它所构建的场景模拟自然环境，但在真实的自然环境中，过马路会遇到各种意外，比如汽车紧急刹车、红绿灯的限制时长不同，诸多的环境刺激仅仅依靠AR技术是无法做到完全仿真的。所以，系统的教学设计和个性化的干预有待进一步研究开发[23]。
其次，孤独症儿童个体差异大，基于AR技术的教学并不一定适用于每个孤独症儿童。如何根据孤独症儿童的障碍程度，设计更具针对性的学习方案，进行个性化的干预值得进一步研究[24]。建构主义者认为，学习是在原有知识经验的基础上，主动对新信息进行加工处理，建构知识的意义的过程。孤独症儿童具有不同的先备技能，如何整合不同个体的需要，使干预满足不同个体的学习需求很有必要。
第三，在孤独症领域中，AR技术多用于改善儿童的社会交往和沟通技能、注意力与情绪能力，对于学业技能的实证研究相对较少，涉及生活技能的研究则处于匮乏状态。应当通过AR技术促进孤独症儿童多方面能力的提升，如生活适应能力、学业技能和职业技能，甚至是多种技能的综合运用。在实际教学中，儿童在沉浸式的虚拟空间中，与虚拟客体进行互动，长此以往，儿童会过多依赖技术的辅助，造成独立能力和自主能力的下降。且基于AR技术的教学对教师的要求甚高，教师要灵活地进行虚实场景的转换，关注每一个儿童的表现，针对每个儿童的能力提供不同的教学任务，这无疑会增加教师的教学压力。
第四，文献梳理发现，现有的实证研究多采用单一被试的研究方法，针对孤独症儿童干预的研究样本数量较少；缺少基于AR技术的干预和传统教学的比较研究，以验证哪种教学方式更能促进儿童学习；也缺少随机对照研究排除存在混淆的变量，以辨别干预效果是得益于AR技术本身还是电子设备[25]。已发表的文章多为会议论文，很少刊于知名期刊。再者，从应用行为分析的视角来看，AR技术所呈现的刺激过多，视觉刺激、听觉刺激、触觉刺激等多种刺激的整合使得儿童区辨困难，难以精准确认需要掌握的技能，容易使注意力转移到非目标技能上。
最后，缺乏纵向调查。我们无法知道，随着时间的推移和在不同的发展背景下，AR技术是否真的可以帮助孤独症儿童提高社会互动或情绪识别等技能[26]。如何依靠AR技术准确收集每个儿童的教学信息、做好教学反馈和总结亦是一大难题。

三、AR技术在孤独症儿童教学中应用的建议

（一）注重多种教学形式结合，推动儿童技能泛化

AR技术提供的多样化感官刺激和超越现实的感官体验，可以使教学适应孤独症儿童的认知偏好，也可使其安全地学习技能。但是由于AR技术的开发成本较高、难度较大，很难一次性形成完善的课程体系，往往需要不断开发、更新与改进。更重要的是，孤独症儿童最终要融入现实社会中，而非生活在虚拟场景里。因此AR技术更多是扮演着辅助与支持工具的角色，教师在日常教学中不能仅仅依靠其达到教学目的，而要注重多种教学形式的结合，推动儿童技能泛化，使其在真实生活场景中可以恰当有效地使用所学技能。
在同一技能领域中，教师可以采用不同的教学形式来教授不同教学内容。比如，利用传统训练形式来发展儿童的先备技能，再借助AR技术来帮助儿童掌握高阶技能，当然反之亦可。以具体例子来说，教师可以利用传统的图片教学使儿童掌握基本情绪识别和指认，再利用AR技术帮助儿童学习识别动态人物表情或具体情境中的复杂情绪。当然，教师也可以利用AR技术教学基本情绪指认、配对、命名，再在日常生活中教儿童识别真人表情等。
在一个阶段的技能教学结束后，教师可以结合多种教学形式培养儿童在不同情境、不同时间下，面向不同人员的技能表现。比如，教师在教室场景中完成某一目标技能的教学，再借助AR技术来帮助儿童练习如何在其他场景中合理表现该技能。例如，教师在传统教室中教导儿童如何寻求帮助，再利用AR技术模拟商场、街道、餐厅、车站等场景，促进儿童“寻求帮助”技能的灵活泛化。又例如，教师利用AR技术训练儿童与虚拟人物打招呼的技能，再利用自然情境（如晨间签到、放学）中的教学机会使儿童技能得到泛化。

（二）注重多层次教学设计，支持儿童个性化发展

孤独症儿童的技能学习是一个阶段性发展的过程，儿童之间与儿童自身各领域间也存在差异。在利用AR技术进行技能培训时，教师应注重多层次设计，考虑孤独症儿童的不同年龄阶段以及各项技能的低、中、高阶水平，使课程能够有框架、成体系。
教师可以在一项课程活动中嵌入多层级的技能目标。对于发展水平较低的学生，要求其能够独立完成低阶练习，并在练习高阶技能时给予充分辅助，同时根据儿童的技能提升情况，逐步撤除辅助或降低辅助等级；对于发展水平较高的学生，则可以使其先尝试独立完成所有活动，在过程中适当提供辅助，推动其充分练习低阶技能、逐步熟练高阶技能。此外，教师也可以设计不同课程活动，并对其进行难度划分，在同一模块下，对发展水平较低的学生提供较低难度的课程活动，而对发展水平较高的学生组织较高难度的活动。
同时，教师也可以在设计开发AR课程时，嵌入数据记录环节，利用随堂数据及时掌握学生的学习情况，并将数据与多层次课程内容相关联，为学生打造个别化课程计划，使同一课堂中的学生也能实现个性化发展。

（三）注重多领域教学内容整合，促进儿童全面成长

AR技术本身的优势可以帮助教师模拟并设计比较复杂的情境活动，因此教师也不应局限于单一领域技能教学，而可以注重多领域的教学整合。借助AR技术丰富的场景与高度的交互性，有计划有目的地帮助孤独症儿童建构起技能之间的联系，使儿童在模拟现实的场景中，充分锻炼各项技能，实现全面成长。
AR技术在一定程度上拓展了课堂的边界，即使儿童仍在教室中，借助该技术也可以有“身临他境”的体验感，因此教师可以选择儿童熟悉的复杂情境，在其中嵌入不同技能领域的教学目标，使儿童在“补短板”的同时也不耽误“长板”的保持与发展。举例来说，教师设计“购物”这一主题的课程活动，主要目标是教儿童学习采购与付款这两项较高阶的生活技能。那么在这一活动中，教师也可以穿插打招呼、寻求帮助等社交技能，命名、指认、配对等认知技能的练习，甚至可以创设特殊情境，如想买的东西卖完了，来训练儿童的情绪管理能力。这样一来，一项活动便不仅指向单一的教学领域，而是整合型教学，能够帮助教师做到教学内容的新旧交替、难易结合、综合规划，也有利于儿童对技能的掌握、精熟、维持与泛化。

参考文献：

［1］ParkHR，LeeJM，MoonHE，etal.AShortReviewontheCurrentUnderstandingofAutismSpectrumDisorders［J］.ExperimentalNeurobiology，2016，25（1）：1.
［2］［21］李晔.UnityAR增强现实完全自学教程［M］.北京：电子工业出版社，2017：6-9.
［3］LiuR，SalisburyJP，ArshyaV，etal.FeasibilityofanAutismFocusedAugmentedRealitySmartglassesSystemforSocialCommunicationandBehavioralCoaching［J］.FrontiersinPediatrics，2017（5）：1-5.
［4］KeshavN，VahabzadehA，AbdusSaburR，etal.LongitudinalSocioEmotionalLearningInterventionforAutismviaSmartglasses：QualitativeSchoolTeacherDescriptionsofPracticality，Usability，andEfficacyinGeneralandSpecialEducationClassroomSettings［J］.EducationSciences，2018，8（3）：107.
［5］余静.面向孤独症儿童干预的Avatar社交互动游戏的设计与实现［D］.武汉：华中师范大学，2020：1-3.
［6］AzizKA，AzizN，YusofAM，etal.PotentialforProvidingAugmentedRealityElementsinSpecialEducationviaCloudComputing［J］.ProcediaEngineering，2012（41）：333-339.
［7］CunhaP，BrandaoJ，VasconcelosJ，etal.AugmentedrealityforcognitiveandsocialskillsimprovementinchildrenwithASD［C］//InternationalConferenceonRemoteEngineering&VirtualInstrumentation.Madrid：IEEE，2016.
［8］SwaggartBL，GagnonE，BockSJ，etal.UsingSocialStoriestoTeachSocialandBehavioralSkillstoChildrenwithAutism［J］.FocusonAutism&OtherDevelopmentalDisabilities，1995，10（1）：1-16.
［9］TentoriM，HayesGR.Designingforinteractionimmediacytoenhancesocialskillsofchildrenwithautism［C］//Proceedingsofthe12thACMInternationalConferenceonUbiquitousComputing.NewYork：ACM，2010.
［10］EscobedoL，NguyenDH，BoydLA，etal.Mosoco：amobileassistivetooltosupportchildrenwithautismpracticingsocialskillsinreallifesituations［C］//ProceedingsoftheSIGCHIConferenceonHumanFactorsinComputingSystems.NewYork：ACM，2012.