眼球控制学习曲线
对于正在使用眼控仪的用户,不少老师和家长可能都忽略了这个事实:眼球控制是一项需要学习的技能。
用户必须有机会在「 安全 」的环境中练习,而每个人都会以不同的学习速度经历不同的学习阶段。有些人练习可能需要几分钟、几小时,而有些人可能需要几天甚至更长时间。
通过眼球控制学习曲线(Eye Gaze Pathway),我们将培养和锻炼用户用眼睛注视(Eye Gaze)来沟通和学习的能力。
学习曲线分为六个阶段,每个阶段遵循统一的结构,包含学习目标、练习活动、指导视频和提高沟通的小贴士。
眼球控制学习曲线的设计核心围绕「 沟通 」和「 学习 」这两大关键词。
在每个阶段,我们设计了练习活动,旨在告诉家长和老师,不管用户有没有接触过眼球控制技术,也不管他现在的眼球控制能力如何,沟通都是有可能实现的,而不是需要单独达到的技能。只要用户看着屏幕,就可以开始沟通,这时沟通伙伴扮演者重要的角色,需要对用户在屏幕上看到的东西做出反应,表明用户的眼睛可以促进沟通,从而创造双向沟通。
除此之外,在「 说 」下面的沟通小贴士将帮助沟通伙伴更好地参与和开展对话。
学习目标与每个练习活动相关。学习目标包括两个方面,一是眼球控制的能力,二是尝试活动时所发展出的词汇。虽然学习眼球追踪技能很重要,与此同时,我们也要学习新词汇。
虽然我们建议从「关注屏屏幕(Screen Engagement) 」阶段开始,以你自己的节奏一步步进阶,但是在进入下一个阶段之前,用户不需要完全掌握前一个阶段。所以,你可以自由尝试学习曲线上的不同阶段和活动,由此探索出最适合用户的方式。
什么是眼球追踪
Eye Tracking
眼球追踪的工作原理
从概念上来讲,眼球追踪时一个很直观的过程。
1、眼控仪由摄像头、投射器和算法组成
2、投射器在眼睛上投射近红外光束
3、摄像头捕捉眼睛及光束的高清图像
4、经过机器学习、图像处理和算法计算后分析出你在看哪里
眼球追踪 (Eye Trakcing / Gaze Interaction) 技术,顾名思义,可以让电脑能够知道用户在看哪里。这项技术可以用来取代传统的键盘和鼠标,直接用眼睛控制电脑,从而帮助身体和认知有障碍的人群过上更独立和更多彩的生活。
安置方式与姿势
安置方式对用户的成功是至关重要的。设备应该和用户的脸是平行的,保证眼控仪可以清晰地看到用户的眼睛。
准备工作
在开始之前,你需要准备好:
1. Tobii Dynavox的眼控仪
全新 I-Series(即将发布)
PCEye Mini
PCEye Plus
EyeMobile Plus等
2. 以下Tobii Dynavox的眼控软件:
Gaze Point
Windows Control 2
Computer Control (即将发布)
3. 以下支持眼控的软件:
Look to Learn
Communicator 5
Snap Core First
Snap Scene
Sensory Guru Eye-Fx
Tobii Dynavox 免费网页版游戏
01 关注屏幕 Screen Engagement
我看屏幕的时候很好玩
学习内容
这一阶段的学习是通过乐趣建立起来的。
用户将通过大目标(大的图片、大的按钮等)进行无错误式的学习。
用户会发现他们眼睛的运动对屏幕上发生的事情有直接且即时的影响。这通常被称为“因果关系”。
校准
在这一阶段,不要求任何校准。但是如果可能的话,简单的一点校准也会有帮助。
准备
• 打开 Gaze Point 软件
• 打开 Look to Learn - 感官 - 魔法鼠标
沟通
沟通伙伴对屏幕上蝴蝶的运动做出反应,用户看哪里,蝴蝶就会飞到哪里,所以沟通是从用户看屏幕开始的。
说
用以下的话鼓励沟通:
• 你的眼睛在屏幕上移动的时候,我可以看到蝴蝶哦!
• 你不看屏幕的时候,声音就停止啦!
学习目标
• 学习看屏幕上的蝴蝶
• 学习形状、颜色和声音
寻找迹象
• 蝴蝶在屏幕上移动意味着关注屏幕已经达成。
• 听到游戏的音乐声,表明用户正在关注屏幕上所发生的事情。
小贴士
用户不看屏幕的时候,声音就会停止。
其他练习活动
多彩的毛毛虫
Look to Learn:所有感官游戏
Sensory Guru Eye-FX: 所有等级一的游戏 (Blank Screen Engagement)
02 反应 Responding
我看屏幕不同地方的时候,会有不同的反应
学习内容
用户会学习到,看到屏幕不同地方时,会产生不同的反应。沟通伙伴的反应和在屏幕上看到的内容相关。
用户会学习到与图片符号和/或照片相关的新词汇。
沟通伙伴将示范与用户所看内容相关的词汇,来教他新词汇。这个新词汇都是基于用户所看的地方!
校准
在这一阶段,不要求任何校准。但是如果可能的话,简单的一点校准也会有帮助。
准备
• 打开 Tobii Core - Gaze Trace
• 打开最喜欢的照片
沟通
通过用户看的地方和沟通伙伴的回应,产生双向沟通。实际上,用户看着不同的物体或人物时,就已经在发起沟通了,而沟通伙伴通过恰当地回应,从而展开对话。
说
用以下的话鼓励沟通:
• 我看到你在看绿色的树,你最喜欢绿色了对不对?
• 我在背景里看到一个公园。我知道你很喜欢去公园!
学习目标
• 学习看着屏幕不同地方将产生不同的反应
• 学习与最喜欢的照片相关的词汇
寻找迹象
Gaze Trace(注视轨迹)会在屏幕上移动,沟通伙伴的反应应该和用户所看到的地方相关。
小贴士
• 沟通伙伴需要重点对用户感兴趣的地方做出反应。
• 不要引导学习者去看屏幕上你想让他们看的地方。
• 在用户看屏幕上不同地方时,会发出不同的声音,由此创造双向沟通。
其他练习活动
Tobii Dynavox Communicator 5 - 场景式沟通 - 情景
Communicator 5 - 丛林场景
Look to Learn:部分感官和探索游戏
Sensory Guru Eye-FX: 所有等级二(Object Displacement) 和等级三(Zoned focusing)的游戏
03 探索 Exploring
我看屏幕不同地方的时候,会发生变化
学习内容
学习因果关系,看的地方不同,在屏幕上也会发生不同的变化。
用户将通过自由探索和注视,发现他们看屏幕不同部分时,会发生什么。在探索的时候,我们也会学习新的词汇,例如绘画活动中的颜色、视觉场景中不同物品的名称。
校准
在这一阶段,用户需要做一点校准。如果可能的话,两点校准会更有帮助。
准备
• 打开 Gaze Point
• 打开 Look to Learn
沟通
这一阶段的沟通来自沟通伙伴示范屏幕上不同区域的词汇。这会教用户导航技能和新词汇。
在这一阶段,用户还没有主动选择想说的内容,但是我们可以看到用户的眼球控制技能在提高。
说
用以下的话鼓励沟通:
• 我看到你在看屏幕的最上面哦,你在这里画画呢!
• 屏幕上有好多不同颜色啊。你能用眼睛换颜色了太棒了!
学习目标
• 学习用不同的颜色画屏幕的不同区域
• 学习颜色的名字
寻找迹象
你有看到屏幕的不同区域有不同的颜色么?很好!这就说明用户能用眼睛在屏幕上画画,也能眼神停留。
小贴士
• 用户的眼睛在颜色点上停留短暂的时间,画笔的颜色就会自动改变。祝贺用户用眼睛改变了画笔的颜色。
• 隐藏光标强化了眼球运动与屏幕变化之间的关系。
其他练习活动
Sensory Guru Eye-FX: 所有等级四 (Active Exploration) 的游戏
Look to Learn:所有探索游戏
Tobii Dynavox Communicator 5的场景
Tobii Dynavox Snap Core First
在这个阶段,用户选了什么不重要,但是重要的是,沟通伙伴要对用户的选择做出反应,例如,用户 (可能随意) 看到了「 喜欢 」,沟通伙伴可以回答,「 哦你喜欢这个呀,我也喜欢啊,我喜欢你用它跟我说话 」。这么做的目的是,让用户知道,沟通伙伴的反应和他的眼睛看到的东西是相关的,他的眼睛是有力量的。
如果用户能选中一个按钮,就已经是成功了,如果他能选择更多,就更好啦!