Apple Vision Pro 未来可应用治疗精神疾病，包括自闭症、抑郁、失眠等；分享案例 floreo | 脑科学观察

提要：6月6日凌晨，在苹果WWDC2023开发者大会上，“One more thing”苹果首款头显Vision Pro正式发布。这一款具备多个摄像头，用户用手势、眼睛或者语音就可操作控制，可以用来工作、娱乐、沟通的新一代电子产品。苹果CEO蒂姆·库克称，这是一款数字世界和现实世界相结合的革命性产品，将开启空间计算新时代。

苹果推出了一个visionOS和一个新开张的应用商店

Vison Pro同时搭载了M2和全新的R1芯片，R1芯片是苹果公司专门为这款产品研制的芯片，主要负责数据传输；配备全新的操作系统visionOS。同时，苹果推出了一个visionOS和一个新开张的应用商店。iPhone和iPad的应用，在Vision Pro上都能原生使用。未来会有更多专门针对Vision Pro开发的应用，例如3D解剖图等。

苹果历史上，如果缺乏在用户界面上的创新，很难称为“革命性产品”。从1980年代起在个人电脑上的图形界面（鼠标），到2000年代起的智能手机的多点触控（手指），到2020年代的隔空（声音、手势、眼神）。接下来需要意念和预测了。库克称之为空间计算（spatial computing）时代。空间计算的下一步，应该是硅谷早期技术先驱们所预言的普适计算（ubiquitous computing）。

参与Vision Pro的前苹果AR工程师Sterling Crispin，发文分享了自己在苹果期间所做的工作。其中提到，苹果Vision Pro融合了大量机器学习技术，包括用AI模型预测你的身体、大脑状态，比如是否对当前事物好奇，是否走神，注意力是否被分散等等。这一切是基于用户眼睛的动作数据、心率、肌肉活动、血压、大脑血液密度等等数据来衡量和判断。

在苹果担任过神经技术原型研究员的Sterling Crispin，2021年前参与了 Vision Pro相关技术的开发三年多，他称Vision Pro 为AR/VR“整个行业发展的巅峰之作”。他还在推特上透露了一些技术细节：

我在苹果所做的工作涵盖了 Vision Pro 的基础开发、正念体验、产品以及与神经技术相关的更有雄心的前沿研究，例如预测你在点击某个内容之前的行为，基本上是心灵读取。

具体来说，我为 Vision Pro 的项目的初步愿景、战略和方向做出了贡献。我在一个小团队中的工作帮助推动了该产品类别的启动，我认为它可能在未来对全球产生重大影响。

Crispin在苹果的大部分工作都受到保密协议的约束，涉及了广泛的主题和方法。但是，通过专利，一些工作已经公开。

以下是他可以引用和改述的专利内容

总体而言，我所做的工作很大一部分涉及通过用户在沉浸式体验中的身体和脑部数据来检测用户的心理状态。

用户处于混合现实或虚拟现实体验中，AI模型尝试预测你是否感到好奇、思维漫游、害怕、注意力集中、记起过去的经历或其他认知状态。这些可以通过眼动追踪、脑部电活动、心脏跳动和节奏、肌肉活动、大脑中的血液密度、血压、皮肤电导等测量数据来推断。

为了实现具体的预测，我们使用了很多技巧。其中最酷的结果之一是在用户实际点击之前预测用户将要点击某个内容。你的瞳孔在你点击之前就会有反应，因为你期望在点击之后会发生某些事情。因此，通过监测用户的眼动行为并实时重新设计用户界面，你可以通过检测用户的眼睛行为，创造用户大脑的生物反馈，从而产生更多的预期性瞳孔反应。这是通过眼睛实现的初级的大脑-计算机接口，非常酷。我宁愿选择这种方式，而不是侵入性的脑部手术。

其他推断认知状态的技巧包括以用户可能无法察觉的方式快速闪烁视觉或声音，并测量用户对其的反应。

另一项专利详细介绍了如何使用机器学习和来自身体和脑部的信号来预测你的专注度、放松程度或学习效果。然后通过更新虚拟环境来增强这些状态。因此，想象一下一个适应性的沉浸式环境，通过改变你在背景中看到和听到的内容来帮助你学习、工作或放松。

他认为，Vision Pro 只是虚拟现实之路上的一小步。“要让整个行业完全实现这项技术的宏伟愿景，需要到2030年前。”

苹果表示，这意味着成千上万的iPad和iPhone应用程序将在VisionPro上发布，“用户可以在MR的虚拟大屏幕上使用Adobe等应用程序，且只需眼睛和手就可以轻松控制。”苹果还宣布与Unity进行合作，将更多App带入至其全新的“MR应用商店”，且基于Unity的游戏和应用程序可以完美适配VisionOS的功能，如高分辨率渲染和原生手势等。

| 分享VR治疗的案例

公司名称：Floreo

基本信息：VR医疗服务商 | 美国

公司性质：非上市公司 

成立日期：2016

|  Floreo简介

floreo成立于2016年，该公司致力于开发临床设计的VR治疗方案，致力于为患有自闭症谱系障碍、多动症、焦虑和其他神经多样性疾病的患者提供社交、行为、沟通和生活技能培训。允许患者通过移动设备或VR头显学习独立生活技能，以及沟通、社交和情绪调节能力，从而治疗自闭症、神经发育症、多动症、焦虑症。这对用户来说是有趣和吸引人的，同时允许成年人监督和跟踪用户的进展。目前，已经有100多家供应商采用并部署floreo的VR治疗方案，累计使用次数达1.7万。

| 融资信息

融资金额：1000万美元

最新轮次：A轮 

披露时间：2022-10-28

交易机构：Tenfore Holdings、The Disability Opportunity Fund、Felton Group、Autism Impact Fund

累计融资次数：3

| 融资观察

Floreo 完成 1000 万美元 A 轮融资，本轮融资由 Tenfore Holdings 领投，Autism Impact Fund、Disability Opportunity Fund 和 Felton Group 参投。资金将用于继续研发VR行为治疗方案，并将为其寻求FDA批准，未来还计划在Meta Quest上推出VR应用。

| 创始团队

Floreo 是一个充满热情的团队，由来自不同背景的教育工作者、开发人员和研究人员，有爱心的人和经验丰富的专业人士组成。

团队对虚拟现实 (VR) 技术可以支持神经多样性个体成长的可能性感到兴奋。无尽的灵感、激动人心的创新和惊人的研究每天都在推动着 Floreo 的工作。

| 产品&技术

致力于开发临床设计的 VR 课程，帮助教授针对自闭症和其他神经发育障碍儿童的生活技能。目前，Floreo 的 VR 平台已被 100 多家供应商部署，累计使用次数达 1.7 万。

这些体验可以通过 iPhone 和 VR 头显访问，然后与监督成人或治疗师使用的 iPad 配对。iPad 可以远程使用，提供学习者看到的内容的实时视图，并允许自定义课程中的场景。该平台还记录有助于制定治疗计划的关键数据。课程由 Floreo 的临床工作人员设计，包括有执照的言语语言病理学家和神经发育儿科医生，范围从眼神交流等基本技能到与警察安全互动等更严肃的技能。

使用 Floreo

学习者通过移动 VR 耳机观看 Floreo 课程，而教练则在 iPad / iPhone 上跟随以指导整个体验过程中的进步。

课程库

团队不断地向 Floreo 课程库添加新的基于研究的学习经验。访问数百个课程，可以使用这些课程来增强学习者的治疗计划，从而有效地培养所需的社交、行为、沟通和生活技能。

研究驱动的治疗，个性化

Floreo 不断增长的课程资源库可用于塑造适合特定目标的编程，通过沉浸式治疗解决方案提供，从而教授技能更具协作性和实践真正参与。

具有真实世界结果的基于研究的 VR 疗法

Floreo 为各种规模和多地点实践的组织提供创新的治疗方式，帮助神经发散的个人发展和提高广泛的有意义的技能。基于研究的沉浸式 VR 课程使治疗师能够提供定制的、灵活的治疗方案，以最好地支持他们的客户和学习者按照自己的节奏安全灵活地练习复杂的技能。

远程医疗就绪，远程学习友好

Floreo 使用基于证据的策略，是一种治疗工具，可以培养重要的沟通、社交、情感和生活技能。面对面或通过远程治疗，Floreo 不断扩大的临床医生设计课程库为提供者提供了一个沉浸式学习世界，可以对其进行定制以最好地满足个人客户的目标。

Floreo 为治疗师、教育工作者、医疗保健提供者和家庭提供独特而强大的工具来支持学习和成长。这里有一些资源可帮助您熟悉并自信地了解 Floreo 可以提供的服务。

Floreo 使用基于循证的策略，是一种治疗工具，可以培养重要的沟通、社交、情感和生活技能。

面对面或通过远程治疗，Floreo 不断扩大的临床医生设计课程库为提供者提供了一个沉浸式学习世界，可以对其进行定制以最好地满足个人客户的目标。

Floreo 让治疗更具吸引力并且可以在任何地方进行——帮助人们通过身临其境的体验按照自己的节奏练习重要的社交技能——而不会感到不自在，并且可以在他们需要的所有时间里进行。Floreo 使用虚拟现实向所有年龄段的神经多样性个体传授社交、沟通、行为和生活技能。我们的沉浸式 VR 体验基于成熟的研究和科学支持的技术，旨在用于治疗、教育或家庭环境。

推动我们的课程和产品供应的研究之外，Floreo 还积极与世界知名机构开展多项研究，包括与费城儿童医院自闭症研究中心和美国国立卫生研究院合作开展的一项研究。