昨天椰菜君聊了一下某权威科研机构使用某头牌干预机构隆重推出的自闭症AI机器人的临床研究。。。是不是舌头有点儿打结？然后有读者留言说，“身为参与了该临床研究的科研人员，可以对您文章里的问题进行回复”，然后列出了 5 条说明。为公平起见，椰菜君把这 5 条说明抄在这里：
数字化认知干预改善效果
实验组“线下常规干预+数字化认知干预”vs 对照组“线下常规干预”，您理解的对，实验组是在加餐。但该研究的结论是AI机器人比老师强吗？当然不是，研究结论是“数字化认知干预对孤独症儿童的认知表现和总发展能力有显著的改善效果”。
主要评估指标是PEP-3，可以明确回复，AI机器人不是按PEP-3来做的，AI机器人教什么，可以参见手册里的其他内容。
随机对照试验难做，所需要的资金投入也是巨大的，被试量确实不够多。如果想更强有力地验证AI训练的效果，多中心、大样本的随机对照是必要的，我们也有计划尽快开展，但当前基于较少样本的临床研究，是基础，也是先验。
关于被试客观流失的问题，确实，流失率对结果会有影响，但对照组剩余80%的儿童数据，依然是有价值的。随机分组的目的是尽量保持两组被试的同质，在流失率差异较大的情况下，同质性检验是必要的。引用论文中的一句内容进行回复“最后纳入数据分析的被试为数字化认知干预组24例、常规干预组19例，两组儿童在性别、生理年龄、总发展月龄、认知发展月龄、以及在模仿、知觉、精细动作、粗大动作、手眼协调和口语认知领域月龄上的组间差异均无统计学意义（均P>0.05）”。
最后，非常感谢您的关注，该研究目前在投中，专家评审阶段，待公开发表后，我们会第一时间同步至我们的公众号上，感谢关注！遵照“来而不往非礼也”的古训，椰菜君有下述回复，以为参酌。
关于第一条，椰菜君原文猜测，实验组“线下常规干预+数字化认知干预”，而对照组只有“线下常规干预”，现在看是猜对了，“实验组是在加餐”。
该研究人员表示，该研究不是要证明AI机器人比老师强，而是AI机器人对自闭症儿童的认知和发展有显著的改善效果，因此实验组应该加餐（用AI机器人教认知），对照组无需加餐，这种设计没有问题。
请原谅椰菜君的无知。。。用AI机器人教认知，由于三个月也学不了多少东西，姑且认为教的是加减法，20以内的加减法吧，实验组的蛙子多少学会一些；同时呢，对照组的蛙子，按椰菜君的理解，那应该是没有教20以内的加减法，若非是天赋异禀，想来蛙子们不会福至心灵，无师自通，自己就会了的。然后该研究人员评估两组蛙子的认知，试题就是20以内的加减法。。。
自闭症临床试验之所以需要搞随机分组对照，那是因为评价的标准，比如说自闭症的核心症状，会受到状态波动和生长发育的影响，需要用随机分组对照来消除；但认知呢？不学不会，学了才会啊！
为什么要做随机分组对照呢
关于第四条，该研究人员的意思是说，这试验确实流失了一些蛙子，实验组剩下95%，参照组只剩下80%，但是呢，把剩下的蛙子们重新分析一下，感谢苍天，这两组蛙子无论从哪个方面看，还是均衡的！
这可真有些奇了。原本是均衡分布的，一组丢失了20%，竟然还是均衡的。。。看来这蛙子是随机走丢的。椰菜君曾经在一篇自闭症药物文章中提到，这种事后诸葛亮的做法，叫做事后分析（post hoc analysis）。之所以叫这个名字，是因为临床试验的方案是试验开始前就已经制定、审批好了的，必须严格遵循。根据公认规则，只有数据分析过程是事先设定并且遵循的，其统计分析才有意义。做了一半、做完了更改预定方案，比如这里把走丢的蛙子排除后再做分析，就只能算作事后分析。
在临床研究中，事后分析意味着数据不可靠，结果仅有探索价值。原因也很简单，事后分析是放马后炮，是事后诸葛亮，“投机取巧”的可能性非常大，比如故意不分析不好的数据、只挑选对好结果更有利的统计方法等，主观偏倚是与生俱来的。事后分析的本质，就像考完了只把做对的题目拿出来计分，虽然可以粗略评估学会了哪些知识，但没有任何学校会承认这样的考试分数。
流失了这么多蛙子，就椰菜君所知，这么直接比较，还计算p值，除了贻笑大方，没别的用处。 至于第五条，既然该研究人员证实这项临床试验的结果尚未正式发表，那椰菜君可就真要占据道德高地了。。
尚未进行同行评议、没有公开发表的结果，为什么会被用在产品宣传材料上？有学过科学伦理吗？万一你的试验安排有问题，试验结果有错误，结论不成立，岂不是误导用户？是有100%的把握觉得自己都是对的吗？
椰菜君其实还有不少问题要问，比如评估和数据分析有没有采用盲法？试验是谁资助的？研究者和资助方、AI机器人提供方之间有什么利益关联？这些大概都只能等论文“公开发表”后才能知道吧。
椰菜君再贴一遍伪科学疗法的特点
宣称其主张经过了科学验证，即使实际上它们缺乏实验支持。
通常与夸大的疗效密切相关。
通常基于无法证伪和难以置信的理论。
依靠轶事为证据而不是采用对照研究。
选择性使用数据，正面结果会被突出，负面结果会被忽略。
倾向于通过专有出版物或互联网站而不是科学期刊进行宣传。
通常与在和治疗直接和大量经济利益的个人或组织有关。
请大家对照一下。
微信客服
微信公众号
