拟态阅读真的有效吗?我们对2000多名读者进行了计时,结果可能会让你感到惊讶

内容

tl;dr. 实际上不会,结果可能不会让你感到惊讶。在分析了2074名测试者的数据后,我们发现没有证据表明仿生阅读对阅读速度有任何积极影响。事实上,与没有使用仿生阅读相比,参与者平均每分钟阅读2.6个单词更慢。也就是说,这里的差异非常小(不到1%),真正的结论是仿生阅读对阅读速度没有影响。

2022年6月,我们在Hacker News、Reddit和Twitter上发布了一个实验,以测试仿生阅读是否能让您在不损失理解的情况下阅读更快的说法。这个系列的第1部分详细描述了动机、说法和实验设计。在第2部分中,我们将直接进入结果。

准备工作

参与者被要求阅读两篇1000字的文章,分为两半,形成文章1A、1B、2A和2B。每位测试者的第一个字体是随机选择的(要么是普通的Literata,要么是应用了Bionic Reading的Literata),然后从那里开始交替。

1A 1B 2A 2B

所选的文章是由同一作者(Paul Graham)在相同的时间段(大约2010年左右)撰写的,以减少文章之间的变化。上面所示的矩阵设置旨在进一步控制文章间的差异(文章1可能比文章2更容易/更有趣阅读,反之亦然)和文章内的差异(每篇文章的开头可能比结尾更容易/更有趣阅读,反之亦然)。

数据准备

与互联网上的任何事物一样,完成率遵循可预测的漏斗模式。3,334名参与者完成了文章1A,逐渐减少至2,074名完成全部四篇文章的参与者。

completion rates followed a predictable funnel pattern

有一些高级统计技术,比如随机效应模型,可以利用 所有 数据,无论每个参与者是否完成了所有四个部分。但为了便于解释,我们决定忽略任何不完整的条目,导致初始样本量为 n=2074 — 仍然足够多的数据来支持强大的统计分析。

互联网上也存在一些需要清除的垃圾数据。

  • 首先,我们删除了来自相同IP地址的任何多次输入(37个条目)。
  • 接下来,我们删除了我称之为“看热闹的人” —— 那些好奇的人,开始实验后迅速滚动到底部,然后点击下一页看看会发生什么。我们可以通过人类不可能的阅读速度来识别这些参与者,例如,用2秒的时间阅读500字。在这里,我们使用了每分钟2,000字的截止值(95个条目)。
  • 最后,我们删除了我称之为“放弃者” —— 那些认真开始但最终放弃的参与者,然后迅速滚动到底部查看他们的结果。在这里,我们可以通过2A或2B上的阅读速度,比他们在1A、1B和2A上的平均阅读速度分别快2倍来识别这些参与者(20个条目)。

这项数据准备工作产生了一个最终数据集,其中 n=1916

我们明白异常值去除是一个风险引入偏差的细致过程,但我们根据对参与者的观察和我们的专业知识,对这些条目的无效性感到有信心。此外,我们已经公开发布了匿名化的原始数据(未加工前)这里,以便您希望应用自己的数据准备步骤来运行自己的分析或检查我们的工作。

每种字体的平均速度

如上所述,我们现在可以对每位参与者的每种字体的结果进行平均,得出一对可进行苹果对苹果比较的速度。让我们快速探讨每种字体的速度统计摘要。

表 1: 每种字体的速度统计摘要(每分钟字数)

仿生

非生物

意思

325.3

327.9

中位数

294.0

289.6

标准差

134.6

148.5

最低限度

60.9

100.2

最大

1,118

1,293

计数

1,916

1,916

正如您所看到的,两种字体的平均速度(分别为325.3和327.9字每分钟)几乎完全相同,而非仿生阅读实际上略快约3字每分钟。然而,以百分比来看,这只是微不足道的0.8%差异。

每位参与者的平均速度差异

这个实验的美妙之处在于我们可以进行各种“配对”分析,不仅控制了文章之间的阅读速度变化和文章位置,还控制了不同个体之间的阅读速度变化。观察到的差异,平均而言,应该是由字体而不是其他潜在因素引起的。

从每个参与者的非仿生阅读速度中减去他们的仿生阅读速度是查看差异的最简单方法。如果仿生阅读有助于人们阅读更快,我们预期会看到平均差异大于零字每分钟。

表2:每位用户的速度差异统计摘要(WPM)

Delta

意思

-2.6

中位数

1.8

标准差

58.2

最低限度

-439

最大

293

计数

1,916

用通俗的语言来说,这句话的意思正好相反:在我们的样本中,参与者使用仿生阅读的阅读速度平均比不使用时慢了2.6个单词每分钟。

每种更快字体的平均速度差异

自从发布这个实验以来,我收到了很多类似的旁门左道评论,比如,“嗯,当然我不指望仿生阅读对大多数人有效,但对于[我的亚群体],它真的有效。”如果是这样的话,我们可能会预期看到那些通过仿生阅读阅读速度更快的参与者比那些没有使用仿生阅读阅读速度更快的参与者获得了不成比例的好处。让我们看看有多少参与者通过每种字体阅读得更快以及他们的平均速度增益。

表3:每种更快字体的速度差异摘要

计数

百分比

Delta (WPM)

仿生

998

52%

35

非生物

918

48%

43

使用仿生阅读阅读速度更快的人数略多(52%)比不使用仿生阅读阅读速度更快的人数(48%)。尽管如此,使用仿生阅读阅读速度更快的人平均只提高了每分钟35个单词。相比之下,不使用仿生阅读阅读速度更快的人每分钟提高了43个单词。看起来仿生阅读起作用时,效果确实不错。

假设检验

现在让我们进行一项配对 t 检验,以检验使用仿生阅读时的平均速度是否等于不使用时的平均速度的零假设。

表 4: 成对双样本 t 检验结果

仿生

非生物

意思

325.3

327.9

方差

18,108

22,055

观察

1,916

1,916

假设均值差异

0

df

1915

t统计量

-1.9196

P(T<=t) 单侧

0.0275

t 临界值 单尾

1.6456

P(T<=t) 双尾

0.0551

t临界值双尾

1.9612

在统计学术语中,平均速度差异(M = -2.6,SD = 58.2,N = 1,916)与零没有显著差异(t = -1.92,双尾 p 值 = 0.055),这意味着我们未能拒绝零假设。关于平均速度差异的 95% 置信区间为 [0.1, -5.2],几乎暗示着仿生阅读实际上对阅读速度产生了负面影响。

用通俗的语言来说,我们几乎得到了一个具有统计学意义的结果,表明仿生阅读更慢。然而,正如在介绍中提到的,我们在这里谈论的是如此微小的差异(不到1%的差异),你可能得出结论,仿生阅读根本没有效果。

理解

到目前为止,我们一直在测试阅读速度,而不考虑阅读理解。让我们快速探索每种字体的摘要理解统计数据。

表5:每种字体的摘要理解统计数据(% 正确)

仿生

非生物

意思

88%

88%

中位数

100%

100%

标准差

16%

15%

最低限度

0%

17%

最大

100%

100%

计数

1,916

1,916

与阅读速度一样,跨字体的理解几乎完全相同。事实上,这些理解数字如此接近,以至于我担心我搞错了什么。话虽如此,我三次检查了我的计算,它们是正确的。

这些结果符合常识和现有研究成果,表明阅读理解与阅读速度呈负相关。阅读速度越快,记忆越少;反之,阅读速度越慢,记忆越多。由于在这个实验中两种字体的阅读速度几乎相同,我们预计会看到类似的理解,而事实正是如此。

结论

根据收集的数据,很难找到任何证据表明仿生阅读对阅读速度或阅读理解有任何影响。相反,我们的结果似乎证实了先前的研究,即没有普遍最佳字体,但特定的配置可能会在个体水平上带来收益。

基于上述内容,你可能会想:那么,谁在乎仿生阅读是否真正符合其宣称,只要有人喜欢就行?谁在乎它可能只是一个安慰剂?它只是又一种字体而已。给人们想要的东西吧!

give the people what they want

尽管我在此处随意使用“字体”一词,但显而易见的是,仿生阅读绝对不是另一种可以简单许可和安装的字体。相反,它更像是一种需要向勤奋的专利/商标持有者发出 API 调用(并对该知识产权持有者进行报酬)的字体_风格_,随后需要将各种标签注入到您的标记中。

为了让你了解这是什么样子,这里是一篇保罗·格雷厄姆(Paul Graham)文章的第一句话,应用了仿生阅读技术:

最好的方式来提出创业想法是问自己这个问题: 你希望有人为你做什么?

这里是没有的:

提出初创公司创意的最佳方法是问自己一个问题:你希望有人为你制造什么?

作为软件开发人员,这是一个不能容忍的问题吗?当然不是。但这确实很繁琐,特别是当你在构建离线应用程序时,因此在引入所有这些成本和复杂性之前,我们更希望有一些证据表明这样做是值得的。

或许不太明显的另一点是,尽管这些博客文章中可能透露出一些怀疑的色彩,但我们真诚地希望《仿生阅读》能被证明有效。毕竟,我们从事的是阅读技术业务,我们真诚地相信软件有潜力彻底改变阅读实践。我们寻求数字阅读可能提供的任何优势,以说服人们从纸质阅读转向像素阅读。这是我们的使命,也是我们首次构建阅读软件的原因。

出于这个原因,以及因为我们在设计和执行这个仿生阅读实验时乐在其中,我们打算进行更多测试,希望发现一种能带来实际好处的屏幕阅读技术。我们知道还有一些其他看起来很有趣的技术,包括BeeLine Reader、Spritz和Sans Forgetica。

我们有没有忽略的?在TwitterHacker News上告诉我们!

否则,请继续关注我们的下一个阅读速度实验 🤓

总结
文章总结:通过对2074名测试者数据分析,发现仿生阅读对阅读速度没有任何积极影响,参与者使用仿生阅读的平均阅读速度比不使用慢2.6个单词/分钟。尽管结果可能不会让你感到惊讶,但实际上仿生阅读对阅读速度没有影响。实验设计严谨,数据准备过程中剔除了无效数据,最终结果显示仿生阅读对阅读速度和理解能力几乎没有影响。综合来看,仿生阅读似乎并没有任何实际作用。