你听过科学研究的「再现性」（reproducibility）吗？如果一个科学研究结果具有再现性，代表它可以被另一个研究团队，以同样的控制条件、操作步骤进行重复测量，并获得与前人相近的结果。这也代表着这项实验是可以被验证的，该研究的可信度也越高。
近年来，许多领域都开始重视科学研究的再现性问题，例如 2015 年由科学开放平台（Open Science Framework, OSF）发表在《科学》（Science）的一篇心理学实验再现性的研究，就重复了三个重要的心理学期刊，包括 Psychological Science、Journal of Personality and Social Psychology、Journal of Experimental Psychology: Learning, Memory, and Cognition 在 2008 年间发表的 100 个研究，结果显示仅有 36％的研究具有统计显着性[1]。
而在 2016 年刊载於《自然》（Nature）的一篇报导中，团队以线上问卷调查了 1576 位研究者，发现有超过 70％ 的研究者，无法重现其他科学家曾经做过的研究结果；更有超过 50％ 研究者无法重现「自己的」研究结果[2]。
再现研究论文时，会遇到哪些困难？
同样的科学研究再现性验证也出现在生医领域。一项由 RPCB（Reproducibility Project: Cancer Biology）团队耗资 200 万美元、历时 8 年，尝试复制各大具影响力的临床前癌症研究，其结果於去年（2021）12 月发表於 eLife[3]。
在看这项研究结果之前，或许我们可以先了解 RPCB 究竟是何方神圣？RPCB 是一个由非营利组织「开放科学中心」（Center for Open Science）与学术平台「科学交流」（Science Exchange），在 2013 年开始合作执行的一项计画。团队期望能系统性地重现出 53 篇於 2010～2012 年间，刊登在知名期刊《自然》、《科学》、《细胞》（Cell）中的临床前癌症相关研究。
即使一开始团队预计重复 53 篇论文中共 193 项实验，但最终能成功执行的仅有来自 23 篇论文里的 50 个实验，且仍使该计画延宕了五年才完成。为什麽理想这麽丰满，现实却如此骨感？研究团队在论文中提到了几项实验再现的困难与挑战，例如：
- 许多原始论文缺少叙述统计（descriptive statistics）和推论统计（inferential statistics）的关键数据，像是效果量（effect size)、统计检定力（power）等资讯，尽管团队联系了原始论文的作者，仍有 68％ 的数据无法取得。
- 在这 193 项实验中，没有一个具有足够详细的说明，令团队能设计出重复的实验步骤。这使得他们不得不转向论文原始作者，以寻求更进一步的实验建议，而在询问的过程中，约 26％ 作者给了极大的帮助，而有约 32％ 作者对实验完全没帮助（或是无任何回应）。
癌症研究实验的再现性仅 46％？
在缺乏合作、需要详细检查并调整实验步骤的情况下，研究团队平均需要花费 197 周的时间才能复制出一项实验。此外，每复制一次实验的成本高达 5 万 3000 美元——大约是原先预估花费的两倍，因此再现 193 项实验的雄心壮志终究无法达成。
那麽这项耗时 8 年、斥资百万的实验再现性研究，给了我们什麽结果呢？
根据团队在 eLife 发布的第二篇论文显示，这些临床前癌症相关研究的实验再现性仅有 46％，且平均的统计效果量也比原始论文低了 85％[4]。
在这些被再现的实验中，原始研究效果量大的往往更容易被复制，而动物实验则是再现性最差的，这可能是因为在生物体内（in vivo）实验的效果量，大多低於体外（in vitro）实验。
只做一次的再现实验，公信力足够吗？
发表在知名期刊上的临床前癌症研究论文，其实验再现性居然不到一半，这对於生物医学相关领域的研究者来说，无疑是一项沉重的打击。
不过仅凭一次的再现实验，就评断一项研究的公信力，对这些研究者来说公平吗？其中一位研究无法被 RPCB 再现的学者就表示：「他无法确定这些一次性实验有多少价值。」而那些被选中重现的实验，当中也不乏已经开始进行第二期药物临床试验的研究。同时也有研究者指出，RPCB 在复制实验时使用了与原研究不同的细胞株（cell line），也并未在实验中进行三重复确认最终结果[5]。
针对这些指控，RPCB 说明这项计画的目的，并非藉此断言某些特定研究是无用，或需要被停止的，而是为了点出现今研究的再现性危机（reproducibility crisis），以期望找出相对应的解方。目前也有一些提升研究再现性的方法被提出，像是以盲性研究（blinding）进行体外实验或动物实验、采用更大的样本量、更严谨的统计分析方法，以及研究计画的预先注册制度（preregistration）〔注 1〕。
虽然这项大型研究充满着许多争议，但也提醒了各领域的研究人员：对於自身研究的每个步骤、统计方法等，都应更加详尽、仔细的记录。除了能使後人有办法针对已发表的内容，进行深入探讨外，亦可以提升该实验被再现的可能性，增加研究的公信力。
而看完文章的你，对於科学研究的再现性又有什麽看法呢？
注解
注 1：研究计画的预注册是指研究者在进行科学研究之前，先对他提出的假设、方法、分析方式上传到注册机构，经由该单位的期刊编辑、同侪审查通过後，再进行研究的一种做法。
参考资料
- Open Science Collaboration, Estimating the reproducibility of psychological science, Science, Vol 349, Issue 6251, 2015. https://www.science.org/doi/10.1126/science.aac4716
- Monya Baker, 1,500 scientists lift the lid on reproducibility, Nature, volume 533, pages452–454, 2016. https://www.nature.com/articles/533452a
- Timothy M Errington et al., Reproducibility in Cancer Biology: Challenges for assessing replicability in preclinical cancer biology, eLife, 2021. https://elifesciences.org/articles/67995
- Timothy M Errington et al.,Investigating the replicability of preclinical cancer biology, eLife, 2021. https://elifesciences.org/articles/71601
- Asher Mullard, Half of top cancer studies fail high-profile reproducibility effort, Nature, 09 December 2021. https://www.nature.com/articles/d41586-021-03691-0
- 情慾、性别、身体与性犯罪——科学视角下的性教育
- 如何打造科学家的房间！科学实验室EP.6 — 会动的AR绘本
- 利用阿基米德浮力原理，当玻璃小球浮起时测量气温～伽利略温度计
- 交换礼物大赏！QUALY 醉爱北极熊酒瓶塞
- 数学好无聊、不实用，到底为什麽要学数学？
- 给大人玩的理财桌游，从此航向财富自由！
- 交换礼物首选、推理迷必买！台湾推理作家协会20周年限定周边
