Post Jobs

现版本的实验指南可在,无法得出准确的研究结果

www.1331.com 4

这种危机愈演愈烈已20年,之所以会出现这种情况,是因为实验的设计并不完善,无法确保科学家不会欺骗自己,看到他们希望看到的结果。

机器学习结果易「离地」

科学问题,用科学的方式解决

“我感觉现在对NgAgo问题的讨论有一些脱离语境。”谈及纷扰的舆论,蒙托柳这样对果壳网科学人说,“我同意韩春雨博士的观点,即现在的情况应该科学地解决。”

在接受果壳网科学人的采访时,布尔焦给出了研究者在通常遇到无法重复论文结果的情况时,通常会采取的行动流程:

  1. 询问对该技术更有经验的技术员同事或者科学家;
  2. 给论文作者写信,向他们询问操作指南上的更多细节和一些窍门;
  3. 用特定电子邮件列表、在线讨论组或者社交媒体与同事在线讨论这项技术。在基因组编辑领域,每当有新技术或者新软件发布,领头的研究者就会创建一个维基页面或者在线讨论组,来直接与同事和年轻科学家进行互动。

这样的流程被认为有利于研究者更有效率地进行重复实验。当NgAgo的重复实验遭遇瓶颈时,蒙托柳和其他许多研究者都采取了这样的行动。仅在Google的Genome
Engineering using CRISPR/Cas
Systems论坛上,就有30位研究者在名为NgAgo的板块下发表了67条讨论[8]。在这些讨论组,研究者会交流自己的实验结果,也给出分析和听取评论。在NgAgo论文发表后迅速联系韩春雨请求分享实验质粒的蒙托柳,也在重复实验中出现问题时直接联系韩春雨,呼吁他公开实验数据。

www.1331.com 1
NgAgo讨论组部分截图。图片来源:groups.google.com

另外,一种重要的选择是将自己的重复实验结果写成读者来信(Correspondence)或评论形式,向学术期刊投稿。“我可以不公开我的实验,选择给重要期刊写一篇读者来信,然后为同行评议等六个月到一年的时间。”布尔焦说。不过,“出版阴性结果这条路通常比较困难,也不总是能被期刊所考虑。”蒙托柳补充道,“这就是为什么现在研究者们采用了别的渠道,比如利用开放科学项目,让他们能公开自由地分享结果给所有人评论。”

www.1331.com,闷不做声谋求发表阴性结果,还是公开自己的数据供所有人讨论分享、吸取教训?布尔焦选择了后者。“他慷慨地分享了自己的实验并为他使用NgAgo得到的阴性结果做出了一些解释。”蒙托柳评价道。

“我觉得与同行们公开分享我的结果更有价值,这样的经验让我受益匪浅。我现在还在跟不同领域不同背景的人分享自己实验中的一些窍门,也非常推荐我的同事分享他们的数据。”布尔焦对果壳网科学人说,“这种做法能够避免各个实验室闭门造车做同样的实验。与其去追逐发表,共享数据、窍门和实验方法更有价值——这样能为我们省下资金、资源、实验动物和白白花费掉的数周的实验投入。”

而这正是布尔焦和其他科学家正在呼吁韩春雨所做的事情,正是“用科学的方式解决科学问题”。韩春雨工作的学校,河北科技大学近日表示,在约一个月后,韩春雨将采取适当形式公开验证结果。

“现在所累积的证据提示许多实验室(重复NgAgo的实验)都失败了,这是很遗憾的。我希望这些问题能很快被解决并修正。这样,新的基因编辑工具就能使大家都获益。”蒙托柳告诉果壳网科学人。

阿朗说,机器学习系统和大数据集的使用加速了这种危机。这是因为机器学习算法是专门为在数据集当中寻找有趣的东西而开发的,因此当它们在大量的数据中搜索时,它们不可避免地就会找到一个模式。

人工智能(AI)应用渐普及,人脸识别技术在内地已无处不在,但AI可靠度被质疑。最近有学者提出,学术研究更多采用机器学习,但技术倚重数据,万一数据被「污染」,所得结果便无法准确。再推展出去,机器学习被数据误导,严重起来,随时引起智能叛变。

文章题图:sciencenews.org

英媒称,数以千计的科学家用来分析数据的机器学习技术正在产生具有误导性且常常是完全错误的结果。

机器学习近年大量应用在学术研究,以处理数据。莱斯大学电脑科学副教授Genevera
Allen最近发表研究报告,指出AI急于应用在研究,如生物医药领域,所带来的不准确结果,可能导致科学危机。

“除非别人重复不出来——要是Ago怎么做也做不出来,这说明咱是中国的小保方晴子了。”5月16日,河北科技大学的韩春雨在北京讲到他的基因组编辑系统NgAgo时开玩笑说了这么一句。在场的同行和学生大笑——在“STAP细胞”学术不端事件过去两年后,因篡改和捏造数据被《自然》撤稿、理研撤职的小保方晴子,早已成为科研人士无论如何都不能效仿的反面教材。

她说:这些研究往往在另一个真正的大数据集出现时才会被发现是不准确的。有人用那些技术分析后叹道:哦,我的天哪,这两个研究的结果不一致。

她的研究发现,引用机器学习协助的研究结果,往往「离地」,因只解释了所用数据集内部的现象,而非现实世界的情况。造成科学研究的结果缺乏可重复验证的必然性,特别是生物医学研究有85%都因此浪费精力。亦即数据偏离现实,被污染了,无法得出准确的研究结果。

结语

眼下,不管是论文的发表方《自然》杂志,还是韩春雨教授所属的机构河北科技大学都在督促韩春雨尽快公布详尽的实验流程。更为详细的信息毫无疑问能够帮助人们更好地重复他的实验,进而判断这个横空出世的新技术到底是行还是不行。“随着社交媒体平台、在线讨论组和研讨会的发展,要对某个技术有没有用下结论其实不需要耗费太多的时间。当然,这也取决于研究领域和该技术的复杂程度。”布尔焦说。

“当初我们尝试CRISPR系统时,花了一两个月拿到第一批正面数据。”布尔焦回忆说,“我记得我们很快就拿到了鼓舞人心的积极结果,但那结果有点反复,而且效率挺低的。要真的建立起技术平台、显著提高编辑效率花的时间就要长一点。”这是CRISPR系统在布尔焦实验室的成长过程。现在备受遭遇质疑的NgAgo,日后能否在这些研究者手上稳定下来,切实为他们提供便利?相信答案很快就会水落石出。

即使这篇文章最终遭到撤回,我们也希望公众更加理性地看待这个故事。科学家在科研的道路上难免犯下粗心和草率的错误,但这样的错误不该被用来对他人的名誉进行攻击。对于还很年轻的韩春雨团队来说,这样的错误和挫折会使他们更加成熟。也许有一天,也许能有一份真正的“诺奖级”,从这个小小的实验室冉冉升起。而在那之前,所有挫折和失败,都会是他们必须走过的流程。

(编辑:Calo)

科学中的可重复性危机是指另一组科学家做同样的实验时,研究成果无法再现的数量惊人。这意味着最初的结果是错误的。一项分析表明,在全世界开展的所有生物医学研究中,多达85%的研究都是白费工夫。

近年不少科学家提出要小心使用AI,而提出要注意机器学习的数据却是首次。

然而,不到三个月后,在关于韩春雨的报道中,真的已经有人以小保方晴子的故事作为案例进行讨论。这也许让这位彼时被国内媒体捧成新一个“诺贝尔奖候选人”,此时却必须承受众多科学家质疑的副教授始料未及。这一切,都源自韩春雨在《自然·生物技术》上发表的关于“新一代基因编辑系统”NgAgo的研究结果[1]。论文中那引起众多同行、媒体乃至公众关注的成果,被多国研究者反映“无法重复”。针对此事,果壳网科学人联系到了分享重复失败数据的遗传学家盖坦·布尔焦(Gaetan
Burgio)和呼吁韩春雨公开原始实验数据的路易斯·蒙托柳(Lluís Montoliu)。

阿朗博士正在与休斯敦贝勒医学院的一个生物医学研究小组合作,以提高他们研究结果的可靠性。她正在开发下一代机器学习和统计技术,不仅可以筛选大量数据以便有所发现,还可以报告他们的结果的不确定程度及其可能的重复性。

在财经界打滚多年后,投身资讯科技行业成为i世代。

参考资料:

  1. Gao, Feng, et al. “DNA-guided genome editing using the
    Natronobacterium gregoryi Argonaute.” Nature biotechnology (2016).
  2. My experience with Natronobacterium gregoryi Argonaute (NgAgo),
    medium.com
  3. Open Science Collaboration, Estimating the reproducibility of
    psychological science. Science Vol. 349 no. 6251 DOI:
    10.1126/science.aac4716
  4. Monya Baker,1,500 scientists lift the lid on reproducibility. Nature
    533, 452–454 (26 May 2016) doi:10.1038/533452a

她警告说,如果科学家们不改进技术,就会既浪费时间又浪费金钱。她的研究成果提交给了华盛顿的美国科学促进会。

机器学习本身存在问题,不只在科学研究有机会出错,其商业应用同样有危机。以污染的数据训练,就会得出偏离原意的结果,AI执行时变得不一样。但亦有人辩指技术本质是发现数据的规律,而不是基于模型去训练数据,或以数据否定模型。得出错误的结果,是使用机器学习的人出了问题。

www.1331.com 2
NgAgo质粒的页面在此。

她说:人们现在普遍认识到科学领域存在可重复性危机。我敢说,这在很大程度上源于在科研中使用机器学习技术。

艾云

更新:8月9日,在线遗传信息库Addgene发布推特,称韩春雨在NgAgo系统的实验指南中增加了关若干窍门。现版本的实验指南可在这里下载。

她对英国广播公司记者说:问题是我们真的能相信那些发现吗?

AI只是统称,现时技术以机器学习和深度学习为主。这些技术倚靠数据,例如要训练AI模型认得出一只猫,事前要给数以万计,不同品种、形态的猫照片作训练。之后再见到猫照片,便会跟之前的学习对比,得出的信心值只要够高,系统便会认为这是一只猫。训练数据愈多便愈准确。但若使用狗的照片去训练辨认猫,结果便截然不同。

“不可重复”不等于“作者造假”

NgAgo爆出可重复性问题以来,炮轰“韩春雨造假”的声音开始在网上出现,并随着科学家呼吁韩春雨公开原始数据而越演越烈——持这种观点的人想法非常直接:假的东西当然没办法重复嘛!

可是,没有办法重复的实验结果,真的意味着作者在造假吗?

蒙托柳给出的答案是:当然不。

“很多人重复不出论文中的实验结果当然不意味着这些结果就是伪造的。我们知道,一些实验就是比其他实验要困难。”他说,“首先,在重复实验上遭遇的失败可能是因为一些关键的技术细节在论文里没有提及,所以论文作者提供更多指点、额外的建议或者评论是很重要的——一些一开始看起来可能无关紧要的、可能在文中被省略的细节可能实际上关乎着实验的成败。所有在重复的实验室可能一直都在不经意地犯什么错误,因此重复不出来。”

在科学界,“造假”是极严重的指控。这样的指控否定的不仅是被指控者的学术水平,更否定了他的学术名誉乃至人格。缺乏决定性证据,单纯只是实验无法重复,并不能成为指控其他学者“造假”的理由。巴郎古评论说:“在指控任何人存在谎报和不端之前,人们必须要先重新评估数据,找出是什么无法重复,再找出为什么。”

因此,即便在试图重复NgAgo的道路上耗费了大量时间、精力和资源却最终只收获失败的结果,包括布尔焦在内研究者也没有给韩春雨团队扣上“造假者”的帽子,也没有提及应调查作者的学术不端行为。他们只希望找出重复实验的关键所在,加以解决。

“如果我们对NgAgo系统的运作机制有更好的理解,也能成功使用NgAgo进行编辑的话,我毫无疑问肯定会再尝试使用NgAgo系统。”布尔焦对果壳网科学人说。

“我们最开始用的是TALENs,之后转而使用CRISPR,因为后者比前者更加稳定、有效率并且可重复。现在也是一样,如果Ago这个新工具能够表现稳健并可重复,我就会转而使用它。”蒙托柳在接受果壳网科学人采访时也表示,如果韩春雨能够提供建设性的解释和原始的实验方法及数据,“我会准备好测试新的实验方法。”

www.1331.com 3
在DNA-scissors发起的调查中,有66.8%的人表示将等到NgAgo被优化的时候。图片来源:docs.google.com

据英国广播公司网站2月16日报道,休斯敦赖斯大学的热内薇拉·阿朗博士说,越来越多使用这种系统正在导致科学危机。

Money18更多

“NgAgo”到底是什么?

NgAgo是一个什么系统?简单地说,这是一项新的基因编辑技术。在蛋白质家族Argonaute(Ago),韩春雨等人发现一种叫做NgAgo的蛋白可以被用来进行定向和精确的基因编辑。而和近年在生物学界的大热CRISPR基因编辑系统不同,NgAgo用来找到目标的定位模板是一段单链DNA而非RNA。在韩春雨的论文中,NgAgo系统所表现出的种种特性让全世界的科学家看到了它身上的巨大潜力。有人将NgAgo看做CRISPR系统的必要补充,有人将它视作“下一代基因编辑系统”的有力候选。

然而,当世界各地的科研同行跃跃欲试地尝试用NgAgo进行基因编辑后,许多人发现这一系统并不能像论文所述的那样生效。技术博客“DNA剪刀”(DNA-scissors)对研究者们进行了一次调查[2],他们将NgAgo与CRISPR进行对比,询问研究者们对这两个系统的看法。

截止发稿前,共有188位研究者参与投票。接近一半(48.9%)研究者正面对比了一下NgAgo和CRISPR,但只有6.4%的研究者认为NgAgo更胜一筹。但这并不能说明什么——CRISPR系统已经在全球研究者的努力下优化了三年。可问题在于,只有8个参与投票的人声称NgAgo有效(注:据该调查运营者称,有5个称“有效”的投票发生在15分钟之内。而本文作者在撰文时,声称有效的票数还是1)。尽管调查本身算不上很严谨,但“多数人无法重复”这一问题,无疑是将韩春雨推向风口浪尖的直接原因。

7月29日,澳大利亚国立大学医学、生物学及环境学院的盖坦·布尔焦在博客[3]上分享了自己在用NgAgo进行实验但失败了的重复经历,并呼吁发表论文的期刊方《自然·科学技术》请韩春雨公布原始实验数据和实验条件。8月2日,《自然-生物技术》发言人就韩春雨事件发表声明,称该刊将按照现版本的实验指南可在,无法得出准确的研究结果。既定流程来调查韩春雨的研究。西班牙国立生物技术中心分子和细胞生物学系的研究员路易斯·蒙托柳(Lluís
Montoliu)在邮件中呼吁科研同行停止使用NgAgo,等待来自作者韩春雨的建议或解释。

科研结果的可重复性问题,再一次成为学界和公众热议的话题。

越来越多的科学研究使用机器学习软件来分析已经收集到的数据。从生物医学研究到天文学等,这种现象发生在诸多学科领域。

作者:艾云

已发表的结果,怎么会不可重复?

事实上,虽然科学界反思了这么多年“可重复性”的问题,但这么些年中,真的具备可重复性的实验并不多——事实上,许多年轻的科研人员在实验室中需要学习的第一课就是:许多看起来高大上的文章都是错的,或者只对了一部分。

这并不是导师们信口雌黄。2012年,世界最大的制药公司之一安进公司的研究人员宣称,他们试着重复癌症研究领域53篇“里程碑式进展”的论文里阐述的研究结果,有47篇的结果无法再现[4]。2015年,《可再现性项目:心理学篇》项目试图再现在发表在3份顶级心理学期刊上的100项研究,发现能再现的研究不足一半[5]。2016年5月,《自然》杂志公布了一个调查结果,在这份调查结果中,各行各业超过60%的科学家表示自己有过“未能成功重复别人实验结果”的经历,而对于化学家而言,有过这样悲惨经历的同行们更是超过80%[6]。有趣的是,不仅别人的实验结果难以重复,他们有时连自己的实验结果都重复不出来!

正是这样的原因,在受访的科学家中,有90%都承认科学界遭遇了或多或少的“可重复性危机”。不过,美国韦恩州立大学医学院的大卫·格尔斯基(David
H.
Gorski)教授并不赞同“危机”这样的用词[7]。他认为这项调查根本就不是一项科学严谨的研究,而在他眼里,“‘危机’是用来描述一个即将到来的危险或者转折点的词语。这通常意味着我们必须要采取一些措施。而事实上,可重复性在科学研究领域是一个‘问题’,是长期存在的‘慢性病’。”它没有把科学研究逼到生死存亡的墙角,科学研究也没能把它从自己的必经之路上剔除。

为什么?因为影响研究结果可重复性的条件太多太多了。

在现代化的实验室中,人们可以相对严谨地控制实验变量——相同品牌的试剂,同样的反应温度……然而,无论人们怎么严谨,“误差”总是客观存在的。环境温度、机器的老化程度、实验人员的操作方法,每一步实验中人为产生的微小差异不断积累,就会变成足以影响实验结果的大问题。比如像蛋白质结晶这种复杂的实验,有时一个小小的灰尘,就可以毁了整个反应。

在这么多变量的共同影响下,重复不出一种结果实在是太常见了。“单个研究者,比如我,就算不能重复建立可行的实验方法,在决定一种技术可不可行这件事上也是没有意义的。”布尔焦对果壳网科学人说,“真正能质疑一种新技术的情况,是许许多多研究者都没办法各自建立它。”布尔焦指出。

“Ago的故事并不新,但是它作为新基因组编辑工具的潜力是令人很感兴趣的。对Ago这种潜力的关注也许会驱使某些人夸大、炒作他们的观点和数据,作者、审稿人、编辑和读者都是这局面中的一部分。”CRISPR/Cas9系统的先驱之一、北卡莱罗纳州立大学副教授鲁道夫·巴郎古(Rodolphe
Barrangou)在接受果壳网科学人采访时说。“这就是为什么科学是建立在众多文献之上的,需要重复的观察和来自独立研究组的独立报告。”他强调。

www.1331.com 4
对已发表结果的检验通常需要众多科研同行进行重复实验。图片来源:elifesciences.org

这将为科学家节省资金,而且通过避开那些错误的可能方向来推进科学也很重要。

这些数据集非常大,成本也很高。不过,阿朗博士说,他们得出的答案可能是不准确甚至是错误的,因为软件识别的是只存在于数据集中而非真实世界中的模式。

她说:收集那些庞大的数据集非常昂贵。我告诉科学家,我的研究可能使你需要更长时间才能发表研究成果,但最终你的研究结果将经得起时间的考验。

那些是真正能代表科学的真正发现吗?它们能再现吗?如果我们增加一个数据集,我们会在相同的数据集中得出同样的科学发现或原理吗?遗憾的是,答案往往是否定的。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章

网站地图xml地图