搜索為什么已發(fā)表的研究結(jié)果大多是錯(cuò)的？
2017-03-30 by:CAE仿真在線 來源:互聯(lián)網(wǎng)
科學(xué)的可重復(fù)性危機(jī)
科學(xué)的可重復(fù)性危機(jī)已經(jīng)成為舉世矚目的熱點(diǎn)議題。
自2005年斯坦福大學(xué)教授 John Ioannidis 在 PLOS Medicine 雜志上發(fā)表論文《為什么已發(fā)表的研究結(jié)果大多是錯(cuò)的》(Why Most Published Findings Are False)以來,越來越多錯(cuò)誤、誤導(dǎo)性或不可重復(fù)的科研成果紛紛被曝出。
兩大制藥公司各就具有“里程碑”意義的癌癥生物學(xué)論文進(jìn)行取樣,分別只證實(shí)了6%、11%的研究結(jié)果。還有一項(xiàng)類似的驗(yàn)證實(shí)驗(yàn),結(jié)果也不盡如人意:在重新驗(yàn)證藥效時(shí),70種用于治療老鼠肌萎縮(ALS)的潛在藥物靶點(diǎn)全部呈陰性。
在心理學(xué)領(lǐng)域,研究人員們?cè)噲D重復(fù)100項(xiàng)同行評(píng)議過的研究,僅有39項(xiàng)重復(fù)成功……盡管大多數(shù)重復(fù)實(shí)驗(yàn)集中于生物醫(yī)學(xué)、健康以及心理學(xué)領(lǐng)域,但近期的一份由多領(lǐng)域1500位科學(xué)家進(jìn)行的調(diào)查顯示,科研結(jié)果可重復(fù)性低的問題是廣泛存在的。
起于科學(xué)界流言的“可重復(fù)性危機(jī)”,已搖身一變?yōu)榕e世矚目的熱點(diǎn)議題。幾乎所諸多主流報(bào)紙、TED 主題演講、電視節(jié)目都曾熱議這一問題。
對(duì)于這一問題的解讀分為兩種:
-
科學(xué)就是這樣?？茖W(xué)本身具有不確定性,矛盾屢見不鮮。問題是我們沒有擺正自己對(duì)科學(xué)的期許。解決方法就是把還沒蓋棺定論的科研成果和已經(jīng)確定的科研成果區(qū)分開來。
-
科學(xué)并非如此。矛盾的研究意味著有瑕疵的科學(xué)。相應(yīng)的解決方法則是改變科學(xué)研究的操作方式。
可重復(fù)性的證據(jù)表明兩者皆對(duì):科學(xué)固有不確定性,且其方法有待改進(jìn)。
如果科學(xué)的方法是“科學(xué)”的,為什么相同的實(shí)驗(yàn)會(huì)產(chǎn)生不同的結(jié)果呢?
為了便于理解,我們可以設(shè)想一個(gè)測(cè)試重力理論的簡單實(shí)驗(yàn)。幾個(gè)世紀(jì)中,亞里士多德的理論盛行:物體下落的速度與其重量成比例。如果你同時(shí)扔一個(gè)石頭和羽毛,重點(diǎn)兒的石頭比輕點(diǎn)兒的羽毛下降的快。這證明了亞里士多德的理論嗎?
現(xiàn)在我們來想象一下,亞里士多德理論的質(zhì)疑者伽利略同時(shí)扔下炮彈和步槍彈。這是對(duì)于一個(gè)相同理論的不同驗(yàn)證方法。盡管各自的重量是大有不同的,兩個(gè)球仍同時(shí)落地。這個(gè)演示有效地證明了亞里士多德的理論是錯(cuò)誤的(盡管沒有任何證據(jù)顯示伽利略本人做過)。
故事的意義不是亞里士多德徹底地錯(cuò)了。他的觀察仍然是對(duì)的,一片羽毛總是比石頭下落的慢(在地球上)。僅僅是他的結(jié)論錯(cuò)了。
這個(gè)思想實(shí)驗(yàn)說明了科學(xué)家得出的結(jié)論如何超出了實(shí)際證據(jù)——這一過程就是所謂的歸納法。歸納是科學(xué)進(jìn)程里的本質(zhì)部分,沒有兩個(gè)實(shí)驗(yàn)可以完全相同,這顯而易見的事實(shí)可以解釋為什么許多科學(xué)理論會(huì)失敗。
在17世紀(jì),羅伯特·波義耳(Robert Boyle)的氣泵是研究真空屬性的一個(gè)關(guān)鍵設(shè)備。另一位科學(xué)家克里斯蒂安·惠更斯(Christiaan Huygens)打造了他的空氣泵(當(dāng)時(shí)世界上僅有的幾個(gè)空氣泵之一),并發(fā)現(xiàn)一個(gè)現(xiàn)象:在空氣泵中,水懸浮于玻璃罐內(nèi)。
他稱之為水的“異常懸浮”。但是波義耳無法在他的氣泵里重復(fù)效果,遂拒絕了惠更斯主張。爭議持續(xù)幾個(gè)月后,惠更斯前往英格蘭用波義耳的氣泵重復(fù)出了水懸浮的效果,于是水的異常懸浮現(xiàn)象被接受。它為何出現(xiàn)、意味著什么仍然是謎,但是實(shí)驗(yàn)重復(fù)成功了。
最近,加州大學(xué)伯克利分校的乳腺癌研究員 Mina Bissell 和哈佛大學(xué)的合作者 Kornelia Polyak 發(fā)生了類似的爭議。這兩個(gè)實(shí)驗(yàn)室利用熒光激活細(xì)胞分選(FACS)人類乳腺癌細(xì)胞,發(fā)現(xiàn)無法重復(fù)彼此的實(shí)驗(yàn)。
最終他們通過共同進(jìn)行實(shí)驗(yàn)解決了這一問題。他們發(fā)現(xiàn),結(jié)果取決于振蕩細(xì)胞的方式——“大力攪拌”或者“較輕微地?fù)u晃”。排除方法上的差異后,兩個(gè)實(shí)驗(yàn)室獲得了一致的流式細(xì)胞儀數(shù)據(jù),從而得以繼續(xù)深入研究。
亞里士多德與伽利略、波義耳與惠更斯以及 Bissell 與 Polyak 的爭議,都源于實(shí)驗(yàn)中的不一致之處。如果所有實(shí)驗(yàn)條件都相同,實(shí)驗(yàn)的現(xiàn)象就會(huì)很穩(wěn)定。實(shí)驗(yàn)結(jié)果不一樣,就說明有些條件是有差別的,問題就在于,你能不能發(fā)現(xiàn)差別在哪里。
然而也并非所有的科學(xué)研究都會(huì)如此。
1978年,陶氏化學(xué)研究者 Richard Kociba 進(jìn)行了關(guān)于癌癥和二噁英關(guān)系的研究。在這項(xiàng)研究中,科學(xué)家對(duì)老鼠喂食二噁英兩年,隨后對(duì)其肺部切片,以檢測(cè)腫瘤的生長。
在1978年研究中,服用化學(xué)物質(zhì)的50只老鼠中有20只長了肺部腫瘤。1980年,環(huán)境保護(hù)局重新分析了相同的肺部切片。這一次,他們發(fā)現(xiàn)有29只老鼠患了腫瘤。
隨后在1990年,造紙行業(yè)委托另一個(gè)分析報(bào)告發(fā)現(xiàn)只有9只老鼠患腫瘤。3個(gè)不同的結(jié)果均來自相同的切片。(1990年的分析由七位病理學(xué)家組成的團(tuán)隊(duì)完成,當(dāng)團(tuán)隊(duì)無法對(duì)腫瘤判斷達(dá)成一致時(shí),采取少數(shù)服從多數(shù)原則。)
Kociba 的切片告訴我們:變化、不確定性和判斷可以使給定的一個(gè)觀察實(shí)驗(yàn)指向不同的結(jié)果。
同樣的事情也發(fā)生在統(tǒng)計(jì)分析中。
2015年,Brian Nosek 和開放科學(xué)中心做了一項(xiàng)研究,研究問題是足球裁判給深膚色球員的紅牌是否比淺膚色的球員多。Nosek 和他的同事們將相同的數(shù)據(jù)分別給了29支分析師團(tuán)隊(duì),咨詢他們的意見(分析師們都知道他們的結(jié)果會(huì)與他人的對(duì)比)。
就像 Kociba 的肝臟切片一樣,完全相同的足球數(shù)據(jù)產(chǎn)生了不同的結(jié)果。有幾個(gè)團(tuán)隊(duì)報(bào)道淺膚色和深膚色之間沒有差別,也有人指出深膚色球員被判紅牌的幾率比淺膚色球員高近3倍,而其他人則認(rèn)為這個(gè)增長值約有20%~40%。
這些研究中的科學(xué)問題,本質(zhì)上與亞里士多德的重力研究、波義的真空問題、Bissell 的熒光激活細(xì)胞分選完全不一樣。
當(dāng)談?wù)摰蕉f英、肝癌或者膚色深淺和紅牌數(shù)量時(shí),關(guān)鍵的可變因素難以測(cè)量,結(jié)果難以預(yù)測(cè)。一些未注射二噁英的老鼠也會(huì)長腫瘤;深膚色并不代表一定得到紅牌,淺膚色也不會(huì)總得到赦免。
最終人們證明二噁英與癌癥有關(guān);在足球裁判案例中,膚色確實(shí)影響了拿紅牌的概率。對(duì)這兩個(gè)案例而言,怎樣產(chǎn)生影響、影響到什么程度仍然很難確定,但不一致并不總是意味著研究毫無意義。
結(jié)果不一致,不一定意味著哪里出錯(cuò)了,或者哪里需要調(diào)整。相反,實(shí)驗(yàn)常會(huì)受到研究體系或測(cè)量方法的干擾。當(dāng)重復(fù)含有大量干擾的研究時(shí),說它們“不可重復(fù)”可能不太恰當(dāng)。如果你匯總多個(gè)相同的研究(這一過程稱為薈萃分析),最終結(jié)論將趨于事實(shí)的真相。
在某些情況下,不可重復(fù)性確實(shí)反映了不確定性。但另一些情況下,它也意味著疏忽、欺騙和不當(dāng)行為。
頂級(jí)醫(yī)學(xué)雜志《柳葉刀》的主編 Richard Horton,在2015年寫道:“大部分的科學(xué)文獻(xiàn),也許一半,都可能是不真實(shí)的。由于研究樣本較小、效果甚微、無效的探索性分析、明顯的利益沖突,再加上癡迷追求若有若無的‘重大發(fā)現(xiàn)’,科學(xué)已轉(zhuǎn)向黑暗。”而值得注意的是,Horton 的聲明雖然僅指向醫(yī)學(xué)文獻(xiàn),但也對(duì)科學(xué)真理的晴雨表——同行評(píng)議提出了質(zhì)疑。
同行評(píng)議期刊已經(jīng)成為科學(xué)可信度的守門人。但隨著從科學(xué)期刊撤稿的數(shù)量增多,這頭銜也搖搖欲墜。自2001年到2009年,撤稿數(shù)增加了十倍,2012年的一項(xiàng)分析發(fā)現(xiàn):生物醫(yī)學(xué)數(shù)據(jù)庫(PubMed)上三分之二的撤稿緣于學(xué)術(shù)不端。
這些問題在醫(yī)學(xué)學(xué)科尤其嚴(yán)重。例如,人們發(fā)現(xiàn)一乳腺癌細(xì)胞系實(shí)際上是皮膚癌細(xì)胞系,導(dǎo)致超過1000個(gè)研究被判無效。另一起案例中,專業(yè)數(shù)據(jù)統(tǒng)計(jì)包的軟件缺陷可能導(dǎo)致數(shù)以萬計(jì)的功能磁共振成像研究失效。
當(dāng)安進(jìn)生物科技公司(Amgen)證實(shí)了53個(gè)“里程碑”癌癥實(shí)驗(yàn)中僅有6個(gè)能夠重復(fù),第一作者格倫貝格利指出,“不可重復(fù)的研究有一些共性,包括關(guān)鍵試劑的不當(dāng)使用、缺乏陰性和陽性對(duì)照、不當(dāng)統(tǒng)計(jì)和未重復(fù)試驗(yàn)。如果研究人員重復(fù)了實(shí)驗(yàn),數(shù)據(jù)往往已經(jīng)過重重‘選擇’,維護(hù)他們想要的結(jié)果?！?strong>在這種情況下,首要問題不是重復(fù)性,而是實(shí)驗(yàn)設(shè)計(jì)是否得當(dāng)。
有些研究對(duì)實(shí)驗(yàn)方法和數(shù)據(jù)分析的介紹不全面,這是個(gè)同行評(píng)議完全可以修正的缺陷。有些科學(xué)家沒有透露如何分析數(shù)據(jù),從而說明他們的結(jié)果統(tǒng)計(jì)顯著——即使它們并不顯著。
例如,一個(gè)社會(huì)心理學(xué)家團(tuán)隊(duì)曾證明一個(gè)離譜的假設(shè):聽兒歌可以使人減齡。他們公開的研究技術(shù)(俗稱“p-hacking”)“證明”,聽兒歌后人確實(shí)變年輕了。不僅如此,研究者還用這些技術(shù)處理了電腦隨機(jī)生成的數(shù)據(jù),發(fā)現(xiàn)有高達(dá)61%的概率得到標(biāo)準(zhǔn)的統(tǒng)計(jì)顯著結(jié)果(p<0.05,統(tǒng)計(jì)學(xué)上的傾向)。
故意的 p-hacking 行為構(gòu)成欺詐,但在研究過程中,當(dāng)科學(xué)家必須做出會(huì)影響科研結(jié)果的決定時(shí),不當(dāng)行為與無心之差的界限就變得非常模糊。
在足球裁判的研究中,進(jìn)行足球數(shù)據(jù)分析的29組團(tuán)隊(duì),20組發(fā)現(xiàn)結(jié)果是“統(tǒng)計(jì)顯著”而九組沒有?，F(xiàn)在想象一下,一個(gè)研究人員做了所有29組分析,只能選擇一個(gè)報(bào)告。如果你想發(fā)表成果,你會(huì)選擇哪一個(gè)?這樣的選擇,也許是已發(fā)表論點(diǎn)不可重復(fù)或被證偽的最大原因。
重復(fù)性危機(jī)和可能的解決方式起源于上世紀(jì)七十年代。
1976年,海盜1號(hào)宇宙飛船在火星上干尼亞地區(qū)(Cydonia region)拍攝的照片看起來就像一個(gè)人的臉。數(shù)天后,NASA 發(fā)布了這張“臉”的照片,立刻引起了媒體界的轟動(dòng),當(dāng)時(shí)甚至有人出書聲稱,火星上有著類人生物的文明,還建了金字塔。
/海盜1號(hào)拍攝的火星上的“人臉”/
當(dāng)然,NASA 的科學(xué)家視其作為一種光學(xué)錯(cuò)覺不予考慮。隨后從不同角度拍攝的高分辨率照片上看,“人臉”看上去完全不像一張臉。
如今,一些科學(xué)家仍在欣賞自己數(shù)據(jù)里的火星臉圖。在預(yù)算緊張、就業(yè)市場(chǎng)競(jìng)爭激烈的情況下,他們選擇將存疑的結(jié)果寫進(jìn)簡歷,但也僅此而已。當(dāng)有人用改進(jìn)的技術(shù)或者不同的角度回顧,正如之后干尼亞的圖像,大多數(shù)原有的結(jié)論已站不住腳。
但不論結(jié)果如何,重復(fù)的驗(yàn)證都會(huì)給我們更多的信心,相信科學(xué)終將揭示真相——無論它真的是一張臉,還是只是一塊石頭。
編后語:
有些情況下,無論結(jié)果最終被證明是否正確,求知的過程從某種程度上來說也是一種進(jìn)步!
來源:PBS
相關(guān)標(biāo)簽搜索：為什么已發(fā)表的研究結(jié)果大多是錯(cuò)的？ Ansys有限元培訓(xùn) Ansys workbench培訓(xùn) ansys視頻教程 ansys workbench教程 ansys APDL經(jīng)典教程 ansys資料下載 ansys技術(shù)咨詢 ansys基礎(chǔ)知識(shí) ansys代做 Fluent、CFX流體分析 HFSS電磁分析 Abaqus培訓(xùn)
