當前位置: 華文世界 > 科學

如果同行評而不審,成果無人復制,學術質素的黑洞會有多大?

2024-07-24科學

編者按:保羅·薩特 (Paul M. Sutter) 是紐約州立大學石溪分校高級計算科學研究所的理論宇宙學家,也是紐約市 Flatiron 研究所計算天體物理中心的客座研究員。他是一位屢獲殊榮的科普作者,本文摘自他的新書【拯救科學:在數碼時代恢復信任】,認為目前學術界缺乏有效的激勵機制來鼓勵更多的科學家對學術產出進行監督,相反,對於過度發表的激勵機制倒是非常有效。

圖源:Enlarge

現代科學是艱難而復雜的,需要經過許多過程和多年的艱苦努力才能建立起來。而且幾乎所有現代科學都是基於計算的。除了少數(我的意思是極少數)堅持用筆和紙寫下東西的頑固理論家外,幾乎可以肯定的是,任何科學領域的任何論文,在過程的某個步驟中都涉及電腦。

無論是研究鳥糞還是星系碰撞,現代科學的存在和持續存在都歸功於電腦。從淩亂的桌子上的筆記電腦到占滿整個房間的巨型機器,「電腦先生」應該是每年300萬篇已發表的期刊論文的合著者。

現代科學極其復雜,而且依賴科學家自己或者細分領域的專用軟件,這使得 防範學術欺詐的第一道防線失效:這一防線就是同行評審。

同行評審的做法是與現在完全不同的時代背景中發展起來的,當時能夠得出論文結論的論據和分析過程都可以很容易的在論文中找到。想知道作者是如何得出這個結論的嗎?推導過程就在那裏。 判斷一篇文章的「錯誤」相對容易,因為評審員可以從頭到尾、從開始到結束跟蹤這篇文件,並且擁有評估它所需的所有資訊。

現在,由於現代科學事業如此依賴電腦,同樣的事情在很大程度上變得不太可能了。

更糟糕的是,科學研究中使用的許多軟件程式碼都不對外公開。我再說一遍,因為這簡直令人難以置信:每年發表的數百萬篇論文都依賴電腦軟件來產生結果,而這些軟件無法供其他科學家來檢查它的正確性。 我們只能信任它,但「信任」這個詞在科學家的優先事項中排在很後面。

為什麽科學家不公開他們的程式碼?歸根結底,原因和科學家不做很多可以改善科學行程的事情是一樣的: 沒有激勵。在這種情況下,在網站上釋出程式碼不會獲得任何參照量,只有發表論文才能獲得它們。

圖源:pixabay

當我對論文進行同行評審時,整個過程總是讓我感到無比焦慮:如果我看不到所需要的資訊,我該如何判斷一篇文章的正確性?如果發表結果背後的電腦程式碼可以被修改和扭曲以產生任何作者想要的結果,而且沒有人會知道這種扭曲的存在,那麽評審有何意義呢?

隨著時間的推移,科學變得越來越復雜,越來越依賴軟件程式碼來保持流程運轉。這使得硬件和軟件方面的欺詐行為更容易實作。從無心之失到有目的的尋找「提高效率」的工具,再到完全偽造數據和結果,科學界累計的錯誤正在飛速增長。

同行評審是打擊科學錯誤的第一道防線,但從根本上講,它已經失效,完全無法保證過濾掉無意的錯誤和的有意的欺詐。 評審員沒有時間、精力或意願仔細審查新研究,即使審稿人心血來潮追根究底,無論是揭露致命缺陷還是察覺了作者的欺詐企圖,解決的方法都很簡單:換一份期刊再投一次就好了。

圖源:@Stock

由於同行評審的失敗,科學誠信的外墻被突破,學術界必須轉向第二道防線:復現。

復現是指另一位科學家(最好是「成心找茬」的競爭科學家,因為他們最想做的就是打敗對手)可以重復已發表期刊文章中描述的實驗。如果他們得到相同的結果,那就歡呼吧!科學進步了。如果他們得到不同的結果,那就歡呼吧!科學也進步了。無論如何,這都是勝利。

但是非常遺憾的是,幾乎沒有人願意做這件事,而當他們真的這樣做時,往往會發現論文的原始結果並不成立。這在科學界被稱為「復現危機」,它首先出現在2010年代的心理學領域,但我認為其實所有領域都無法幸免。

導致復現危機的原因紛繁復雜,一言難盡,但最主要的問題則是明顯的: 復現幾乎沒有回報。 復現別人的論文,你只能確認其他人是否真正解釋了或者創造了新事物,而科學界更看重你是否帶來了創新,潛台詞是:你管別人有沒有創新呢?新穎性被視為一種美德,如果一項實驗沒有得到積極的結果,期刊就不太可能有興趣發表這個結果。

復現不夠「酷」,所以即使完成了,也不會有人閱讀。復現研究不會在高影響因子期刊上發表,復現研究的作者也不會獲得太多的參照。這意味著他們的 h 指數較低,從而降低了他們獲得資助和晉升的機會。其次,由於科學過程的復雜性,復現正在變得越來越困難。由於工具復雜,數據堆積如山,統計分析復雜,實驗設計繁瑣,程式碼繁多,很多情況下,即使你想復制別人的工作,也幾乎無法實作。

就像學生交給老師的作業, 如果他知道老師不會仔細看,事後也不會有人來檢查,那麽在作業本上胡寫亂畫來完成課業任務就會變成一項很有誘惑力的選擇。

圖源:DALL-E-3

如果按照學術界看重的指標,論文正在變得史無前例的多,看起來科學研究正在不斷取得進展,但事實真是如此嗎?

雖然撤稿和更正時有發生,但相比於人們懷疑的、潛在的學術不端的數量,撤稿和更正實在是太少了。每個科學領域的現狀都為欺詐行為的發生提供了條件, 但沒有人開發出足夠完善的監管系統來治理欺詐行為——在一個極端案例中,一家期刊在收到撤回申請的35 年後才釋出撤稿通知。 導致全面撤稿或更正的調查並不常見,同時,每年發表的科學論文實在太多了。瀏覽 Retraction Watch、 PubPeer 等網站就會發現,欺詐行為從未停止,而檢舉揭發則通常來得太晚,幾乎沒有造成重大影響。

沒有人有時間閱讀他們所在領域的每一篇重要論文。分析、數學、術語、情節和文本,就像一股永無休止的浪潮。每個科學家都盡可能多地寫作、產出,而不會真正深入研究現有文獻。以我的領域天體物理學為例。每天,這個領域都會誕生大約 40到60篇全新的天文學和天體物理學論文。註意是每一天,甚至節假日也是如此!根據一項調查,一些科學家聲稱他們每周閱讀大約五篇論文。在我看來,這是一個謊言,或者至少是誇大其詞,因為「閱讀」一詞的定義各不相同,從「閱讀標題、摘要、結論和漂亮的圖片」到「將這項工作吸收到我的研究領域中」,可能都算「閱讀」。

絕大多數已發表的科學論文並沒有被其目標讀者群所閱讀。 相反,大多數科學家只是瀏覽新書名,尋找一些引人註目的內容,或者在文獻搜尋中挖掘參考文獻作為參照 。我們只是為了發表而發表,希望某篇論文被大量參照,或透過走量來積累同樣數量的高 h指數

圖源:DALL-E-3

這正是欺詐之所以存在而且逐漸泛濫的真正原因:沒人在乎你在這裏或那裏捏造數碼,因為實際上沒幾個人會讀這篇文章,甚至連審稿人也不會!你在論文中得出的結論將成為更多工作的基礎——甚至可能是一個研究方向。

如果我們都知道並且同意,欺詐是壞事,未糾正的錯誤是壞事,無法復制的結果也是壞事,但是為何壞事不會消失呢? 簡而言之, 沒有動力去清理這些壞事。目前科學界的激勵是「發表或者滅亡」,而不是浪費時間進行仔細的同行評審、公開程式碼或復制結果。

我並不是說大多數科學家都在試圖故意造假。我確實相信大多數科學家都是好人,他們想為這個世界做好事。但是,由於所有的激勵機制都如此一致,你很容易說服自己,你所做的並不是真正的欺詐:

  • 如果你拒絕公開你的程式碼以供審查,你是在欺詐嗎?還是在正義地保護你的研究投資?

  • 如果你不得不扭曲分析以獲得可發表的結果,你是在欺詐嗎?還是最終得出了你發自內心所堅信的答案?

  • 如果你沒有檢查你的工作是否有錯誤,你是在欺詐嗎?或者你只是.經過了長時間的努力完成了工作,疲憊不堪的稍微忽略了一些事?

  • 如果你因為審稿人過於挑剔而駁回了你的文章,你是在欺詐嗎?還是在抗議一位不講道理的同行評審員?

  • 科學家們並沒有真正受到激勵去改變這些問題。這個系統已經存在並且「有效」;它允許選擇贏家和輸家,贏家將獲得資助、終身職位和豪車。好吧,也許沒有豪車。大學沒有動力去改變這些做法,因為只要他們的贏家繼續帶來資助,他們就會在納稅人資助的無邊海洋裏暢遊。

    圖源:LIGHTSPRING/SHUTTERSTOCK

    最不願意改變這一切的人就是出版商: 如果一種商業模式幾乎沒有風險穩賺不賠,誰想改變它? 許多出版商讓科學家付費才能發表他們的研究成果,而他們不必為同行評審付費;科學家想要閱讀論文,需要支付幾十美元才能存取一篇文章,或者支付高昂的訂閱費用才能獲得年度存取許可權。唯一能負擔得起的人是富有的大學和圖書館,這種模式把大多數現代科學進步鎖在了鍍金象牙的大門後面。

    總的來說,科技出版業每年收入約 100 億美元,利潤率通常達到兩位數。他們當然不希望這艘船改變航向。我真的不能責怪他們;他們只是按照自己遊戲的既定規則行事。