學術期刊眾包同行評審模式分析

時間:2022-10-13 09:45:22

導語:學術期刊眾包同行評審模式分析一文來源于網友上傳,不代表本站觀點,若需要原創文章可咨詢客服老師,歡迎參考。

學術期刊眾包同行評審模式分析

同行評審(peerreview)是科技期刊取舍稿件的主要依據,在把控期刊質量方面發揮著重要作用。同行評審模式可追溯至1665年英國皇家學會《哲學匯刊》(PhilosophicalTransactions)創辦時期,首位編輯亨利·奧登伯格邀請了同領域的學者對擬發表文章的科學性進行獨立審核,開創了同行評審的先例[1-2]。經過300多年的發展,同行評審形成了較為成熟的模式,是目前絕多數國際期刊采用的學術把關模式。近年來,科技發展日新月異,期刊數量不斷增加,質量不斷提高,作者對發表周期的要求也越來越高。傳統同行評審的缺陷逐漸顯露,比如評審時間過長、評審過程不夠透明等,評審專家剽竊作者學術成果的事件也偶有發生。為了縮短評審周期和提高審稿質量,期刊專業人士進行了諸多研究和改革嘗試,比如改善同行評審流程、建立審稿專家庫、成立審稿委員會等[3-6]。也有人不斷探索新的同行評審形式,比如開放式同行評審、結構式同行評審、比較式同行評審、交互式同行評審、非選擇性同行評審、便攜式同行評審、反彈式同行評審、背書式同行評審、級聯同行評審等[7-12]。近年來,國外的一些化學期刊和醫學期刊采取了一種新的同行評審方式——眾包同行評審,值得關注與研究。

1眾包同行評審的概念和實施流程

眾包同行評審(crowd-basedpeerreview)是將眾包評審(crowd-sourcedreview)方法用于同行評審的一種新型同行評審方法。眾包模式是一種社會化生產模式,一種創新性的群體協作生產方式。眾包的概念最早由《連線》(Wired)雜志記者JeffHowe提出,他這樣定義“眾包”:一個公司或者機構把過去由員工執行的工作任務,以自由自愿的形式外包給非特定的大眾網絡的做法[13]。Jeff提出的眾包模式具有以下幾個要素:一是參加群眾不確定;二是參加人數較多;三是以互聯網為手段;四是自由自愿的形式。維基百科和百度百科都是大眾集體創作的成功眾包案例。眾包同行評審相較于Jeff提出的眾包模式,最大區別是參加評審的人員不同,參加眾包同行評審的人員均是經過嚴格選擇的同行專家,只有專家才有資格對稿件進行評審。相同點是都由不確定人數的眾人自愿對同一目標進行評審,而且都是線上組織評審。2016年,德國期刊《合成有機化學快報》(Synlett)的主編BenjaminList[14]與他的助手DenisHofler由于不堪忍受傳統同行評審的缺陷,決心尋找一種更加快速公正的審稿方式,因此嘗試了一種新的同行評審方式——精選眾包評審(selectcrowdreview),這種方法后來被廣泛地稱為眾包同行評審。他們精心組建了一個評審團體,需要審理的稿件在固定時間內向評審團開放;根據自愿自由的原則,評審團的成員在短時間內進行評審,編輯和主編根據評審意見做出最后的決定。2018年8月,Thieme出版的開放期刊《開放合成化學》(SynOpen),也開始實行眾包審稿。除了化學期刊,一些醫學期刊也嘗試了眾包同行評審,比如《運動醫學國際雜志》(Internationaljournalofsportsmedicine)等[15]。Synlett和SynOpen在實施眾包評審時的流程基本相同,如圖1所示。眾包同行評審的第(1)-(3)步與傳統審稿基本相同,主要對稿件進行初審。(4)-(7)步是關鍵所在,其作用基本等同于傳統審稿中的外審,用眾包審稿代替外審過程。眾包編輯將稿件上傳到在線平臺,并邀請平臺上的專家進行評審,專家們同時收到包括文章名的郵件邀請。眾包編輯預先分配給每位專家一個網名,以便于自己鑒別評審專家的身份,但評審專家相互之間以及他們和作者之間均為匿名,彼此并不知道對方的真實身份。平臺上所有的專家都可以看到相同的稿件版本和所有評審專家的意見,后面的審稿人只需要在前面意見的基礎上進行工作,可以只寫“同意”前面的意見,不需要再把相同的意見重復一遍。后面的審稿人也可以否定前面審稿人的意見并展開討論,前面的審稿人通常會重新站出來捍衛自己最初的意見,但有時也會贊同后面的意見而否定自己原來的意見。這時也往往會有第三第四甚至第五第六名審稿人同時加入討論,結果多數會形成統一的觀點,但有時也會爭執不下,不過各方的觀點都已進行了充分的交流。眾包編輯將最終形成的審稿報告發送給期刊編委,相當于是傳統同行評審的審稿報告。最后編委根據這份報告決定稿件是被錄用、拒絕還是修改。作者收到編委意見,同時也會收到眾包評審的原始匿名意見。

2眾包同行評審的優勢和局限性

2.1節約審稿時間,加快出版速度

Synlett的專職眾包編輯將需要處理的稿件發在審稿平臺上,同時給平臺上所有的審稿專家發郵件,通常情況下4天之內就會有10多位審稿人匿名在平臺上發表意見,討論文章中涉及的新的合圖1眾包同行評審的主要流程成產物。他們會對產品的創新性、分子結構、實驗控制條件、光譜特征等發表意見,并給出接受或拒絕的建議。大約一周后,眾包編輯關閉平臺討論并形成一份正式的報告,提交給相關的期刊編委以便做出最終結論。傳統評審中,完成外審一般需要1~2個月的時間。眾包審稿只需要1周即可以完成,大大縮短了外審時間。傳統審稿程序中,編輯一般要等到所有審稿完成,形成一個比較完整的意見后再通知作者或接受或退稿或修改。但在眾包審稿的平臺,作者隨時可以看到審稿人的意見,能夠實時開始考慮如何修改自己的文章,縮短文章的修改時間,從而縮短審稿周期。與傳統審稿相比,快速是眾包審稿的主要優勢,較大幅度地縮短了審稿周期,作者也可以及時修改,使快速出版成為可能。

2.2防止學術不端,凈化學術氣氛

COPE網站公布的1997—2011年間的664起國際學術期刊論文評審中的不端行為案例中,有32起是關于利益沖突方面,約占總數的4.8%;其中,涉及評審專家的有5起,涉及期刊的有2起,涉及編輯的有2起,涉及作者的有23起[16]。這些利益沖突主要可以分為兩類:一類是由期刊編輯和審稿人等的不當行為所致,一類是由作者本人的剽竊等違規行為所致。可見,在傳統同行評審稿件中,因評審專家和編輯問題引起的學術不端現象時有發生。評審意見不是公開的,也為各種學術不端的滋生帶來了空間。評審人可能因經濟利益或各種社會關系所施加的壓力而濫用權力[17],如果作者的研究成果恰好是審稿人正在從事或打算進行的研究工作,稿件就有可能受到不公正的待遇,某些評審人甚至有可能將論文中的數據或思想據為己有。眾包評審平臺的審稿意見都是公開透明的,所有審稿專家都可以看到稿件,沒有人私自處理,從而降低了審稿人竊取作者學術成果的可能性,較好地防止審稿中的學術不端事件發生。眾包審稿專家如果有不當評論,也會有其他專家指出并提出不同意見。對于作者自身的不當學術行為,已經有不少軟件可以核復率、違規數據和圖表,且相關軟件還在不斷改進中。但如果作者換個說法來剽竊觀點,或者改變圖表的形式,軟件就很難識別出來。在眾包審稿稿中,由于參與人數較多,在發現變相剽竊他人作品、重復變相使用作品的重要部分、通過數字化方式變相利用重要支撐數據等不端行為方面具有更大優勢。一方面,由于眾包同行評審的審稿意見是公開的,使審稿人剽竊作者學術成果的可能性變小;另一方面,由于審稿專家較多,在識別變相剽竊方面具有較大專家優勢。因此,眾包同行評審在防止學術不端、凈化學術氛圍方面可以發揮積極的作用。

2.3評審細致全面,意見客觀公正

傳統同行評審中,一篇論文一般有2-3人擔任審稿專家,審稿人的知識體系多數情況能完全覆蓋論文涉及的全部內容。對于評審人熟悉的內容,可以較快給出中肯的意見。但碰到不熟悉的內容,審稿人自己也需要學習相關知識,很難在短時間內給出有用的建議。眾包同行評審中,平臺上有幾十至上百名專家,每一位審稿人都有自己深入研究的領域,不同的審稿人會從不同的角度來評審文章。他們的意見不僅能指出毛病,還能給出解決方案。比如,傳統審稿中的一句“作者需要提高語言質量”,在眾包審稿中可能變成幾十條具體的建議,幫助作者提高語言水平。如果每個眾包評審人做好自己熟悉的一小部分,每人對整個評審過程貢獻一小部分,那么將所有審稿人的意見湊在一起,就是一篇非常細致入微的系統的審稿意見,對提高稿件質量起到全面而均衡的作用。與此同時,所有審稿人還可以看到其他同行給出的評論,如果個別審稿人弄錯了某些概念,其他人還可以進行糾正,整個評審過程更接近于集體討論。2016年的一項調查顯示,95%的審稿人認為討論式審稿對作者來說很有意義,89%的審稿人認為審稿人之間的討論可以使結果更趨于公平[18]。由于所有審稿人都是匿名的,可以毫無顧忌地反對前面的審稿意見,并展開一場討論。后面的審稿人不可能因為依附權威或其他不正當的原因而同意前面的觀點,真正贊成其觀點才是同意的唯一原因,因此眾包審稿的意見更加客觀公正。

2.4減輕審稿負擔,促進專家成長

相對于傳統審稿,眾包審稿的最大優勢是可以節約審稿時間,減輕審稿專家的負擔。在傳統審稿方式中,由于是編委或編輯部直接邀請審稿人,審稿人往往會礙于情面而被動接受審稿,但又苦于時間緊張常常不能按時完成審稿。在眾包審稿中,由于同時邀請多名審稿人,如果時間不允許,不參加評論沒有任何負擔,審稿人完全可以根據自己的時間決定參加評審的方式和程度。第一位審稿人通常需要花費較多時間,發表較長的評論,后面的審稿人只需要簡單地寫上“同意”,完全不需要重復第一人的觀點,不需要人人寫長篇評論,大大節約了審稿人的時間。同時,其他的審稿人可以把注意力放在第一位審稿人沒有評論的部分,他們完成這樣的評論通常只需要一兩個小時。眾包審稿意見有時只有一兩句話,不似傳統審稿意見一般正式,但不會影響審稿質量。眾包審稿之所以節約審稿人時間,一是不需要所有審稿人對全文進行評論;他們可以自己選擇一部分進行評論,二是后面的審稿人可以簡單地同意前面審稿人的意見,不需要重復同樣的評價。在傳統審稿過程中,不同的審稿人之間完全沒有交流,有時年輕的審稿人對自己的意見不是特別有把握,又苦于沒有更好的渠道了解別人的意見。在眾包評審中,由于各個審稿人可以互相討論,不同意見互相“碰撞”,審稿人可以在討論中快速成長,這對他們作為審稿人和學者都有幫助。來自德國杜塞爾多夫大學的NerndM.Schmidt是Synlett旗下的眾包審稿專家,他認為參與眾包審稿有機會閱讀別人的審稿意見,發現自己忽略的問題,這對其個人成長非常有用。

2.5眾包審稿的局限性

當然,眾包評審也有其缺陷,主要包括:(1)有學者認為眾包審稿意見太過零散,不能完全替代傳統審稿模式,如果眾包內專家的知識結構比較相似,可能文章的某些不足就會成為盲點;(2)對于專業過細的刊物或綜合性期刊,發起眾包審稿可能比較困難;(3)審稿邀請發出后可能會有眾包內無人響應的局面,還需另外邀請審稿人。以上這些局限,可以通過合理構建和管理眾包來改善。

3眾包同行評審的改進措施

3.1建立眾包并充分調動審稿專家的積極性

眾包同行評審不是普通的大眾評審,因此選擇眾包評審專家的首要條件是專業,必須是期刊所在學科的專家學者。眾包專家的數量一般控制在30~100人,同時還要考慮期刊各分支領域專家的平衡組成,眾包內不同專家之間的專業互補非常重要,有助于對稿件全方位評價。Synlett的眾包審稿人主要包括博士后研究人員、助理教授,還有些已經離開學術界在業界供職的資深科學家。雖然各刊因為專業不同,在眾包專家選擇上會有不同的標準,但一個重要的標準是眾包專家的學術水平要基本與外審專家相似,而且要對審稿工作主動積極。眾包審稿與傳統審稿的主要不同就是把“被動審稿”變為“主動審稿”。傳統審稿是“邀請制”,由編委或編輯部根據專業來邀請審稿人。眾包審稿是“舉手制”,由審稿人主動承擔審稿工作。充分調動審稿人的主動積極性是眾包審稿成功的關鍵,可以采取以下措施:(1)選擇眾包審稿專家時可以采取編委推薦和自薦兩種方式。編委多數會推薦自己的學生或同一研究小組人員,他們都會支持編委的工作,自薦的審稿專家多數也會比較主動積極。(2)定期公布審稿人的工作數量和質量,對主要評審人和附議評審人數量實行動態管理。(3)邀請審稿人參加期刊編委會,為審稿編輯創造與編委接觸的機會,提升他們的對期刊的歸屬感。(4)為審稿人提供晉升機會,優秀的審稿人有機會進入期刊編委會,甚至擔任專業副主編。(5)保護好審稿人的隱私,尤其是負面的審稿意見,不能透露審稿人的任何信息,解決審稿專家的后顧之憂。

3.2審稿編輯的職責和工作注意事項

相對于傳統編輯,眾包審稿編輯的工作有一定的特殊性,一是要管理龐大的審稿團體,二是要整合各位審稿人的意見,并對稿件形成初步的意見向編委匯報。眾包審稿編輯的工作主要包括:(1)給審稿專家進行編號或者分配一個專用審稿名,不能用審稿專家的真實姓名,也不能用他們在的社交媒體使用的化名或昵稱,所有審稿專家必須完全匿名,不能透露他們的真實姓名和身份,這樣才能保證審稿意見的公正性,沒有權威的干預和影響;(2)在審稿中要時刻注意平臺內容,對于發表不當言論的審稿人要立刻給予警告甚至撤銷其審稿人資格;(3)在審稿結束后,需要將原始審稿意見制作成PDF文件,將審稿人標注過的原始稿件制作成新的PDF文件,將所有審稿意見進行分類梳理,最后根據審稿人的討論形成一個初步的意見;(4)要注意記錄每位專家的參與積極性、發表評論的次數和質量,以便實行動態管理;(5)還要學會如何處理過多的審稿意見,Synlett主編認為,編輯需要輔助作者合理修改以提高文章質量,但編輯注意不能給作者太大的壓力,要幫助作者優先關注最重要的意見進行修改。審稿編輯要學會幫助作者識別主要意見來修改文章,不能要求每條都回應。審稿編輯的工作還有一點必須特別注意,即每篇文章準備開審時把作者邀請進眾包,結束時注意把作者移出眾包,這樣才能既方便作者與審稿專家直接對話,又不會影響眾包的完整性與純粹性。

3.3在線眾包審稿平臺的選擇與條件

眾包審稿必須通過互聯網組織實施,因此審稿平臺的選擇非常重要。Synlett使用的平臺是Filestage,輸入郵箱即可開通。對于眾包同行審稿來說,其好處是多名來自不同地域的審稿人可以同時工作,而且具有較好的封閉性,其他無關人員不能隨便加入,這是一款比較理想的眾包評審軟件。我國多數期刊建立了微信群或者QQ群,二者都可以設置為拒絕圈外人加入,封閉性均較好。但是無論是微信還是QQ,雖然每人可以在不同的群中設置不同的昵稱,但別人點擊后都可以看到其他信息,保密性不夠嚴格,而且每人只能有一個頭像,熟悉的人員有可能通過頭像猜測到對方的真實身份。因此,不建議使用微信群或QQ群等常用社交媒體來直接作為眾包審稿的平臺。如果每位專家能夠使用一個專門用于審稿的微信或QQ賬號,目前的騰訊文檔具有共享功能,可以供多人同時編輯,基本可以滿足眾包審稿的需求。對于經費相對比較充裕的期刊,也可以考慮開發一款避免透露眾包專家信息的小程序。

3.4與原有審稿平臺和審稿程序的對接

我國中文科技期刊目前多數使用瑪格泰克審稿平臺,而英文科技期刊的平臺則各不相同,使用ScholarOne和EditorialManager的期刊比較多,也有使用英文版瑪格泰克或其他軟件的。這些平臺目前都不具有眾包審稿的功能,但均可與眾包審稿相融合。具體建議如下:在完成初審進入外審時,外審階段建議系統中統一使用CrowdReviewer來充當審稿人,審稿編輯整理好眾包審稿意見后,以CrowdReviewer的身份將審稿意見上傳到審稿系統,這時負責的編委和主編就都可以看到審稿意見。編委一般會根據審稿意見請作者修改文章,修改稿不建議重新進行眾包審稿,建議通過原有審稿系統邀請1-2名核心審稿人復審即可,否則有可能會產生太多的意見,又開始新的一輪眾包評審,審稿人和作者的工作量都會成倍增加。如果有些期刊覺得直接采取眾包審稿有困難,但希望提高審稿速度,也可以采用眾包輔助審稿。編輯部事先建立好審稿人眾包,編委或編輯部在送外審前先在眾包中征詢合適的審稿人,這樣就可以有的放矢,避免多次送審,提高效率。這種眾包只是在傳統同行評審前加了一個步驟,既可以保證評審質量,又可以提高審稿效率,是傳統審稿的一種補充和完善。

4我國科技期刊實施眾包同行評審的可行性與關鍵

《中國科技期刊發展藍皮書(2020)》指出:2010—2019年,中國作者發表的SCI論文數占全球SCI論文的18.06%。總數達到275.5萬余篇,其中2.2萬余篇發表在中國SCI收錄期刊上,僅占總數的8.10%。造成這一現象的原因是多方面的,除了評價機制,中國科技期刊的發表周期較長也是重要原因之一。[19]《中國臨床藥理學與治療學》編輯部對148名藥學領域的作者調查,70.27%的作者認為目前同行評議最大的問題是評審周期過長。[20]審稿周期偏長是我國多數科技期刊面臨的問題,改革審稿制度具有一定的緊迫性和必然性。眾包審稿最大優勢是縮短審稿時間,同時還能提升評審質量,對提高我國科技期刊提高服務效率具有一定的意義。我國多數科技期刊采用編委或編輯部初審—外審—終審的審稿制度,眾包同行評審主要是代替其中的外審環節,可以較好地與原有審稿程序融合,不需要從根本上改變審稿制度,具有易于執行的優勢和良好的發展空間。主編是期刊的靈魂,主編的辦刊思想和理念,影響著期刊的方方面面。只有主編重視審稿制度的改革,眾包審稿才有可能實行。一般來說,主編是期刊所在行業的領軍人才,而編委則是各分支行業的重要專家,主編和編委均在行業中具有重要的影響力。只有主編重視,編委積極配合,發揮他們在行業中的影響力,才會有更多的專家愿意加入到眾包中來,進入眾包中的專家才會更有主動性和積極性,更加愿意為辦好期刊付出精力和時間。因此,一本期刊要想改革審稿制度,主編的大力支持是關鍵,編委的積極配合是保障。