國家自然科學基金委發文討論同行評議與項目遴選標準

內容來源：時代學者整理自中國科學基金（僅轉載，不代表本號觀點）

2024年，國自然醫學科學部在中國科學基金發表了一篇題為《國家自然科學基金面上項目的遴選標準及其規范化探討》的文章，其中詳細討論了基金項目中同行評議意見（文字評述和評議結論）與遴選項目關系，時代學者摘錄部分內容如下：

基金項目的同行評議意見包括文字評述和評議結論兩個組成部分。文字評述是評審專家依據自然科學基金委針對不同項目類別設置的評審標準所提供的文字意見，主要從項目的科學性、創新性和可行性等方面進行專業評價，這既是提供給項目管理者做科學決策的重要參考,也是申請者接受管理機構對其申請做出最終決策的專業解釋,同時也是申請者了解同行對自己所開展研究的專業評價的最好途徑。評議結論是評審專家在基于對所評議項目文字評述基礎上對項目的科學價值的最終表態，也是管理者做出科學決策的重要依據。基金項目同行評議意見中的評議結論包括項目的“綜合評價”(分優、良、中、差四檔)和“資助意見”(分優先資助、可資助、不予資助三檔)兩個方面。項目管理者遴選項目時雖會全面考慮同行評議中所提供的各種信息,但主要還是基于同行評議中的評議結論。不同科學部或學科間的遴選項目的做法存在差異：有的依據“綜合評價”，有的依據“資助意見”，有的依據對“綜合評價”賦值后換算而來的“平均分”,有的依據對“綜合評價”和“資助意見”同時賦值后得到的“平均分”。遴選標準的差異是否會影響項目的遴選結果,或者說在項目遴選環節是否因此而產生不公正,是一個值得深入探討的問題。采用定性的評議結論“綜合評價”或“資助意見”為標準進行項目遴選,匯總各項目不同評審專家給出的評議結論所形成的評議結果，在不同的項目之間不容易進行比較，即使評議結果相同也并不意味著項目間的優秀程度相同;同樣地，即使評議結果不同也并不意味著項目間的優秀程度如同評議結果體現出來那樣存在那么大差異。原則上，評審專家的文字評述與評議結論之間理應具有邏輯上的一致性，但由于評審專家在評議標準把握尺度上存在的差異,可能會導致評審專家給出的文字評述與評議結論之間，存在邏輯上不一致的現象。

自然科學基金委的評審系統中已將“綜合評價”為“A(優)”與“資助意見”的“A(優先資助)”相關聯,“綜合評價”為“B(良)”與“資助意見”的“A(優先資助)”或“B(可資助)”相關聯,“綜合評價”為“C(中)”或“D(差)”與“資助意見”的“C(不資助)”相關聯。即便如此，評議結論“綜合評價”與“資助意見”之間依然存在不一致,所有這些不一致現象無疑將給管理者遴選項目帶來困惑。

目前自然科學基金委主要有三種遴選項目的方式：“方式一”以“資助意見”為主，同時參考“綜合評價”和文字評述；“方式二”對“綜合評價”賦值，同時參考“資助意見”和文字評述；“方式三”對“資助意見”與“綜合評價”均賦值，同時參考文字評述。

本文針對醫學科學部3個學科2021年共受理的3400份面上項目被遴選上會的結果進行統計分析。每項面上項目均送審3位函評專家，項目的“綜合評價”分四檔，即a(優)、b(良)、c(中)和d(差)，“資助意見”分三檔，即A(優先資助)、B(可資助)和C(不予資助)。學科采用“方式一”進行項目遴選。我們將通過“方式一”所得到的遴選結果按其它兩種遴選方式進行排列,考察“方式一”項目遴選結果在另兩種遴選方式中發生的改變,以了解遴選方式對項目命運帶來的可能影響。

方式一：

項目遴選過程中只以“資助意見”為唯一遴選標準而不參考“綜合評價”和文字評述,顯然不夠全面和公平,因為“資助意見”為AAC和ABC的項目中有部分項目的文字評述甚至好于獲得全部同意資助的項目。“資助意見”為BBB、AAC和ABC的項目,在不同學科被遴選上會的概率相差較大,雖說這與學科推薦上會的百分率(自然科學基金委一般建議為資助指標的130%~160%之間)有關，但是,由于項目管理者在遴選項目時需要考慮的因素較多,因此,在把握遴選標準尺度方面存在差異是必然的。

方式二：

由于“項目平均分”、“綜合評價”和“資助意見”不能一一對應,項目管理者遴選項目時不得不既要考慮項目的平均分,也要考慮項目的“資助意見”“綜合評價”和“文字評述”,這必然導致因項目遴選者不同而對項目遴選結果產生差異,或許這是遴選過程不規范的主要原因。表2表明,具有相同“平均分”對應不同“綜合評價”的項目之間,項目被推薦上會的百分率存在差異,甚至“平均分”與“綜合評價”均相同但對應不同“資助意見”的項目之間,項目被推薦上會的百分率也存在差異。此外,在不同的學科領域之間,相同的“平均分”項目被推薦上會的百分率存在較大差異,這與“方式一”中的項目遴選情況類似。

方式三：

在平均分相同而“綜合評價”不同的項目間,項目被推薦上會的百分率存在差異;在平均分與“資助意見”均相同而“綜合評價”不同的項目間,項目被推薦上會的百分率存在差異。在不同的學科領域間,部分相同的平均分項目被推薦上會的百分率存在較大差異,這與項目遴選“方式二”中情況相同。

對“資助意見”的兩種不同賦值方式在項目遴選時并未產生太大的差異,具有較多的分數檔賦值方式可能會給項目管理者遴選項目帶來一些方便。

由于同一學科領域同一項目類別往往受理項目數量較大,且匯總后的評議結果種類或平均分檔有限,因此必然有許多項目匯總后的評議結果相同或平均分相同,無論采用哪一種項目遴選方式,要想從眾多評議結果相同的項目中遴選出優秀的項目,需要同時考慮除遴選的主要標準外 的其它方面。除“平均分”外,“資助意見”“綜合評價”和文字評述均屬于定性評議,項目管理者遴選項目時無論采用“方式一”“方式二”或“方式三”,都必須同時考慮多個定性評議結論,遴選結果會因項目遴選方式不同而不同,也會因遴選項目的管理者不同而不同,這說明項目遴選過程中存在不規范問題。要實現項目遴選的規范化,項目的遴選標準應具有唯一性,即不能同時存在兩個或以上的標準。目前的平均分、“綜合評價”和“資助意見”都是遴選標準,且以其中某一個為主要遴選標準所產生的遴選結果間存在差異,因此統一項目遴選標準十分必要。