作者 |蔣寶尚
編輯 | 叢 末
今日，神經信息處理系統大會NeurIPS在Medium官方賬號發佈了文章《Reviewing is Underway!》，對今年的投稿情況和審稿流程進行了説明。
文章中提到，今年的NeurIPS投稿數量比2019年增長了38%，這又是AI研究蓬勃發展的一年。具體而言，一共收到了12115份摘要，但隨後提交完整的只有9467份。另外還有184篇論文有違規行為：被作者撤回、非匿名提交以及論文篇幅超過最大頁數等。
其它“遵守紀律”的論文都已經分配給了領域主席以及Senior領域主席，這兩類主席在對這些論文簡單的瀏覽之後，進行了初步判斷：佔總數 11% 的論文被直接拒掉，其他89%的論文分配給了合適的審稿人。值得一提的是，這89%對應的具體數字8186。另外，文章中還強調，這直接被拒掉的11%的論文，將不會再次接受審閲。
今年NeurIPS的論文提交流程主要有三個日期節點，它們期間間隔兩週多。三個節點分別是：1、提交摘要；2、完整的論文和完整的作者名單；3、補充材料。在這三個節點中，同行評審平台CMT都很給力，作者在提交的過程中幾乎沒有遇到任何技術困難，當然，也不能如此絕對，例如要求合著者在CMT上註冊，要求提交“更廣泛的影響”，要求單獨上傳補充材料，這些都產生了一些小問題。但總的來説，提交過程進行的非常順利。
今年的論文主題分佈也有所變化，算法佔比29%，深度學習佔比19%，應用佔比18%，強化學習和規劃（planning）佔比9%，理論佔比7%，概率方法佔比5%，機器學習的社會方面（ Social aspects of machine learning）佔比5%，優化佔比5%，神經科學和認知科學佔比3%。與2019年相比，深度學習和應用領域的論文略有下降(均下降了2%)，而機器學習的社會方面有所增加（增加了3%）。
找到足夠數量的合格審稿人非常重要，今年在這方面的政策有兩個變化：1、審稿人可以推薦和提名；2、直接從論文的作者以及論文的聯合作者中選擇審稿人。最後根據論文發表情況、審稿經驗、學科領域等信息，組委會“選拔”了7800名合格的審稿人名單，其中2400人來自今年的投稿作者。7800名審稿人看似極大的增強了論文審閲能力，但許多審稿人只分配了2篇或者3篇的額度，還有一些審稿人只有一個領域的專業知識，這兩種情況的都限制了分配審閲論文的能力。每一篇論文都會經過三位審稿人，一位領域主席的“批改”。為了提升分配質量，需靠考慮的因素包括學科領域相似度、出版物的相似度、審稿人的偏好。但是同時也考慮審稿人和領域主席是否存在利益衝突。因此，組委會努力確保每個人在論文匹配系統(TPMS)和OpenReview上都有最新的賬户，完整地記錄了他們的利益衝突信息。另外。組委會還設法自動為審稿人分配論文，今年平均親和度得分(綜合考慮TPMS和OpenReview的指標)為0.74，比2019年高出近10%。
在過去的三週中，組委會指派領域主席和Senior 領域主席承擔“直接拒絕”的任務。其中領域主席識別可能被拒絕的論文，Senior 領域主席反覆核對這些論文。因此，每一篇被直接拒絕的論文，都有兩位資深的專家“簽字”。值得一提的是，為了降低偏見，這兩位專家是看不到論文作者的信息。總體而言，領域主席和Senior領域主席做的非常出色，他們在不到三週的時間裏審閲了9000多份論文，另外，領域主席和Senior領域主席還為作者提供了一套標準化的拒絕原因(例如，不清晰、超出範圍)等。此外，在收到的“拒絕建議”中，超過一半還提供了簡短的特別反饋，進一步解釋了拒絕的原因。直接拒絕有利有弊，有很多地方可以改進。
“直接拒絕”除了減輕了審稿者的負擔外，還能夠讓領域主席和Senior領域主席更加熟悉分配給他們的論文，為他們隨後“領導”審稿人提供幫助。
此外，直接拒絕的壞處是，這些論文的作者幾乎沒有得到什麼建設性的反饋來改進他們的論文。另外，需要注意接下來的幾個時間點：1、在2020年8月7日之前將審查結果通知作者；2、這之後，程序委員之間將有個討論期，8月底由領域主席提出初步建議；9月，開啓校準階段（calibration phase），先對每個學科領域進行一次校準，最後的校準將審查所有領域的整體論文情況。預計將在9月底之前將是否錄用的結果通知作者。
（雷鋒網）、（雷鋒網）、（雷鋒網）