知乎日報:做學術期刊的審稿人是怎樣的體驗?
經濟專業,也來説説審稿的一些體會吧。
1. 所謂雙盲單盲其實只是徒有其名而已,實際上就是單盲——也就是審稿人知道文章是誰寫的,但是作者不知道是誰審的稿。 別的行業我不清楚,但是經濟類的文章,大家在工作論文階段就已經貼到各大論文庫或者自己學校的網頁上了,比如 SSRN,所以只要 Google 搜索一下,想知道誰是作者不難。
2. 為什麼審稿人會比較挑剔,這個其實只是説明審稿人是符合激勵理論的。即便審稿人完全能夠判斷論文的質量,但是因為如果選擇了讓作者修改,那麼修改之後基本上還是自己審稿,而第二次審稿是沒有金錢乃至於非金錢報酬的(第一次審稿一般也沒有金錢報酬,但是你會傾向於接受因為你可能想給編輯一個良好的印象,有助於自己發文章,但是接受了之後,第二次審稿只是第一次審稿的自然後續,激勵明顯不足),所以當文章可發可不發的時候,理性的審稿人會選擇拒絕(拒絕了明顯該發的文章是有風險的,因為編輯一般水平都不錯,編輯會覺得你這個人不靠譜,從而損害自己的信譽;而可發可不發的,拒絕掉沒有風險,然後節省了自己的負擔)。所以有些時候真是要希望審稿人不那麼“經濟人”。
3. 其實審稿人是誰,作者有時候也是可以猜的。我有次接到過一個非常負面的評價,我看了之後就知道他是誰了,因為在一次會議上,他也是很不喜歡這篇文章,提的問題幾乎就和我接到的評審意見原封不動。投稿落到他手裏審,我也是自認倒楣。所以如果之前評論過自己審的文章而不想被猜出來,就別和當初提的意見寫的一樣。
4. 如果編輯和自己熟,審稿意見可以寫的自由一點,突出重點即可。如果編輯和自己不熟,只是第一次合作,一般來説在開頭聲明自己的研究領域是一個受歡迎的行為,這也給編輯一個信號,讓他知道你的意見主要和哪個方面有關。比如説:“我的領域是 XXXX,我主要就 XXX 方面提出自己的意見”等等。 一般沒什麼突出問題的,我會寫 word 的 3 頁左右,我感覺這是一個比較體面的字數和頁數,對審稿人來説,評語不僅僅是寫給作者看的,更重要的是給編輯看。這是為什麼 junior 喜歡寫很多很細緻的意見,而 senior 喜歡“言簡意賅”背後的激勵因素,因為 senior 不那麼在乎編輯的印象。所以等什麼時候自己能做編輯了,再給人半頁紙的評語吧^_^
5. 被拒和被錄都有可能被邀請審稿。並且有時候開會碰到某些雜誌的編輯,會後聊天他記住你的領域了,也會在之後某一天邀請你審稿。
6. 文章的質量確實千差萬別,有些文章我會納悶為什麼他們敢投…… 有些文章我會覺得投虧了,應該可以發到更好的雜誌。對於前者直接拒掉,或者重度修改外加暗示性的拒絕,後者選擇輕度修改或者直接接受。
7. 審稿後,會對投稿的畏懼心理小一些。我過去的一年大概審了同一個雜誌的 4-5 份稿件(該雜誌在相關領域還可以,屬於國內分類的 B,second tier field journal),基本上全都拒了。真不是我挑剔,我是很想發掘亮點給過的,但是有些錯誤確實太觸目驚心,那都不是什麼“你的創新點在哪裏啊?” “你對 XX 的定義不清晰”這種大路貨式的問題,是在根子上直接用一種很扭曲的方法去建立了一個很扭曲的模型,然後得出一個反常的結論這種,給過就沒天理了。所以我就得出三個結論:要麼編輯是專門給我爛稿讓我審,要麼是我這個領域投這個雜誌的都是爛稿,要麼就是平均投稿水平就這樣,所以撐起來了 10% 左右的錄取率。想來應該是第三種可能性較大。
周博磊,MIT博士在讀, AI方向。
入坑許多年,在計算機視覺和機器學習方向,作為邀請審稿人審了大概 80,90 篇論文投稿,各種檔次的會議和雜誌都有(好的如 TPAMI, IJCV,CVPR 等等)。我來談談我的心得體會。
首先,審稿本身對於審稿人是件吃力不討好的事。目前絕大多數的審稿是無償審稿,研究者出於學術職責,更好地服務於學術社區,而接受 editor/area chair 的審稿邀請。我在審閲一篇跟我研究方向一致的論文的時候,大概會前前後後花 4-5 個小時。而當倖幸苦苦謄寫完 r 審閲意見的時候,還是匿名提交(double blind or single blind)=,=。所以作為論文審稿人,在審稿過程中並沒有任何物質回報,還出於義務花費了自己的大量時間,在此向廣大期刊和會議審稿人致敬:)。
我自己所在的計算機科學的人工智能研究領域,更重視頂級會議論文,如 CVPR,ICML 等。審閲這些頂級會議的論文往往要比審閲期刊投稿有意思,因為投稿這些會議的論文都一般是最新研究工作,審閲人可以比常人更早的看到這些工作。不過,這個更早看到最新研究工作的優勢也隨着最近大家一投稿就放 arxiv 的趨勢抹去了。這些會議論文審稿都是 double blind,就是審閲人和投稿人都不知道對方是誰。審稿過程中還會有 rebuttal 階段(作者根據接收到審稿意見後進行反駁和進一步解釋的過程),以及審稿人之間的討論和最後投票階段,這之中有些時候會變得挺有意思。比如説,在最後審稿人討論階段,當兩個審稿人之間對於這篇論文意見出現分歧的時候,有時候他們會爭鋒相對地 fight for or fight against 這篇論文,產生一些蠻有見地的學術爭論,而 area chair/editor 會作壁上觀,根據這些學術爭論來最後定奪是否接收這篇論文。不過,很多時候審稿人只會根據少數服從多數的原則,對一篇論文接收和拒絕與否達成共識。
目前審稿過程中,我覺得最重要的一個問題是 conflict of interest。一般來説,area chair/editor 在分配論文審稿任務的時候,會將跟審閲人研究方向一致的投稿論文分配給該審閲人。比如説,我自己以前做過視頻行為分析,目前做場景理解和深度學習方向,那麼我每次收到審稿任務基本都是這兩個方向的。很多時候,審稿人自己也在這個會議這個方向有論文投稿。那麼,審稿人自己投稿的這篇論文跟這個同一個方向的論文審稿造成了 conflict of interest。雖然這兩篇論文會被不同的審稿人審閲,但審稿人自己有了難以避免的偏見。審稿人在審閲論文的時候大部分時間是在對論文’找茬‘,即努力尋找該投稿論文的不好之處,而不是尋找論文的好。這其實也無可厚非,只是想提醒廣大投稿者:審閲人其實是’殺手‘,投稿之前請儘量把論文封裝得無懈可擊,不要給審閲人留明顯的攻擊漏洞.另外,審稿人在審閲論文的時候,一般都會假設作者是誠實地實現了論文裏面的實驗結果,審閲人本身並沒有義務去實現論文裏面的方法.這一點也有個別不誠實的研究者鑽空子,比如説今年 ML 圈子裏鬧得沸沸揚揚的 NIPS'16 論文 SARM 撤稿事件(https://arxiv.org/pdf/1608.04062v2.pdf),我就只能呵呵了.
現在 AI,CV 等研究方向非常火,論文投稿數量極度增加(比如説今年 CVPR 投稿 3000 多篇,4,5 年前我記得只有 1000 來篇),這導致的一個嚴重問題是合格的審閲人數量不足。一篇論文得有 3 個審稿意見,3000 篇論文就得有 9000 個審稿意見,假設每個審稿人可以審閲大概 6 篇論文,還得去找 1500 個合格審閲人,這是非常困難的一件事。合格審閲人不足的一個直接結果是錄取的會議論文質量會受影響。今年 NIPS 的審稿過程就挺亂,錄取的論文質量也是參差不齊,我就不多吐槽了。以後的投稿者,也將繼續面臨審稿意見的方差很大的問題。
最後,我再分享幾點獨立於論文內容本身的建議:
1.跟相親似的,審稿人對論文的第一印象非常重要.圖表弄漂亮些,錯詞少一些,語句流暢些,對審稿人是基本的尊重,這都是通過多花時間可以達到的.
2.論文排版能用 latex 就不要用 word. latex 上手可能慢一些,但是掌握之後就再也沒法直視 word 排版出來的論文了.這裏有個比較好的 latex 入門:<不太簡短的 latex 教材>(http://www.mohu.org/info/lshort-cn.pdf).其實快速掃一遍,然後下載個好的 latex template 直接往裏面填東西,邊用邊學就好.寫 latex 比寫 python 還容易.
3.做圖表能用矢量圖就不要用標量圖.pmatlab 可以導成 eps 或者 pdf,這樣就是矢量圖了,放大多少都不會失真.我審稿時凡是看到標量圖的圖表,該論文檔次就會下降一格.
補充:
1. 有同學問到雜誌論文審稿意見下來之後如何寫回復(response to reviewers)。這裏一個原則是,如果收到的意見時 major revision 及以上,認真修改論文以及事無鉅細並且平和地回覆審閲人每條意見,論文最終基本都會被接收。其實説到底就是跟審稿人磨洋工,每個問題都回答了,磨到審稿人説可以了,論文就接收了。
2. 審稿人偷 idea 的問題。很不幸,林子大了什麼鳥都有,這種事情難免發生。嗯,全靠審稿人的修養了。
3. 多謝建議,已修改一些英文字詞。