录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

经历了审稿过程延长,允许一稿多投和撤稿的ICML 2020 终于迎来了开奖!

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

这届会议一共判了4990份“试卷”,1088位作者成功拿到了入场券。相比去年774篇收录,3424份提交申请,以及22.6%的接收率,虽然在录取的“绝对数量”上面有所增长,但是分母的增长,也带来了录取率的下降。

收录文章的完整列表,以及论文领域分布尚未在官网放出,所有结果只是给作者单独发了邮件。不过根据去年论文数量排名前五的公司:谷歌、谷歌大脑、微软、DeepMind、Facebook,预计今年还是这五个机构相互掰手腕。 

经历了评审延期和“放榜”延期 

本届ICML于3月底完成初步审稿环节,4月9日投稿人收到 Review 的日期,今日(6月1日)放出最终结果,这比往年的发布日期延迟了整整一个月。为了减少最终结果延期所带来的影响,ICML 也在投稿政策中添加了:允许一稿双投、允许撤稿两个规则。

其中,一稿双投的前提是你要提交的地方的论文提交截止日期在2020年5月9日(原始通知日期)之后;允许撤稿是作者可以在到审稿过程结束之前的任何时间撤稿,然后再提交给其他地方将不会视为违反一稿双投。

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

图注:ICML 2020审稿人指南

正如ICML之前在官网中所说的那样:“我们正在努力确保你至少获得三个高质量的review,但请你在此困难时期耐心等待。”确实,相比 ICML 2019 千奇百怪的拒稿理由,今年的ICML 2020 在知乎上和reddit上关于审稿的“吐槽”,都相对平静了许多。

例如,在知乎上,作为ICML 领域主席之一的@陈林也提到:他审核的每一篇文章都认真看了一遍,甚至还捞起来了一篇争议比较大,但是想法比较新颖的文章。而之前在reddit上一位审稿人也曾表示,即使对于没有写完的论文,他也要花费6-7个小时甚至10个小时以上来审阅一篇这样的稿件。

确实,ICML作为国际机器学习大会在一些学者心中的地位很高,不仅因为它是所谓的顶会,更因为它在论文评审方面所做的一些开创性的工作。比如去年率先提出要提交代码,今年又率先提出要规范实验步骤,这些举措让大家看到了,它的确是这个领域的引领者。       

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

越来越规范的审稿制度和投稿规范要求,直接表现在录取率逐年下降上面。如上图所示,只有21.80%的录取率已经是连续四年下降的结果。 

顶会趋势:投稿量逐年递增,录用率逐年下降 

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

图注:5大会议投稿数量趋势图

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

图注:5大会议加总之后,会议录用率趋势

不光是ICML,如上图所示,其他的人工智能顶会如IJCAI、AAAI、CVPR的录用率也有逐年下降的趋势,这意味着投稿一些顶级会议越来越难被接收。主要原因是投稿数量逐年增多,竞争激烈,同时录取比例也在降低。

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

图注:论文投稿数量加总之后的趋势

但是从上图,我们可以看出,在假设NeurIPS 2020投稿量达到8000篇的时候,似乎会出现一个小的拐点。虽然在2017年的时候,NIPS程序主席笑称注册参会者将会超过全球人类数量,但事实是搞AI科研的人数总是那么多,在增长到一定幅度之后,就会达到饱和。

什么时候会达到峰值呢?我们大胆猜想2020年或会是个拐点,毕竟今年大家普遍认为,论文发表的数量已经不是太重要,还是“质量为王”。       

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

图注:CVPR会议录用汇总以CVPR为例,作为计算机视觉领域的顶级学术会议,2020年共收到了 6656 篇有效提交论文,共接收了 1470篇论文,接收率接近 22%。

虽然是第二次接收论文数量超过一千篇,但对比 CVPR 2019,其论文接收率 25%,1300的接受量, 2020年的22%算是三连降了。

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

图注:AAAI会议录用汇总AAAI 2020 录取率只有 20.6%,数量为1591篇,虽然收录率比去年的 16.2% 高出了四个百分点,但是相比2018和2017 却低了很多。

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

图注:NeurIPS会议录用汇总NeurIPS 2020截稿期尚未结束,观察之前的数据发现,虽然近几年接受率稳定在20%左右,但相比投稿量的增幅,录用率还是保守了。

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

 图注:ICLR会议录用汇总ICLR录用率则是四连降,从2017年的40.4%的论文接受率到2018年的35.9%,再到2019年的31.55%,最后2020年的录用率是26.48%。相比投稿数据的逐年成倍数的递增,与接受率形成鲜明的对比。

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

图注:IJCAI会议录用汇总

IJCAI作为一直是、仍然是,并且估计仍将持续是AI领域的顶会,最初两年一届的召开频率一度认为比AAAI更难。如上图所示,IJCAI 2015年之后虽然改为每年一届,但是接受率越来越低,今年更是达到了12.6%。

今年ICML 各位同学战绩如何呢,欢迎在留言区分享哦~

(雷锋网)、(雷锋网(公众号:雷锋网))、(雷锋网)

雷锋网原创文章,未经授权禁止转载。详情见转载须知

录取率四连降!经历了评审、放榜双延期的 ICML 2020,评审质量有变好吗?

(完)