温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

这届NeurIPS里有哪些变与不变?

发布时间:2020-08-09 12:18:24 来源:ITPUB博客 阅读:127 作者:naojiti 栏目:互联网科技

今年的第33届神经信息处理系统大会(NeurIPS 2019),来得似乎比往年都要猛烈一些。

首先是参会人数急剧增加。2018年的参会人数达到9000人左右,这已经让主办方开心得合不拢嘴,没想到的是今年则直接来到了13000人,比去年猛增40%;而申请抽奖的人数则更是达到了15000人,NeurIPS官网甚至因此而一度瘫痪。

其次,则是论文大丰收。论文投稿量达到6743篇,较去年的4856篇增加了近40%;收录论文1429篇,较去年增加了41%,论文收录比例在21%左右。无论是投稿数量还是论文收录,均刷新了历史纪录。而与之相比,同样为AI顶会的ICML只有3424篇论文投稿,最终收录774篇,投稿和收录数量均只有NeurIPS的一半左右。

这届NeurIPS里有哪些变与不变?

大会召开期间,随便在社交网站上去搜索关于NeurIPS的关键词,随处可见被其收录一篇论文成为相关专业同学的最大梦想。

所以,今年如果谁还再次大放AI寒冬的厥词,不说别的,只要把NeurIPS的数据一扔,就能啪啪打脸了。

当然,各方面数据的光线亮眼也只是大会的一个方面,我们更加看重的是,从这次大会的结果,能不能看出一些关于AI的玩家变化和旗帜方向?那么,今天我们就抛弃冷冰的理论自研和复杂公式,去看一下这届大会较以往,存在哪些变与不变?AI在现实世界中又有着怎样的发展趋势?

不变的是玩家:万年的流水,铁打的谷歌

相信不用说读者朋友们也能猜到,今年的NeurIPS又被谷歌给霸榜了。

谷歌在各种AI学术顶会上霸榜大家也已经见怪不怪了。相较于去年的137篇论文,今年的谷歌收录论文来到了180篇,增加了接近31%,增长速度十分稳定,这也大大增加了其他机构单位的追赶难度。更何况还有一个不计成本养着炫技的Deepmind,谷歌这个秀儿恐怕还要接着享受很长一段时间身为王者的孤独。

工业界能与谷歌掰掰手腕的大概只能属于微软了,今年表现也不错,入选76篇。

而美国学术三强的实力仍然不俗,麻省理工入选86篇,斯坦福则以85篇紧随其后,比起去年落后11篇已经进步很大,这也反映出斯坦福这一年在人工智能领域的孜孜求进;CMC则入围79篇,无愧于名列美国学术三强之列。

此外,伯克利、facebook、普林斯顿、IBM等6位玩家均有超过40篇论文入选。前十席中美国的大学和企业占据了8席,留下第9和第10给了英国的剑桥和牛津。

这也启示我们,当面对各种看衰美国的声音和分析、心态有点飘了的时候,还是得看看这些研究数据:美国的科研实力独自一档,这是未来几十年都难以发生大的变化的现实。认清现实,方能按部就班地追赶。

这届NeurIPS里有哪些变与不变?

当然,中国今年的表现也很亮眼。工科王者清华入选33篇,总排名来到了第13,北大入选23篇,中科大、浙大、香港中文大学、复旦等大学也各有斩获。企业方面,腾讯、阿里、百度、华为也均有不俗的表现。遗憾的是,与去年华为方舟实验室摘得最佳论文之一相比,今年最佳论文则没有了中国的身影。当然,最佳论文实力是一方面,运气也是一方面,只有我们整体实力提升了,最佳论文也是一件水到渠成的事情。所以也再次期待中国军团能在以后的会议中在论文的数量和质量上都能再次跃迁。

此外,NeurIPS官方数据还提到,本次提交论文的女性作者总体比例来到了13%,女性群体正在作为一只不可或缺的重要力量越来越多地参与到AI与世界的变革当中。

变化的是标准:“水文”多了,审稿也严了

会议越办越火,投稿越来越多,不一定是件好事,今年的论文光是评审意见,NeurIPS委员会就给出了20000篇,审稿人简直是忙到头秃,甚至一度在今年夏天被人诟病审稿“太水”。

其实也完全可以理解。毕竟在NeurIPS2019论文投稿和录用数量剧增之下,难免会有大量的“水文”出现,改改模型、加几个数据想蒙混过关的不在少数。在这种情况下,今年的论文审稿则与往年相比发生了一些新的变化。

比如评审委员会鼓励论文研究的创造力。其中特别强调要要以创造性的新方式去看待问题,在这种研究前提之下,可以得出一个能真正让读者感到惊讶的结果。这传达出论文的可读性的方向。此次获得“杰出新方向论文奖”的《Uniform convergence may be unable to explain generalization in deep learning》,由卡耐基梅隆大学、博世人工智能中心的Vaishnavh Nagarajan和J. Zico Kolter共同完成,呈现出部分深度学习研究者的成果存在夸大的问题。换句话说,它毫不留情地揭开了一些研究者的研究成果中对的虚假外衣,可以让读者乃至普通人都可以更客观地保持对深度学习效果的认知。

这届NeurIPS里有哪些变与不变?

又比如要求论文尽可能不过分强调理论的重要性或者意义,而更加重视其现实针对性。或者说,要有一定的问题指向。这也一定程度上和人工智能的产业化实践愈加深刻的现实相贴合。

同时,评审委员会明确表示不三种论文:第一是“资源密集型”的论文研究,即动用了大量的资源得到的成果;第二是明明可以以一种快捷有效的方法得出结论,却偏偏选择了曲折迂回的“旁门左道”,或者称之为“炫技”;第三则是强调论文的简化,即能做到简明扼要地表达,就尽量缩短篇幅,纵观本届大会的优秀论文,很多篇幅都不超过10页,和动辄几十页的让人读倒头大的“水文”相比,简直不要太良心。

总之,林子大了什么鸟都有,今年NeurIPS论文数量的急剧增加引起评审委员会对质量的把控而对审稿标准进行修改,也是情理之中的事情,对保持会议收录论文的权威性是个明智而必然之举。

趋势是应用:算法愈受青睐,实践成为标的

从整体上来看,算法、深度学习、应用三个领域的论文成果占据着前三甲,这与往年相比并未发生太大的变化。然而三个领域自身却有些微妙的变化,从中或许也可以看到当今AI研究的一点趋势。

变化较为明显的当属算法研究。算法研究领域的论文在2018年提交占比接近25%,2018年则增加到27%左右;录取占比2018年约为21%,2019年则达到28%左右,是所有研究领域当中无论是论文提交数量还是最终录取都呈现增长的领域。

这届NeurIPS里有哪些变与不变?

与之相比,有关深度学习的论文数量占比无论是提交还是最终录取,其均呈现出一定的下降趋势,虽然这个趋势并不明显。而应用研究领域在论文提交量占比基本不变的情况下,反而录取率下降了约2个点,这也可能和总量庞大之下水文难免作妖有一定的关系。

而在强化学习、理论、概率和统计、神经网络方面,其论文录取率大多则呈现出了下降的苗头。

这样的趋势或许并不难解释。随着人工智能产业化的不断加速,世界范围内的AI落地正在如火如荼地进行,其也早已经从实验室中的纯理论研究走向了产业实践,因此必然会面临更多的实际问题。因此,不断进行算法层面的创新研究,显然是符合当下AI的总体走势的。

在2019年AI产业化不断深入的趋势下,明年的NeurIPS论文的实践指向或会更加明显。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI