Press "Enter" to skip to content

聊天截图曝出AI顶会审稿潜规则!AAAI 3000块即可strong accept?

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

编辑:Aeneas 好困

 

【新智元导读】 最近,知乎上爆出一张AI投稿群的匿名聊天截图,网友讨论「加群互相bid」,还说3000块就可以买到一个AAAI的「strong accept」。

 

正值AAAI 2023论文截止提交之际,知乎上突然出现了一张AI投稿群的匿名聊天截图。

 

其中有人声称,自己可以提供「3000块一个strong accept」的服务。

 

爆料一出,顿时引起了网友们的公愤。

 

 

不过,先不要着急。

 

知乎大佬「微调」表示,这大概率只是「口嗨」而已。

 

 

据「微调」透露,打招呼和团伙作案这个是任何领域都不能避免的问题。随着 openreview 的兴起,cmt的各种弊端也越来越清楚,未来留给小圈子操作的空间会变小,但永远会有空间。因为这是个人的问题,不是投稿系统和机制的问题。引入open review和bid+随机匹配可能会有帮助。

 

而且他的个人观点是,文章发在NeurIPS还是AAAI还是IJCNN都无所谓,充分宣传让大家知道你在做什幺就行了, citation 会证明这东西有没有用。

 

 

那幺,这种风气是否在如今的顶会论文审稿中普遍存在呢?又是否已经有人因此「名利双收」了呢?

 

万物皆可发家致富

 

在讨论之前,我们先来简单说一下这个bid到底是啥。

 

为了方便分配审稿人,有的会议会设置一个bidding环节让审稿人自己选择感兴趣的文章。然后系统就可以参考这些审稿人的选择进行论文的分配了。不过,审稿人在这个阶段只能看到论文标题和摘要。

 

而这其中,可就大有文章了。

 

 

各种匿名爆料

 

另有知乎匿名网友表示,格局小了吧,有微信聊天截图为证,其实连best paper都是能互相bid的,这点小事算个啥。

 

有网友表示,今年投稿AAAI时,还一本正经地让填conflicted users、conflicting domain等等,但实际上作用不大。

 

 

这位知乎匿名用户甚至提出了令人拍案叫绝的解决方案:用图神经网络、推荐系统等自动挖掘出以各个导师为中心的关系网络,再检查各大会议的bid数据、审稿数据、给分情况,这样异常节点和关系就可以轻而易举地挖出来,因为它们在图神经网络里像恒星一样耀眼。

 

或者干脆举办个顶会bid数据挖掘大赛。

 

 

不过也有网友指出,这个所谓「3千块包SA」,其实是有bug的:

 

要知道,就算你强推了,其他审稿人一个borderline加一个weak reject,直接白给。毕竟这东西又不是算平均分录取的。而且分歧很大的话,AC也不可能给过的。

 

所以就算要给钱,也要用在「刀刃」上。这幺一想,那就得找SPC或者AC了。但这时,你就需要考虑两个问题了(其实是一个):第一,人家这种level的,你给3000块就想搞定?第二,如果人家真给你搞定了,只会收你3000?

 

当然,除了吐槽外,还有一位「见义勇为」的senior reviewer表示,如果自己看到有审稿人给了「水文」高分,就会直接strong reject,然后写小作文狠狠地diss,而且现在连模板都已经拟好了。

 

 

据说,所有会议和期刊都有类似的问题,只是比例和严重程度不同。此文中就不便多讲了。

 

某匿名用户的建议,属实有才

 

审稿随机性有多大

 

AI顶会审稿的随机性究竟有多大呢?

 

在2021年,NeurIPS就曾做过一次审稿一致性实验。

 

根据港中文CS博士「电光幻影炼金术」的视频介绍,在这个实验中,同一份稿件有10%的概率会送给两组审稿人,两组审稿人互相不知道对方的存在。

 

 

两组审稿人会分别进行评分,有两个领域主席对评分的结果作出决定。这样就可以定量分析,同一份稿件会有多大概率得到不同的审稿结果。

 

结果显示,第一组审稿人accept、第二组审稿人reject的概率是52%,这概率已经超过一半了。

 

而如果第一组审稿人reject,第二组审稿人也reject的概率是83%。

 

 

这个结果和李飞飞的观点也是符合的。

 

李飞飞就曾发表过一篇很着名的讨论审稿的文章,提出了这两个观点:

 

1.审稿过程是高度随机的。

 

2.差的论文会得到差的审稿意见,这是随时间和随机性都不会改变的黄金规则。

 

 

NeurIPS官方还进行了这样一个比较,每篇论文不进行审稿,随机决定,然后根据接收率和分歧率制成一条曲线,横轴是接收率,纵轴是分歧率。

 

 

图中可见,如果接收率非常低或非常高,那幺分歧率是不大的。

 

而中间的分歧率是最大的,如果说接收率是50%的话,分歧是最大的。

 

AAAI和IJCAI都是采用这种模式,用高拒绝率,来换取较小的随机性。

 

最后,「电光幻影炼金术」给出这样一份关于人工智能审稿的结论小结。

 

 

风口浪尖上的AAAI

 

当初,AAAI 2022的审稿结果就饱受争议。

 

有人在社交媒体上表示,自己的论文得到了4个accept,最后还是被拒了。

 

 

下面这位作者表示,4位审稿人均给出了「偏向接收」或「接收」的意见,在审稿意见中也都是正面评价:idea有趣、模型足够solid、实验和分析也够全面。

 

但最终结果却是:拒稿。

 

 

对于AAAI 2023来说,采用的依然是两阶段+双盲的 审稿形式 。

 

在第1阶段中,每篇论文会得到两名审稿人。如果收到的两份意见都是负面的,那幺这篇论文就会被直接拒绝。其余的将进入到第2阶段。

 

在第2阶段中,每篇论文会得到至少两名新的审稿人。在新的审稿人提交自己的意见之前,他们是不会看到第1阶段的审稿结果的。

 

而进入第2阶段的论文作者,可以针对所有的审稿意见进行回应。程序委员会和高级程序委员会将会根据作者的反馈进行讨论。

 

至于具体的操作方法,可以参考下面的这篇论文。

 

该论文提出了一种新颖的审稿人-论文匹配方法,并且已经在AAAI 2021、ICML 2022、AAAI 2022和IJCAI 2022上得到了应用(全部或部分)。

 

 

论文地址:https://arxiv.org/abs/2202.12273

 

最后只能说,目前看来投稿时能整的花活不多,投稿人唯一能做的就是尽量写出好文章,让自己的paper成为NeurIPS实验曲线里最右边的那一小搓。

 

 

参考资料:

 

https://www.zhihu.com/question/548211913

 

https://www.zhihu.com/zvideo/1453042479734304768

 

https://www.zhihu.com/question/548211913/answer/2628893619

 

https://www.zhihu.com/question/548211913/answer/2628807013

 

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。