NIPS 2018又出事了：审稿信息泄露，双盲评审失效！.doc

《NIPS 2018又出事了：审稿信息泄露，双盲评审失效！.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、NIPS2018又出事了：审稿信息泄露，双盲评审失效！　　NIPS2018又出事了：审稿信息泄露，由于论文提交CMT系统的重大漏洞，审稿人可以判断出单篇论文的姓名和机构，让双盲评审失效！不仅如此，本届NIPS毫无征兆地砍掉了一个历史悠久的Workshop，加上此前初审结果怨声载道，这届NIPS，真让人捏一把汗。　　如果说2017年的NIPS以一张注册人数如火箭冲天般的表格创造了记录，那么，2018年的NIPS则凸显了当前火热不退、几近高烧的人工智能/深度学习领域蛰伏的诸多问题。　　审稿信息泄露，双盲评审失效！　　8月7日，就在NIPS初审结果

2、rebuttal进行的过程当中，有人发现NIPS2018的审稿系统出现了严重的信息泄露，本就颇受诟病的评审过程，又一次出现问题。　　　　事情是这样的，跟其他会议一样，NIPS2018也采用MSCMT3系统进行论文的提交及审核。　　作为这次会议的一位审稿人，sweichwald发现该系统服务器中有一个严重的漏洞，让“作者/机构/公司”的双盲性以及由此造成的评审公正和平等遭到破坏：　　问题发生在所有提交论文的列表是不是静态的，而是根据审稿人的域名（也即姓名/机构/公司）在不断更新。　　当审稿人输入域名冲突的信息时，CMT系统会自动过滤掉有域名相冲

3、突的论文；因此，审稿人通过输入或者不输入某个域名冲突，再根据CMT系统给出的两个论文列表，就能明确哪些论文是属于哪个域名，换句话说，也就相当于能够知道哪些论文是属于哪位作者或哪个单位的了。　　sweichwald指出，尽管会议规定采用双盲评审，但NIPS论文审稿平台本身允许这样主动暴露论文提交人姓名和论文所属机构/公司的做法，而且还能匹配到特定的单篇论文，属于重大过失（culpablenegligence）。　　当系统存在这样的漏洞时，很可能被人利用，让双盲评审机制失效。不仅如此，由于知道了论文的所属机构，某些审稿人很可能有意选择特定单位的论

4、文进行评审，进而导致评审结果出现偏差。　　实际上，sweichwald是在偶然之下发现了CMT系统的这个漏洞：当时，他因为忘记了，不小心输入了一个冲突的域名，结果发现返回得到的论文总数变少了。　　于是，他对比了一下名单，找出两份列表中不同的某篇论文，私底下向一位同事确认，在没有让对方直接告诉他后者论文题目和摘要的情况下，通过两人交换的信息，sweichwald完全肯定，他看到的论文就是他同事提交的那一篇。　　在写给NIPSAC的邮件里，sweichwald表示根据审稿规定，他重新输入了正确的域名，同时保证自己不会作为那篇论文的评审。　　多人连

5、续发现系统漏洞，好在修复比较及时　　除了sweichwald以外，还有多位审稿人也发现并举报了这个系统漏洞，但是却没有得到NIPS方面的回复。　　　　需要指出，这个问题与事先将论文上传到arXiv等预印本网站或其他意外泄露身份的情况有着根本的不同：这是存在于整个论文提交和审稿底层系统的问题，而且CMT3系统也被其他1000多个使用双盲和单盲评审的学术会议使用，这就意味着其他会议的评审公正性很可能也遭到了破坏。　　根据CMT官网，2016年，CMT系统已用于1000多个国际会议、研讨会和各种其他项目的学术论文提交与审核，涉及上万篇论文和上千名审

6、稿人。使用CMT的会议包括：　　国际机器学习大会（ICML）　　神经信息处理系统进展大会（NIPS）　　国际人工智能和统计会议（AISTATS）　　人工智能不确定性会议（UAI）　　IEEE计算机视觉模式识别会议（CVPR）　　国际计算机视觉会议（ICCV）　　欧洲计算机视觉会议（ECCV）　　亚洲计算机视觉会议（ACCV）　　英国机器视觉会议（BMVC）　　IEEE国际数据工程大会（ICDE）　　ACM数据管理特别兴趣小组（SIGMOD）　　超大型数据库国际会议（VLDB）　　国际IEEE数据压缩会议（DCC）　　IEEE多媒体与博览国际会

7、议（ICME）　　CMT最初是为ACMSIGKDD1999开发的。从那时起，CMT经历了几次重大改进和扩展，迄今已在数千个会议中使用过。　　5月29日，sweichwald向NIPS2018的领域主席和CMT系统管理员汇报这一系统漏洞。5月31日，NIPS会务组给出了回复，表示他们已经注意到这个问题，并建议前者在系统完全处理好之后，再将此事公布。　　　　NIPS会务组的回复，表示已经有多人提醒他们这一漏洞，会尽快修复系统，并让sweichwald在事情解决前先不要声张　　8月2日，包括其他使用CMT的会议在内系统全部得到修复。　　　　现在，对

8、于双盲评审的会议，CMT系统让任何人都不能更新他们的冲突域名，而审稿人在见到任何论文前，只有一次输入域名的机会。　　根据官方反馈，目前没有发现其他CS/AI学术会议