两家期刊实验表明,250美元报酬,能加快评审速度而不降低质量。但专家警告,现金激励可能悄然改变科研生态,这将为学术评审带来新生,还是埋下隐患?
AI在「超速」,AI相关的论文投稿量也在「爆炸」。
近几年,NeurIPS, ICML, CVPR, ICLR, ACL等顶级AI/CS会议投稿要「挤爆」同行评审人的书桌了。比如,CVPR 2024大约有9000名审稿人,但投稿作者的数量却超过了30000。
为了防止审稿人滥用AI,CVPR在去年直接出台了七条新规,明令禁止使用LLM参与评审。
然而,就在CVPR 2025录用结果公布之际,区域主席(AC)曝出了评审过程中一件令人震惊的事件:
一些极不负责审稿人,要么彻底放弃了评审过程,要么提交了质量低得离谱的评论。
甚至,一些评论竟是由大模型生成的,敷衍程度可见一斑。
对于学术出版行业来说,这类问题早已相当严峻——2020年全球审稿人在同行评审上花费的总时间就超过1亿小时。
除了耗时且成本高昂之外,学术出版中的同行评审系统还存在很多其他缺陷,包括评审偏见、不一致性、缺乏奖励、寻找审稿人困难以及速度慢等问题。
论文地址:https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(21)02804-X/fulltext
面对的激增论文、高级审稿人的短缺和AI的诱惑,如何才能让审稿人保持评审的专业性?
Nature近日的一篇文章似乎给出一种意想不到的方案——「直接发钱」!
本月,有两家试行这项政策的期刊公开了各自的研究数据。
结果表明,给评审论文的研究人员支付约250美元报酬,不仅能加快评审速度,还不会降低评审质量。
不过,一些专家警告,这种做法可能给科研和出版行业带来意想不到的问题。
Eötvös Loránd University的心理学家Balazs Aczel指出,「尽管这两项试验规模不大,但在收集付费同行评审相关数据方面,迈出了不错的第一步。」
不过他也提到,到底要不要给同行评审人付费,仍是个非常复杂的问题。
其实,付费给同行评审人这一想法,很早之前就有讨论,但到目前为止,真正付诸实践的出版商并不多。
经济学期刊过去曾做过尝试,一些医学期刊会给特定的评审人支付报酬。
还有些期刊采用了一些不太常见的报酬方式:开放获取的大型期刊《PeerJ》采用了一种代币系统,为评审人减免出版费用;还有期刊用专门研发的加密货币来支付报酬。
有些研究人员担心,给评审人现金奖励,可能会降低评审质量,或者以未可知的方式改变科研格局。
但一直以来,都缺乏关于潜在利弊的确凿证据。
《Critical Care Medicine》期刊的编辑们好奇付费给评审人会产生什么效果,于是开展了一项为期6个月的实验,由加拿大Queen’s University in Kingston的临床科学家David Maslove牵头。
从2023年9月起,该期刊邀请了715名研究人员评审论文,并给其中一半的人提供250美元奖励。
本月早些时候,期刊公布了实验结果:付费评审在一定程度上提升了接受邀请的比例,也加快了评审速度。
收到付费邀请的研究人员中,大约53%接受了评审邀请,而无偿邀请的人员里,这一比例为48%。
平均来看,付费评审比无报酬评审能提前1天出结果。
期刊编辑评估后发现,付费和无报酬评审人的评审质量并无差异。
Maslove表示,这种影响并不十分显著,说明金钱在激励同行评审人的行为方面,作用较为有限。
「同行评审人可能还重视其他东西,比如责任感、忠诚度,或是想回馈社会。」
《Biology Open》期刊也进行了一项实验,虽然参与的评审人数较少,但效果更为显著。
从2024年7月开始的6个月里,该期刊10个学科领域中的2个,将评审人视为付费合同工,并采用了两种付费方式。
一种是给评审人600英镑(约776美元)聘用金,让他们每季度最多评审3篇论文;另一种是每评审一篇论文支付220英镑(约285美元)报酬。
编辑会向自由职业的评审人发出评审邀请,评审人需在1个工作日内决定是否接受。
接受邀请后,有4天时间提交评审报告。通过这种方式,共完成了20篇论文的评审工作。
根据本月发布的结果,付费评审比无报酬评审要快得多。
付费评审报告平均周转时间为4.6个工作日,而未参与付费试验的评审报告平均需要38天。
编辑发现,付费和无报酬评审报告在质量上没有差别。
该期刊的执行编辑Alejandra Clark表示:「这对编辑来说帮助极大,以往在某些领域,找评审人特别费劲。」
《Biology Open》期刊的实验非常成功,目前正打算将该体系推广至所有学科领域。
Clark称,期刊用所属机构的自由支配资金来开展这个项目,这一做法会持续到2025年底。
她希望到那时能收集更多数据,再考虑如果继续推行这项政策,应如何提供支持。
Clark还补充道,长期维持这一政策可能要提高《Biology Open》期刊的论文处理费用,目前为2200美元。
Aczel不太认同通过提高出版或订阅费,来为付费同行评审提供资金。
他表示,很多机构目前已经难以承担这些费用了。
而且,这两项研究都未探讨,付费可能会如何改变评审人的其他行为。
Aczel指出,付费体系可能会促使研究人员尽可能多完成评审,这可能导致评审报告质量下降,他们投入到自身研究的时间也会减少。
瑞典Linnaeus University的科学家James Heathers,在2020年发起过一项活动,他认为一篇同行评审报告的合理报酬应为450美元。
他认为评审质量不会因此下降,因为出版商有权对付费评审进行监督,「以合同形式雇佣他人,合同中是有相关条件的,可以进行管控。」
总的来说,过去绝大多数情况下,学术出版商是不向同行审稿人支付费用的。
同行评审长期以来被视为学术界的互惠和志愿服务。
学者们审阅他人的稿件,同时自己的稿件也由其他同行评审。
这被认为是学术共同体运作的一部分,是学者职责的一部分。
虽然没有直接的金钱报酬,但审稿工作有时会带来一些间接或非金钱形式的回报,例如:
当前稿件激增和AI带来的新挑战,极大地加重了传统上依赖志愿服务的同行评审系统的负担。
审稿人面临前所未有的压力,导致寻找审稿人困难、评审周期延长甚至影响评审质量。
在这样的背景下,一些出版商开始尝试(或至少是讨论)向审稿人付费,作为一种可能的解决方案,试图通过经济激励来缓解审稿人短缺、提高审稿效率和质量。
然而,这在历史上是非常罕见的做法,并且这种付费模式是否可持续、是否会带来新的问题(如潜在偏见、成本转嫁等)仍在讨论和观察中。
这标志着学术出版界可能正在经历一个重要的变革时期。
参考资料:
https://www.nature.com/articles/d41586-025-00968-6
https://www.aje.cn/arc/the-peer-review-dilemma/
文章来自于“新智元”,作者“编辑部 HXs”。
【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。
项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file
本地安装:https://www.deepbi.com/
【开源免费】airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。
项目地址:https://github.com/hitsz-ids/airda