作为审稿人,如何完成一份高质量的同行评议报告?

Part 1.《柳叶刀》的同行评议
图片
图片
一篇论文只有在经过《柳叶刀》系列期刊编辑的内部审查后,才会进入外部同行评议阶段。所有投稿给《柳叶刀》系列期刊的稿件,都会由该刊的专业编辑根据该刊的期刊目标和所涵盖的领域进行初步筛选,评估文章的科学性、新颖性、研究是否可靠稳健等。其中,大约90%的投稿在进入同行评议的过程之前会被编辑拒稿编辑不会仅因为语言问题而拒稿。一般来说,同行评议审稿人收到的待审稿件都是高质量的稿件。
如果一篇论文即将进入外部同行评议阶段,《柳叶刀》系列期刊的编辑会在Scopus平台上为每篇待审论文进行针对性的文献搜索,找到在这篇稿件所涉话题下曾多次发表相关文章的研究者,以期找到三位稿件所涉及主题/研究方法方面的科研或临床专家。也就是说,每个在数据库所收录的期刊发表过文章的作者,都有可能被编辑邀请成为审稿人。另外,还需邀请一位统计学专家。需要说明的是,编辑所邀请的统计学家审稿人来自柳叶刀的统计学专家数据库。
编辑至少要找到一位或多位来自研究所在国家或地区的审稿人。《柳叶刀》系列期刊确实收到很多来自中国的稿件,因此编辑们要寻找更多中国审稿人来审阅论文,从而能在相应的国家/地区情境下理解数据。此外,期刊会尽量保证外部审稿人的男女比例平衡。除了资深专家,《柳叶刀》系列期刊也欢迎青年审稿人的加入。柳叶刀希望搭建一个百花齐放的审稿人才库。
当收齐所有审稿人的评议报告之后,编辑们会参加每周两次的审稿会(manuscript meeting),讨论稿件和审稿意见。负责稿件的编辑会准备一份稿件摘要和一份同行评议审稿意见的摘要。此时编辑拒稿,只会是因为有多名审稿人提出稿件中存在致命性错误,无法仅通过返修弥补。如果有时候审稿人的意见不一,编辑难以决断,我们可能会邀请第五位审稿人来仲裁,重新审稿。
Part 2.为什么要做《柳叶刀》系列期刊的审稿人?
图片
柳叶刀对同行评议工作予以高度肯定。《柳叶刀》系列期刊的同行评议审稿人可以申请审稿人证书,而且《柳叶刀》期刊每年都会发文公开感谢审稿人。除此之外,做同行评议还有哪些好处呢?
审稿人可以通过审稿了解到“编辑们认为什么样的文章是值得送审的”,可以通过审稿了解到所在研究领域中的最新动态和最新研究进展。而且,审稿还是一个很好的脑力锻炼方式,有助于自己写作能力的提升。因为自己发表文章也需要别人审稿,评议其他人的稿件,也是回馈给科研界的一种方式。当然,审稿经历可以写入自己的简历中。值得一提的是,如果一篇经过同行评议的文章被接收了,一些期刊(如The Lancet)会邀请同行评议审稿人为这篇文章撰写评论,这样审稿人也就有机会在该刊发表一篇文章。
Part 3.  做同行评议时考虑的一些问题
图片
审稿人应该做的
要保持专业和礼貌。这一点很重要,就算您认为这篇文章不忍卒读也请保持礼貌。试想一下,如果您作为作者收到一篇不礼貌的评议报告是什么感觉。
要客观、有建设性、要具体。同行评议是一个建设性过程,目的是帮助作者把论文改得更好。不要大批一通但不说明批评的原因,也不要大加赞赏却不说明这篇论文好在何处。
一定要在动笔前读完整篇论文。对作者来说,最烦人的就是看到审稿人批评文章缺了哪一块。而作者很清楚,如果他们仔细读的话就会发现,其所指出的缺失其实就在文中某一处。
遵照每本期刊的指南。每一本期刊都会有指南文件,请您尽量按照指南去做,不同期刊的要求可能不同。
如果遇到困难,请一定要联系编辑。所有期刊都会使用投稿系统,有时可能会有点复杂,如果您遇到了问题或者不清楚自己需要做什么,请您不要直接拒绝邀请,一定先来联系编辑,编辑会尽全力帮助您。
再次强调:同行评议审稿的目的是帮助作者改好文章。
图片
审稿人不应该做的
如果论文主题不是您的专业领域,请不要接受邀请;如果您不能保证按时交稿,请不要接受邀请。
除非得到编辑同意,请勿将论文外传给任何人。如果审稿人在未经编辑同意的情况下在同行评议流程之外分享了这篇需要评议的论文,就是行为不端。
不要写任何那些如果是您自己收到报告时看了会不高兴的话;不要太关注语言和语法。审稿人负责评估的是稿件的科学性。
审稿人不应该要求作者在参考文献中加入审稿人自己发表的研究。除非绝对必要且明显必要,要求作者引用审稿人的文章,这种做法在道德上很有问题。这可以认为是审稿人在刻意扩大自己的影响力。所以除非绝对必要,请尽量避免这种情况。
请勿要求作者加做分析或实验,除非当前论点非有它们不可。尽管您可能很想要求作者增加更多的分析和数据,但您必须记住研究问题是什么,以及研究者有没有回答这个问题。如果您要求他们另外做一个研究来回答别的问题,那就是另一篇论文了。所以如非必要,审稿人不应再增加他们的工作量。
图片
期刊具体说明
基本上,每本期刊都有专门的指南,这需要审稿人多注意及参考。
要看看手头的待审稿件属于什么类型的文章,看看期刊对这类文章有什么期望和要求。
参考检查清单一览表,这不仅能帮您写好论文,也能帮您做好评议工作。比如,您正在评议一项随机试验,那可以看看随机试验的CONSORT声明等。参照期刊的具体指南说明。
接下来还要看一看,您是否可以在类似Publons这样的网站上公开发布评议报告。在像Publons这样的地方,您可以证明您参加同行评议的价值。有些期刊是允许审稿人公开发布评议报告的,但很多期刊不允许,因为这是一件需要保密的工作。如果是双匿名封闭评议,您就不能发布。如果您不确定,就问问编辑。
同行评议有很多种方式,有开放的同行评议,也有匿名的同行评议。《柳叶刀》系列期刊是非开放的单匿名同行评议,所以我们不会将评议报告随论文一同发表。我们不会告知作者审稿人的名字,不过审稿人知道作者的名字。
Part 4. 如何完成一份高质量的同行评议报告?
图片
审稿人先给作者写一些评论。先写一个概括段,接下来按章节写文章存在哪些主要问题和次要问题。这部分评论,编辑也可以看见。其次,给编辑写一些评论。这些属于保密评论,仅编辑可见,作者不可见。最后,审稿人需要给出总体推荐意见。
审稿人给作者的评论
图片
首先是概括段,它对编辑和作者都非常有用。审稿人可以按自己的理解写一份简洁明了的概述,说明认为这篇论文对整个领域有何贡献,以及一些最重大的优缺点概括。其中可以考虑提到,该研究是否在已有知识基础上增加了新知,所用研究方法是否可靠稳健,以及这份研究的重要性。
图片
文章的主要问题对理解论文非常关键,就好像一栋楼的设计方案。可以是方法论上最重大的一些问题,或者数据解读出现重大失误,可能在讨论部分。评论应该按章节顺序来写,摘要存在什么主要问题 、引言部分存在什么主要问题等等。
图片
次要问题可以包括句子意义模糊,图表画得不好、参考文献不正确、技术未澄清。下面这些评论我认为就是比较次要的,比如“问某个说法是什么意思”、“要求作者增加置信区间”、“指出文字和图表内容不符”等,都是为了把事情弄明白,作者修改稿件时应该很容易修订这些错误。而且可以看到 ,这些评论写得非常具体,写明了是第几行的问题,这就是非常有建设性的、具体的批评。
图片
分章节来看,首先是引言部分。
这是审稿人按章节写评议报告时应该考虑的一些基本点:
“研究问题表述明白了吗?”这是引言部分最重要的。这点可能很容易被忽略,但它对于给整篇论文打下良好开端来说非常重要。
“对研究问题的重要性是否给出了合理论证”,即为什么要做这个研究?这个问题的回答很重要。
“是否引用了和现有研究关系最大的既往研究”,要说明之前已经有了什么,现在这篇论文如何嵌入已有内容中。
在方法部分,我们基本只需要看研究方法描述的是否足够明确到他人能重复的程度,以及这种方法是不是回答研究问题最为有效。审稿人也有必要检查一下科研伦理。编辑也会检查研究是否通过伦理审查,但审稿人仍然可以对文章中的伦理方面提出质疑,可以看一看知情同意是否必要以及是否报告到位。
图片
在结果部分中,要检查研究方法中描述过的所有实验或分析是否都出现了,二者需对应。检查是否有方法中没提却在结果中出现的内容,比如突然出现了一些数字却不知道从哪来的,这就有必要指出来, 以及结果是否呈现清晰 前后统一,文字跟图表相对应。
图片
讨论部分最主要看的是作者对数据的解读是否真正能从研究结果中反映出来;是否出现了过度解读或没有数据支持的情况;作者有没有说明局限性,如果没有则可以指出来。如果该研究的结果与其他研究者的研究结果出现矛盾,作者是否说明了矛盾出现的可能原因,为什么结果会不一致,这也是需要说明的一个重点。作者有没有回答引言部分提出的研究问题;作者是否有概括出研究结论放在整个领域中有何意义。
图片
在标题和摘要部分中,要看标题能否准确反映研究问题;摘要是否包含了研究最重要的方法论细节;摘要中的结论是否忠实反映了正文内容;摘要中是否出现正文没有的内容(这是很常见的一种情况,需要重点指出);结论能否得到论文中数据的支持;研究是否呈现了未来的研究方向。
图片
给编辑的评论
在给编辑的评论中,虽然作者看不见,但也请保持礼貌,因为您的礼仪也能影响编辑对您的印象。
确保给编辑的评论与给作者的评论一致。不要对作者客气地只点出几个小问题,却对编辑说 “这篇文章太差了”,因为这对作者没有帮助,反而会使他们对拒稿的决定感到困惑。
在给编辑的评论中,审稿人可以提出对该研究存在的伦理或学术道德问题的质疑。
图片
不同期刊会有不同,但可以是:“直接接收”、 “小修”、“大修”、“修改后再评议”或者拒稿。“直接接收”很少见。如果您从零开始评议一篇论文,基本不可能没有任何意见的直接原样推荐,一般大部分审稿人会认为需要“小修”、“大修”或“修改后再评议”,要么就是“拒稿”。不同期刊的具体要求不同,所以您务必要仔细阅读指南。
参考资料:
中文直播回放
https://live.vhall.com/v3/lives/watch/773679002
英文直播回放
https://live.vhall.com/v3/lives/watch/683820989