来源:《中国社会科学报》2021年12月1日第2版
字号 :[大] [中][小] 打印

科学运用学术指标的评价功能

2021-12-10

  在当今学界,各类学术指标随处可见,如论文引用量、高引用次数指数、期刊影响因子或类似指标等,这些指标被视为了解一项研究贡献或研究人员学术表现的标准,为科研评价以及科研政策的制定提供了良好的参考。11月26日,挪威北欧创新、研究和教育研究所教授丽芙•朗费尔特(Liv Langfeldt)等人在英国伦敦政治经济学院官网发文称,在同行评议与学术决策等科研评价过程中,学术指标是一个持续发挥重要作用的影响因素。

重视学术指标作用

  学术指标的种类多样,朗费尔特等人基于出版物概括了三类主要学术指标:生产力/出版物数量、科学影响力/引用量、期刊影响因子。首先,出版物数量是最基本的指标,它通常被视为知识生产量的间接衡量标准。其次,引用量是科研质量概念的组成部分之一,通常用作研究影响力的判断标准。最后,期刊影响因子是文献计量指标的重要组成部分,通常被视为体现期刊重要性和声望的指标。

  学术指标还被认为是科研质量的代表,同行评议者更倾向于在已有学术指标的基础上作出评价。上海社会科学院软实力研究中心研究员胡键在接受本报记者采访时表示,当学者的学术成果因某种原因被纳入评价体系时,他们都希望有客观的标准。尽管学界长期强调学术共同体评价的重要性,但假如学术共同体的评价没有任何客观标准,那么评价的真实客观性难免会被主观认知所遮蔽,从而在不同评价者间产生种种争议。例如,在博士论文答辩过程中,不同的答辩委员会专家对同一论文学术水平的看法可能会产生诸多分歧,原因就在于博士论文答辩没有具体的客观评价标准,答辩委员会专家更多地是凭借自己的专业眼光和学术经验作出判断,而不同的学者无疑会受到其具体研究领域知识的影响。论文答辩尚且是一个学术讨论的过程,而对已发表论文和已出版著作及期刊进行评价,则是一个使用学术公器的过程,这要求评价者除在主观上有学术责任担当外,更要有一套客观的学术指标作为评价依据。

  如今在科研评价中,政府、研究组织、资助机构等都会依赖学者的同行评议。在朗费尔特等人的研究中,同行评议概念更为广泛,涵盖了科研资助方案审查、学术职位招聘等内容。但是,同行评议过程也会依赖出版物及其引用量等指标,例如,在申请科研资助时,申请人需要提交包括论文引用量在内的标准化简历。

避免“一刀切”模式

  同行评议不是基于学术指标,而是基于同行的专业知识和他们对科研的理解。为了更好地理解学术指标在同行评议中的作用,朗费尔特等人通过数据调查,研究了荷兰、挪威和瑞典三个国家不同学术领域研究人员的观点和实践。大多数受访者表示,当他们需要选出最佳的科研资助方案或学术委员会候选人时,学术指标确实是一个重要的考量因素,尤其是“过往出版物的引用影响力”和“生产力/出版物数量”。但学术指标的使用一直存在争议。挪威社会研究所高级研究员英格维尔德•雷蒙特(Ingvild Reymert)表示,一方面,引入指标可能会激励研究机构和资助组织。在组织层面,指标提供了很多易于获取的信息,此类信息具有高度相关性和公正的特点,有可能减少同行评议中的偏见,因此受到政府的鼓励。另一方面,目前也存在许多指标滥用的现象,对科研体系造成许多潜在的负面影响。

  不同领域的学者对学术指标的使用存在不同看法。挪威北欧创新、研究和教育研究所教授达格•W.阿克斯内斯(Dag W. Aksnes)认为,评议者对学术指标的使用存在不同看法,可能会影响他们的评议过程。在担任评议者时,学者拥有很大的自由裁量权,他们可以选择使用或者不使用指标,而无视整体的指导方针。因此,评议的结果可能会因小组成员对指标的个人偏好不同而造成差异。研究表明,对学术指标的强调与受访者的文献计量表现呈正相关。在评选学术职位候选人和评估科研资助提案时,文献计量数高的评议者更注重学术指标。虽然在自然科学和医学科学中,文献计量指标的使用比在人文社会科学中更普遍,但在人文社会科学领域,研究人员在其简历、晋升申请和资助申请中展示各种学术指标更是一种常见做法。

  然而,当标准化被奉为最高准则时,难免会出现“一刀切”的情况。胡键表示,一些冷门学科、小学科具有独特的个性,如果都照搬影响因子、被引半衰期、转载率这些指标来进行评价,可能会导致冷门学科、小学科的期刊萎缩,相关学者的学术空间被进一步挤压,甚至丧失学术平台。因此,评价指标的使用要观照诸如此类的期刊、学者的个性和独特性,避免“一刀切”的管理模式。

  学术指标的使用,还要注意专业期刊与综合性期刊的区别。胡键解释道,一般来说,专业期刊在学术共同体中受到更多青睐,学者也更倾向于把自己最上乘的论文投向专业期刊,因此专业期刊的影响因子、被引半衰期、转载率等指标都比较高。相比之下,综合期刊的行政地位高,但学术影响力相对比较弱。长期以来,学术界没有很好地区分这两种期刊的定位,因而学者也往往按照对期刊的熟悉程度来投稿。古人对学术研究有“尽精微而致广大”之说,专业期刊在于对具体问题的深度挖掘,在于“尽精微”,而综合期刊不应该是学科拼盘,而应在于对宏观问题的跨学科研究,这样才可以产生学术大理论、大思想,这就体现出综合期刊“致广大”的重要性。换言之,在推动跨学科和融学科研究、推动宏观理论创新方面,综合期刊具有独特的优势,专业期刊在这方面是无法与之相比的。

影响学者的研究方向

  研究质量的判定标准是否受到学术指标因素的影响?研究显示,尽管学术指标影响了同行评议过程,但评议者还是能够较为合理地评估某项高质量研究对被评议者未来成功产生的潜在影响。评议者的这种评估往往更多地基于高质量研究的个性特征,而不是仅仅基于文献计量表现。很少有受访者认为引用量或期刊影响因子是评价研究质量的唯一指标,因此,定量性的学术指标并非判定研究质量的决定性因素。

  在同行评议中,强调学术指标可能会影响研究活动和研究议程。阿克斯内斯表示,出版物数量和科学影响力等指标在学界被广泛使用,大多数学者因相信其领域内学术期刊和出版商的评议流程,而给予主要期刊的编辑及评议者很高的认可度。因此,这些编辑和评议者不仅在科研出版方面,还在学术职位和科研资助把关方面具有很大的话语权。

  从个体层面出发,研究人员尤其是处于职业早期的研究人员,需要考虑何种研究更有助于他们获得资助和职位。在朗费尔特看来,如果过于重视被评议者可量化的学术指标,而不是其展现的专业能力和未来潜力,那么评议者可能只会根据过往的经验,来对未来研究方向作出规划,这就导致那些易于发表、高引用量的课题更容易获得大量资源。为了更容易在科研资助和学术职位方面获得成功,年轻学者就会从事那些在发表和引用方面看起来更“保险”的研究。

  胡键表示,在现有的学术指标中,最重要的是影响因子,它可以用来评价论文和期刊的影响力,也在一定程度上代表着学术水平。影响因子由美国科学情报研究所创始人尤金•加菲得(Eugene Garfield)在20世纪60年代创立,是指某一期刊的文章在特定年份或时期被引用的频率,是衡量学术期刊影响力的一个重要指标。影响因子长期以来一直作为评价期刊论文最重要的指标,后来学界也用它来评价一名学者的学术影响力。同样,期刊被引半衰期也被用来评价期刊论文和学者的学术影响力。不过,近年来国内的学术评价机构越来越重视转载率这个指标,即期刊论文被二次文献机构转载了多少篇,以及学者在一年中被转载了多少篇,这个指标逐渐上升为学术评价的关键性指标。当然,科学且合理地运用这些指标,对客观有效地进行学术评价十分重要。

  无论评价指标如何,其最终目的都是在维护学术规范的前提下,有效促进学术研究创新发展。良好的学术期刊和科研成果评价机制是推进知识生产和学术创新发展的重要风向标,期刊界、专业评价机构和学界应携手同行,一起推动完善科研评价机制,推进学术进步。

(作者:《中国社会科学报》记者王俊美、林跃勤)