该成果的主要内容集中在共词分析指标与工具的信度和效度检验方面。具体而言,本研究设计了六个单项研究和一个综合性研究,分别从科学文献的题名、摘要、关键词和全文入手,对共词分析在研究热点识别、研究领域聚合和研究前沿探测方面的效标关联效度、内容效度、表面效度、聚合效度、区别效度和重测信度进行了检验。
该成果的主要产出包括:首先,对共词分析在不同科学文献的不同分析单元上的信效度进行了系统性评估,形成包括两组专题论文在内的系列研究论文。其次,对当前通用的科学计量工具所采用的指标和工具进行系统检验,证实了不同计量指标在解决不同类型的计量问题时所产生的信效度差异。本课题的价值在于,全面检验了不同的分析单元、方法和工具在解决不同类型的科学计量问题时的信度和效度,揭示了共词分析科学化的基础和前提,从而为图书馆情报学等领域推进科学评价、科技文献内容特征的揭示和知识结构的表征奠定了基础。
该成果还积累了一大批卓有价值的关键数据,具体包括:构建了由13万条题录数据组成的英文语料库和5万余题录数据组成的中文语料库;应用自然语言处理的方法,对中、英文语料库存中文献的题名、摘要和全文进行了词频分析,并联同关键词一并构建了共词矩阵,形成了一批大规模的共词分析基础数据集;应用Python及Stata等分析工具,形成了一个较为完善的共词分析信效度检验结果数据集。这些数据的积累,不仅为本研究的顺利完成提供了保障,也预期能够为后续研究的展开提供坚实基础。
该成果的科学意义在于,有效弥补了科学计量领域对共词分析信效度认识的不足,从而将不仅有助于促进共词分析走向科学化,也将对促进共词分析乃至科学计量领域相关基础理论的深化发展产生积极影响。