第二节 数据的来源与收集

本书所分析的数据主要包括两部分，一部分是用以进行内容分析的有关不同主体应用大学排名的学术性文献；另一部分是用以分析排名预期应用与实际应用之间异同的问卷调查数据。本节将分别介绍这两部分数据的来源与收集过程。

一、内容分析数据的来源与收集

本书将学术性文献这类二手资料作为分析各主体应用大学排名现状的主要对象和数据来源。笔者以“大学排名的影响”（impact /influence /effect of university rankings/league tables）、“大学排名的使用”（use/misuse/abuse of university rankings /league tables）、“大学排名的应用”（application of university rankings/league tables）、“大学排名的作用”（role/value/function of university rankings /league tables）作为关键词，在教育资源信息中心数据库（Education Resources Information Center, ERIC）和美国信息科学研究所数据库（Information Sciences Institute Web of Knowledge, WOK）中进行检索，并结合文献中的参考文献，最终筛选出1994—2014年间发表的有关各主体应用大学排名的130篇文献作为内容分析的样本文献。

样本文献具体又包括期刊论文、会议报告或论文、研究报告、书籍章节四种类型。其中，研究报告主要包括高等教育机构发布的学术性报告以及硕博士论文，会议报告或论文主要包括学者在学术会议上发表的演讲、报告或被会议收录的论文。而书籍则由于其篇幅通常较大，与期刊论文和研究报告的篇幅不对等，因此本书在具体分析时将书籍拆分成章节作为具体的分析对象。四种不同类型的样本文献所占的比例如表2-1所示，期刊文章数量最多，其次为研究报告和书籍章节，会议报告的数量最少。

表2-1 样本文献类型分布表

二、问卷调查数据的来源与收集

本书采用问卷调查法的目的是调查排名机构负责人对各主体应用大学排名的预期，并与实际应用进行比较。在问卷设计时，我们依据对样本文献内容分析的结果总结出实际应用中常见的各主体应用大学排名的具体行为，并要求被调查的排名机构负责人根据各自排名被应用的情况，判断某一具体应用行为是否符合被调查者最初设计排名时的预期。由于在实际生活中，一个问题并非总是只有是和否两种答案，而是具有较为复杂的程度分别，因此问卷最终将问题设计为：“您在创建排名时，是否预期到了这一排名使用行为？如果您预期到了这一行为，那么该使用行为的实际使用程度是低于、基本符合、还是超出您的预期？”。问卷共设计5个选项，如下所示，完整的问卷见附录。

“A．我没有预期到这一使用行为。”

“B．我预期到了这一使用行为，且实际使用程度低于我的预期。”

“C．我预期到了这一使用行为，且使用程度基本符合我的预期。”

“D．我预期到了这一使用行为，且实际使用程度超出我的预期。”

“E．我不确定。”

在确定调查对象时，本书认为排名机构的负责人作为排名的设计者、排名活动的组织者、各方利益相关者意见的协调者，是最了解排名设计初衷、最了解不同主体对其排名应用情况的人，因此将排名机构的负责人作为问卷调查的主要调查对象。

在确定具体调查的大学排名机构时，本书参考了ARWU排名网站提供的“排名博览”清单和IREG学术排名与卓越国际协会（IREG Observatory on Academic Ranking and Excellence, IREG）网站提供的“IREG国家性大学排名清单”（IREG Inventory of National University Rankings）。其中，ARWU“排名博览”清单共涵盖了7个全球性排名和27个国家的50个国家性排名。“IREG国家性大学排名清单”共涵盖了34个国家的58个国家性排名。笔者对两个清单的大学排名进行了合并去重，并搜索了每个排名的官方网站确定其负责人的名称和联系方式，最终选择了42个能够查找到负责人信息的大学排名机构作为问卷调查的对象，涵盖了包括全球性排名在内的20多个国家和地区的排名。

问卷于2016年4月3日—2016年4月21日通过调查猴子（SurveyMonkey）在线问卷调查网站进行发放，最终共回收11份，回收率为26%。参与调查的具体排名机构如表2-2所示。

表2-2 参与问卷调查的排名机构情况表

① 该排名机构在问卷中未备注机构名称，根据填写问卷的IP地址判断该机构位于哈萨克斯坦，但无法确定具体的排名机构。

参与调查的排名机构分布在10个国家，其中既包括美国、英国、加拿大等经济发达且教育评价文化和传统较为浓厚的国家，也包括保加利亚、秘鲁、哈萨克斯坦等经济较为不发达且高等教育质量保障机构尚不健全的国家。在排名性质方面，9个机构为国家性排名机构，3个机构为全球性排名机构，其中USNWR既有国家性排名也有全球性排名，其负责人在调查中也表示二者都在其考虑范围之内。

虽然受各个国家排名机构的总体数量不大、排名机构负责人联系方式查找困难等因素的限制，最终回收的问卷总量不多。但参与调查的对象，大多是排名制定和实施过程中的关键人，且USNWR、ARWU等多个在国际和国内都具有较大影响力的排名负责人也参与了调查，因此他们对排名预期应用的观点和看法具有较高的研究价值和代表性。