近日,一则新闻惊动了整个高校圈,U.S. News爆出:在为2020“最佳大学”排名收集数据时,有5所大学承认自己去年综合排名的数据申报有误,其中竟然包括排名第二的公立大学——加州大学伯克利分校(UC Berkeley)!
其他四所分别是:
斯克里普斯学院(Scripps College);
马尔斯希尔大学(Mars Hill University);
北卡罗来纳大学彭布鲁克分校(University of North Carolina-Pembroke);
强生威尔士大学(Johnson & Wales University)。
这些学校的误报导致它们的排名高于它们本来的水平。由于存在差异,U.S. News已将这些学校迁至“未评级”类别,这意味着它们的排名被取消了。
值得一提的是,这些学校是主动承认误报的,它们通知U.S. News,它们误报了用于计算2019年最佳大学排名的数据。这些通知发生在2019年春季和初夏,在2020年最佳学院的数据收集期间。这些数据收集期也是学校查看上一年数据的另一个机会。
这些学校最初在2018年春夏季数据收集期间提交了不正确的数据,并完成了验证过程,向U.S. News保证信息准确无误。今年一查,发现出错了。
你可能会问,U.S. News是干啥吃的?不知道审核一下吗?要知道,这些数据大部分都大学自行提供的,全凭自觉,U.S. News并没有对提交数据做详细审核,至于还有没有造假的,那就不好说了。
到底误报了什么?
那么问题来了,到底是什么数据有误呢?
UC Berkeley最初报告称,该校2017和2016财年的两年平均校友捐赠率为11.6%。最近,该校表示,其2016财年的平均校友捐赠率为7.9%。
UC Berkeley还表示,至少从2014年起,该校就在向U.S. News提供数据的校友中错误地加入了捐赠承诺,这与U.S. News的要求不符。这就意味着,自2014年以来,UC Berkeley每年都严重夸大了报给U.S. News的校友捐赠数据。校友捐赠在“最佳大学”排名中占比5%。
同样搞错校友捐赠的还有斯克里普斯学院和马尔斯希尔大学。
斯克里普斯学院最初报告称,2017财年和2016财年的两年平均校友捐赠率为27.3%。而该校这两年正确的平均校友捐款比例约为19.9%。
马尔斯希尔大学最初报告称,2017财年和2016财年的两年平均校友捐赠率为13%。而该校这两年正确的两年平均校友捐赠率为9.2%。
约翰逊与威尔士大学则一直夸大其Providence校区的财政资源支出预算。该校一直给出的是所有Johnson&Wales校区的财政支出数据,而不仅仅是Providence校区。财政资源在“最佳大学”排名中占比10%。
北卡罗来纳大学彭布罗克分校最初的报告显示,2017年秋季进入高中前25%班级的新生占32%。而其2017年秋季排名前25%的高中新生的正确比例为7%。在“最佳大学”排名中,排名前25%的高中班级占比2.25%。
不光本科排名造假,研究生排名也造假!
据U.S. News报道,2019年数据下面这些研究生院也造假了:
德克萨斯大学圣安东尼奥分校(University of Texas—San Antonio):
工程学院最初提交的2017财年研究支出为19,140,844美元,而正确的数字是15,038,760美元。研究活动在“最佳大学”排名中占比25%。
威德纳大学(Widener University):
该护理学院(nursing school)最初报告2017年秋季有17名全职教师,而正确的数值是33。这个误报影响许多指标——包括学生与教师的比例、具有重要学术成果的教师比例、教师证书、护理实践的参与比例和平均每教员研究支出——这在最佳护理学院排名中大约占比30%。
加州大学河滨分校(University of California—Riverside):
该工程学院最初提交的2017财年研究支出为6830万美元,而正确的数字是3090万美元。在最佳工程学院排名中,研究活动占比25%。
东维吉尼亚医学院(Eastern Virginia Medical School):
该医学院最初报告称,2015-2017年医学博士毕业生进入初级保健院(primary care residencies)的比例为54.2%,而正确的比例是40%。初级保健率(primary care rate)在最佳医学院中占比30%。
博林格林州立大学(Bowling Green State University):
该教育学院最初报告2017财年的研究支出为289.4万美元,而正确的支出是1,806,571美元。在最佳教育学校排名中,研究支出占比30%。
早在2017年便遭到计算机研究学会(CRA)炮轰
其实,U.S. News发生的事故不止这一次。
2017年底,在发布了2018年世界大学排名榜单后,便遭到计算机研究学会(CRA)的谴责,要求其撤回全球大学计算机科学专业排名。
声明如下:
致全体计算机研究人员:
最新的《美国新闻与世界报道》(USN&WR) 对全球大学计算机科学(CS)专业的排名,对世界各地的CS科系以及USN&WR读者造成了严重的伤害。上周,我们恭敬地要求撤销该排名。很遗憾,USN&WR拒绝了我们的请求。该排名所使用的方法——基于Web of Science收集的期刊出版物的排名——忽略了会议出版物,因此并不能准确反映CS社区研究的传播情况,也没有准确体现教员在业内受认可或影响力情况。此外,排名的全部名单不公开。因此,尽管有些人可能会争辩基于文献计量的排名有其合理性,但USN&WR发表的排名的缺陷是没有争议的。这种方法就是从错误的数据中推断出来的,不透明的结果。因此,这种方法得到了一个荒谬的排名。
USN&WR排名中另一个重要因素是信誉。然而,在一个大规模的,大部分没有联系的社区中,根据声誉进行排名可以说是有问题的。考虑到各所大学的语言不同,价值观念不同,资源水平不同,目标不同,期望对世界各地的CS学科部门有一个准确的评估是不合理的。
任何具有CS研究知识的人都会认为这一排名是无稽之谈,并且忽略这一排名。但其他人可能会被严重误导。CRA主办了一个讨论会,其中也邀请了USN&WR排名负责人Robert Morse。在所讨论的许多项目中,使用文献计量学进行排名及其所涉及的各种问题得到了强有力的讨论。我们列出了使用不含会议相关数据的数据源进行排名会遇到的问题,这种数据源没有对会议中出现效果最好、被引用最多的同行评审研究出版物进行索引。CRA建议与USN&WR合作,创建一个对计算机研究界可信的排名方案,但他拒绝与CRA或更广泛的社区合作。11月1日,在全球排名发布后,我们联系Morse,指出他们所用方法的问题,并要求这些基于有缺陷源数据的全球排名被撤回,但Morse没有回应。我们敦促社区忽视计算机科学的USN&WR排名。
此致
Susan Davidson,CRA董事会主席,宾夕法尼亚大学Weiss教授
Andrew P. Bernat,CRA执行董事
Carla Brodley,东北大学院长
Laura Haas,马萨诸塞州阿默斯特大学院长
H.V. Jagadish,密歇根大学Bernard A. Galler教授
Kathryn S. McKinley,谷歌
Mario Nascimento,阿尔伯塔大学Chair兼教授
Fred Schneider,康奈尔大学Chair兼Samuel B. Eckert教授
最佳大学榜单是如何排出来的?
U.S. News的大学排行榜是全球最具影响力的大学排行榜之一,备受关注。那么它排行的依据是什么呢?
U.S. News“最佳大学”排名是如何产生的呢?主要看下面7个维度:
教育结果(35%,去年为30%)
这是榜单中权重最高的指标,它衡量的是在正常就学时间1.5倍的时长内(即六年)正常毕业和未能毕业的比例。因为顺利获得学位,无论是对于雇主还是研究生院而言都是很重要的。这部分指标分为社会流动性(5%),毕业和延期(22%)以及毕业率表现(8%)。
师资力量(20%)
研究表明,学生越能接触到优秀的教师,他们在课堂上的参与度就越高,他们学到的东西就越多,顺利毕业的可能性就越大。本次发布新榜单沿用了2017-2018学年的五个指标来评估学校对教学的承诺,分别为:班级规模、教师薪资、教师最高学历、师生比例和全职教师比例。
专家意见(20%,去年为22.5%)
我们调查了顶尖的学者的意见,包括校长、教务长和招生部门负责人,要求他们对其他学校的学术质量进行评估,评分从1到5。此外还通过电子邮件调查了来自全美50个州和华盛顿特区的公立、私立、教区高中的近24400名辅导员的意见。
财务资源(10%)
大学可以通过慷慨的财务支出,为学生提供各种各样的课程和服务。本榜单利用2016和2017财年学校为每个学生在教学、研究、学生服务和相关教育支出方面的平均支出来衡量。在体育、宿舍和医院上的开支不计算在内。
优秀学生(10%,去年为12.5%)
学校的学术氛围受到学生入学选择的影响。简而言之,在高中阶段取得优异成绩的学生成功挑战大学课程的成功率最高,这让大学教师能够设计出高严谨性的课程。
校友捐赠(5%)
考察了自2015年以来拥有学士学位以上的在世校友对母校的捐赠情况,该比例权重较去年没有变化。
高校都想在“大学选美”中得到高分,但这真的能体现大学的价值吗?
早在2007年8月24日,《科学》发表了一篇评论文章,Martin Enserink写的《谁为那些排名高校的人排名?》。
文中提到,美国新闻与世界报道(US News&World Report)为了提高销量,在1983年发明的“高校选美竞赛”,目前已经在全球十几个国家出现。几乎所有的这些榜单都受到来自大学、科学家甚至有些情况下,同行排名者的攻击。
文章还提到了数据收集的问题。大多数的国际排名都非常重视研究成果,这部分是因为这些排名更多是针对政策制定者,同时也是因为教育体系和文化背景在国与国之间差别很大,难以获得切实而有意义的数据。不仅如此,很多这样的数据都是大学自己提供的,关于在USNews排名中造假的事件多有见闻,且记录在案的都不下数十次。“虽然USNews会交叉验证数据,但真心要操控方法总是有的。”
更加具有争议的是同行评议调查,也就是学术专家来对机构进行评判。文中以澳大利亚高校THES排行为例,地域偏差十分严重。USNews排名也十分依赖同行评议,但这个同行评议却是专家“得到一个100个机构的名单,每家都从1到5打分”就完了(注:文中指的是2007年的情况)。
说了这么多,尽管有种种不如意,但正如Science这篇评论最后指出的一样,排名也自有其好处。竞争促使大学表现更好,排名为学生和决策者提供了有关教育质量的参考,即使并不完美。还有排名者指出,在排名中得分高的大学会喜欢宣传这一结果,大学不喜欢被排除在外。
最后让我们用爱因斯坦的话收尾:“Not everything that counts can be counted, and not everything that can be counted counts”。
编辑:储舒婷
责任编辑:顾军
来源:新智元、usnews