Главными недостатками рейтингов признаны стремление сконцентрироваться на результатах прошлой деятельности вузов и акцент на количественных показателях оценки (которые предположительно характеризуют качество).
Так, оценки репутации на основе опросов критикуются за их субъективизм и высокую степень зависимости от ретроспективной эффективности. Показатель, свидетельствующий о высоких баллах при получении итоговой квалификации в результате обучения, может не свидетельствовать об эффективности образовательного процесса, а быть результатом высоких требований к уровню подготовки при поступлении в учебное заведение. Помимо этого, различные присваиваемые квалификации могут предполагать различную сложность выпускных испытаний, что также сказывается на уровне указанного индикатора эффективности.
Главными недостатками рейтингов признаны стремление сконцентрироваться на результатах прошлой деятельности вузов и акцент на количественных показателях оценки (которые предположительно характеризуют качество).
Так, оценки репутации на основе опросов критикуются за их субъективизм и высокую степень зависимости от ретроспективной эффективности. Показатель, свидетельствующий о высоких баллах при получении итоговой квалификации в результате обучения, может не свидетельствовать об эффективности образовательного процесса, а быть результатом высоких требований к уровню подготовки при поступлении в учебное заведение. Помимо этого, различные присваиваемые квалификации могут предполагать различную сложность выпускных испытаний, что также сказывается на уровне указанного индикатора эффективности.
Также в числе недостатков рейтингов назван, как ни парадоксально, чрезмерный акцент именно на исследовательских показателях. Дело в том, что в интересах развития своей территории, региона и страны качественное обучение новым специальностям и, главное, компетенциям актуализируется само по себе, безотносительно к исследовательским показателям. Так, например, частой критике со стороны специалистов подвергаются так называемые типичные индикаторы эффективности научной деятельности, такие как количество публикаций, цитируемость публикаций, импакт-факторы журналов.
Практические рекомендации по рейтингам и отчетности в высшем образовании разрабатываются соответствующими комиссиями ЮНЕСКО. Так, на глобальном форуме ЮНЕСКО в Париже (май 2011 г.) университетские рейтинги оценивались в контексте инструментов отчетности, которые необходимо активнее использовать для поддержания качества высшего образования и его развития. Изучались те инструменты отчетности, которые акцентируются на разнообразии критериев и экспертных оценок. Речь шла об оценке качества, бенчмаркинге, оценке итогов обучения, аккредитации, лицензировании и иных формах оценки.
Общая тенденция в отношении к рейтингам состоит в стремлении создать новую, многомерную и максимально объективную систему оценки вклада университетов в экономический рост конкретных стран и мира в целом. Успех подобных реформ сделает невозможной ситуацию, когда университеты конкретной страны не входят в список лучших университетов мира, хотя сама страна обгоняет по показателям развития национальной инновационной системы те государства, вузы которых находятся на самой вершине традиционных мировых рейтингов. К примеру, сейчас в список 50 лучших университетов по рейтингам THE и ARWU не входят вузы стран Скандинавии. В обоих рейтингах лидерство принадлежит американским и британским университетам. Однако на данный момент национальные инновационные системы скандинавских стран по большинству качественных показателей фактически опережают и США, и Великобританию.
Все более активно призывают к качественным межуниверситетским сравнениям взамен традиционных рейтингов университеты ведущих стран Азии. По их мнению, критерии мировых университетских рейтингов недостаточно надежны и университеты слишком разнятся между собой, что не позволяет проводить корректные сравнения. Об этом, например, было заявлено на конференции по высшему образованию стран Азиатско-Тихоокеанского региона (ноябрь 2010 г.). Рейтинги должны быть более «чувствительными» к анализу предметных зон, поскольку некоторые университеты сильны по одним дисциплинам и посредственны по другим.
По мнению Национального агентства научно-технологического развития Таиланда, рейтинги вузов должны стать более похожими на рейтинги кредитных агентств и банков. Последние, как известно, учитывают, прежде всего, качество работы, а не формальное положение в рейтинговой таблице. Агентство предлагает группировать университеты в определенном диапазоне качества обучения и исследований. Таким образом, они будут расположены в рамках единого кластера, что характеризует качественный подход взамен количественного.
В качестве аналога Исследовательский фонд Таиланда (финансирующий высшее образование страны) выбрал действующую в Великобритании с 1986 года систему, в соответствии с которой выделены 5 категорий качества вузов:
1) уровень мирового класса;
2) уровень международного совершенства;