Рис. 1.2. Элли и Янира: успеваемость за 5-й класс
Источник: © 2011, Battelle for Kids.
Ежегодные отчеты о результатах тестирования не принимают во внимание различия между одними и теми же когортами учеников. Поэтому отчеты о динамике изменения результатов тестирования аналогичны графикам сравнения яблок с апельсинами и ананасами.
Поскольку каждая когорта учеников в определенный год обучения имеет свой средний уровень знаний и навыков, данные тестов не слишком полезны для оценки качества используемой образовательной программы. Программа может быть очень действенной для учеников, соответствующих уровню класса, но не подходить тем, кто отстает от этого уровня, не освоив нужных навыков в предыдущих классах. Поэтому в зависимости от текущего состава класса – от знаний и навыков учеников на начало года – одна и та же программа обучения может оказаться как эффективной, так и неэффективной.
Показатели успеваемости в различных формах используются уже много десятилетий. В большинстве штатов США почти повсеместно эти данные являются первичными для школьной отчетности. Иначе говоря, вклад школы в развитие школьника оценивается по его отметкам на итоговых квалификационных экзаменах. Повысившееся за последнее десятилетие внимание к стандартам оценки качества образования в школьных учреждениях увеличило и интерес к показателям успеваемости (результатам экзаменов). Вклад школ в успеваемость учеников оценивается через общие для всех школ каждого штата системы отчетности, а также нормативы надлежащего ежегодного прогресса (AYP).
Баллы успеваемости имеют свою ценность. Они показывают уровень усвоения учеником информации, который выражается в форме утвержденных штатом нормативов знаний по предметам. Экзамены, проводимые на уровне штатов, дают учащимся возможность "показать себя", и высокие баллы открывают путь к дальнейшему образованию и успешному трудоустройству. Однако у системы, оценивающей лишь успеваемость, есть серьезные недостатки. Самая большая потеря – это невозможность учесть один из важнейших факторов, влияющих на результаты экзаменов, а именно – социально-экономический статус. Его влияние на оценки мы видели на графике разброса успеваемости, представленном выше.
В знаковой работе "Исследование равноправия в образовании", опубликованной в 1966 г. американским социологом Джеймсом С. Коулманом [Coleman, 1966], проанализирона успеваемость 600 тыс. детей из 4 тыс. школ. В 1999 г., оценивая влияние этого исследования спустя более 30 лет после его публикации, писатель Дэвид Дж. Хофф отмечает: "Вместо того чтобы доказать, что качество школ является важнейшим фактором академической успеваемости учащихся – чего ждали от исследования его спонсоры, – отчет, написанный социологом Джеймсом С. Коулманом из Университета Джонса Хопкинса, показал, что самый точный прогноз относительно успехов в учебе можно сделать на основании семейного окружения и социально-экономического статуса учеников школы" [Hoff, 1999, p. 33].
Это исследование, получившее известность как "Отчет Коулмана", привело к ряду стратегических государственных решений, опирающихся на идею о том, что социально-экономические факторы оказывают значительное влияние на успехи в учебе или их отсутствие. Еще одним важным результатом отчета Коулмана стало мнение некоторых преподавателей о том, что их действия в классе не имеют большого значения, ведь Коулман утверждает, что семья и социально-экономические факторы сильнее влияют на успехи учеников, чем качество школьного образования.
Некоторые учителя считают, что не их вина, если ребенок в нужное время не учился учиться, и такого рода убеждения и сегодня не чужды нашей образовательной культуре. По этой причине сегодня отчет Коулмана "повсеместно считается самым важным исследованием XX в. в сфере образования" [Ibid.].
В 2002 г. (через 34 года после выхода Отчета Коулмана) был принят закон "Ни одного отстающего ребенка" (No Child Left Behind Act – NCLB), придавший новый смысл понятию отчетности в образовании. Закон NCLB предписывал каждому штату установить стандарты знаний по предметам, если таковые еще не установлены, а каждому ребенку к 2014 г. следовало достичь удовлетворительного уровня успеваемости.
Закон NCLB открыл стране глаза на пробелы в образовании, однако несмотря на разумное зерно, содержащееся в требованиях установить стандарты знаний по предметам, этот закон никак не способствовал тому, чтобы помочь всем ученикам достигнуть удовлетворительного уровня успеваемости. Эксперты по анализу данных о добавленной стоимости д-р Уильям Сандерс и д-р Джун Риверс отмечают, что внимание к успеваемости, предписанное законом NCLB, "ведет к победе в битве, но к поражению в войне" [Rivers, Sanders, 2009, p. 45]. Исследователь Тед Хершберг пишет, что "в своей нынешней формулировке закон NCLB вряд ли приведет к необходимым переменам… Но если штаты примут новую статистическую методологию, известную как оценка добавленной стоимости, которая позволяет оценить вклад обучения в успеваемость учащихся, они обеспечат преподавателей мощным диагностическим инструментом, который позволит усовершенствовать методы обучения и заложит фундамент для преобразования наших школ" [Hershberg, 2004, p. 5].
Итак, мы установили, что социально-экономический статус влияет на результаты обучения, а внимание к одной лишь успеваемости не будет способствовать росту, необходимому для достижения учениками удовлетворительного уровня этой успеваемости. Мы определили понятие успеваемости и оценили важность роли, которую это понятие играет в формировании текущей системы отчетности школ. Тем не менее классы, подобные классу Яниры, во всех школах страны носят ярлык неудачников. это значит, что нам стоит перейти к изучению другой точки зрения на эффективность преподавания, а именно – к анализу данных о добавленной стоимости.
Тезис 3
Анализ данных о добавленной стоимости: справедливая система оценки
Рассмотрим еще один график разброса.
На рис. 1.3 отражена взаимосвязь социально-экономического статуса и прироста добавленной стоимости. На ординате ноль соответствует отсутствию разницы между ожидаемыми и полученными оценками учеников. Иными словами, точки, расположенные вблизи нулевой отметки, означают средний – он же приемлемый, или близкий к ожидаемому, – годовой рост. Отрицательные значения прироста добавленной стоимости, т. е. точки, расположенные ниже нулевого уровня, означают годовой рост, оказавшийся ниже ожидаемого. Положительные значения прироста добавленной стоимости – все, что оказалось выше нулевого уровня, – представляют прогресс, превысивший ожидания. Так что же мы видим? Какова взаимосвязь прогресса и социально-экономического статуса?
Рис. 1.3. Прогресс и социально-экономический статус
Источник: Данные Департамента образования штата Огайо (2009), адаптированные для наст. изд.
Из этого графика видно, что прирост добавленной стоимости практически не зависит от социально-экономического статуса. Иначе говоря, ученики из бедных семей также способны добиться прироста добавленной стоимости, как и дети из более состоятельных семей. Есть школы с высокой долей детей из малообеспеченных семей, которые демонстрируют впечатляющий рост с точки зрения анализа добавленной стоимости, а есть такие же школы, в которых этого роста не наблюдается. В левой части графика можно увидеть, что отдельным школам с низким уровнем бедности удалось достичь выдающихся результатов, но другие школы из этой категории продемонстрировали результаты гораздо ниже ожидаемых в один и тот же год.
Какие выводы можно сделать и какими вопросами нам стоит задаться после изучения этих графиков? Во-первых, эти графики демонстрируют, что все, что мы делаем в качестве преподавателей, имеет значение. Мы не можем влиять на финансовую ситуацию в семьях наших учеников, но мы можем повлиять на то, что с ними происходит, когда они приходят в школу. Обратите внимание, что наши выводы явно расходятся с выводами Отчета Коулмана. Анализ данных о добавленной стоимости устанавливает правила игры, одинаковые для всех. При том что успеваемость зависит от социально-экономического статуса, прирост добавленной стоимости с ней практически не коррелирует. Эти выводы сделаны на основе изучения данных о прогрессе не только школ штата Огайо, но и школ в Теннесси и на Восточном побережье Соединенных Штатов [Hershberg, 2004]. Следовательно, не будет ошибкой утверждать, что анализ данных о добавленной стоимости представляет собой гораздо более справедливую систему оценки того, что происходит в классах, школах и целых школьных округах.
Анализ данных о добавленной стоимости устанавливает правила игры, одинаковые для всех.
Здесь также имеются политические и исследовательские последствия. Что делают школы, которые добиваются значительного прогресса, а также остальные школы, оказавшиеся на графике выше нулевого уровня? можем ли мы изучить те практические действия, которые предпринимают учителя этих школ, и внедрить их практики в других образовательных учреждениях? Что именно не работает в тех школах, которым за год не удалось добиться ожидаемых результатов? Возможно, некоторые методы и действия преподавателей необходимо исключить или заменить более эффективными практиками? Преподаватели, исследователи и законодатели используют информацию о добавленной стоимости, чтобы начать отвечать на эти вопросы.