Прежде чем двигаться дальше, отметим, что сам факт выявления такого рода знаний и способностей показывает, что проблема педагогического оценивания и измерения принципиально разрешима. Вот что мы делали в процессе этого исследования:
• наблюдали за учениками в процессе выполнения интересных для них заданий;
• фиксировали многочисленные и взаимозаменяемые компетентности, которые они проявляли при выполнении этих заданий;
• приняли описательный подход при заполнении протоколов наблюдения вместо того, чтобы фиксировать результаты в баллах или «переменных»;
• различали учеников по занятиям, которые их интересовали, и компетентностям, которые они проявляли в ходе этих занятий.
Основная мысль следующих глав состоит в том, чтобы показать возможность построения альтернативной концепции оценки содержания, методов и результатов обучения.
Традиционная оценка программ обучения ведет к некорректным выводам
Показав проблемы, которые передовая педагогическая практика ставит перед традиционным оцениванием, я перейду теперь к рассмотрению некоторых крайне дезориентирующих выводов исследований, выполненных в рамках доминирующей измерительной парадигмы, и обосную необходимость альтернативной измерительной концепции.
Исследования показали, что обучение по программе «Открытое образование» приводит к снижению баллов при традиционной тестовой оценке чтения, письма и счета. Stallings[5] обнаружила то же самое при оценке программы «Помощь на старте» («Headstart Follow Through» – программа, направленная на развитие интеллектуального потенциала учащихся, принадлежащих к низшему социо-экономическому слою. – Примеч. переводчиков). Однако она отметила и кое-что еще: «Открытое образование» повышает остроту восприятия и мышления – фактор, измеряемый с помощью теста «Прогрессивные матрицы Равена».[6] («Прогрессивные матрицы Равена» – один из классических тестов интеллектуальных способностей; разработан Дж. К. Ра-веном-старшим, отцом автора данной книги. – Примеч. переводчиков.) Теперь спросим: какие выводы получились бы, если при оценке результатов «Открытого образования» использовались бы тесты, направленные на измерение наиболее значимых для этих программ качеств (лидерства, способности работать с другими, общаться, понимать других людей и оказывать на них влияние) и чувствительные к особенностям приобретенного в обучении опыта (вместо тестов, сконструированных так, чтобы результаты по ним как можно меньше зависели от этого опыта)? Очень возможно, что удалось бы обнаружить существенные позитивные результаты данной программы. Важно отметить, что даже использование очень хороших тестов для оценки навыков чтения, письма и счета может привести к противоречивым результатам. Традиционные измерения навыка чтения не в состоянии оценить стратегии работы с текстом, такие, как отказ от дальнейшего чтения книги или статьи, не соответствующей цели чтения, использование оглавления для поиска нужной информации или привлечение прочитанного для стимуляции собственных размышлений. Программы обучения, способствующие развитию такого высокого уровня компетентности читателя, могут легко привести к снижению оценок по таким тестам, которые измеряют готовность прочесть фрагмент неинтересного текста и способность запомнить ответы, которые испытуемый легко нашел бы, если бы они ему понадобились. Как показали Bullock[7] и McClelland,[8] традиционные тесты по английскому языку не измеряют способности эффективно общаться. Действительно, станет ли беспокоиться о нарушениях грамматических правил тот, кто способен влиять на аудиторию посредством намека, аллюзии, привлечения широкого контекста?[9] (Cockcroft[10] пришел к аналогичным выводам в отношении арифметики.)
Прочитав последний абзац, легко согласиться и сказать: «Ну, конечно!» – однако не сделать самых важных выводов.
Как утверждается в изданных Объединенным комитетом «Стандартах экспертизы образовательных программ, проектов и материалов»,[11] экспертные заключения должны опираться только на результаты, полученные с помощью надежных и валидных тестов. К сожалению, трудно понять, как можно считать валидным измерение, если оно не способно зафиксировать наиболее важные результаты педагогического процесса; не служит оправданием данной ситуации и то, что в настоящее время нет надежных и валидных тестов для выявления этих результатов. Многие из самых важных результатов образовательного процесса очень трудно оценить формально, потому что им, как и результатам экономического или социального развития, требуется немало лет, чтобы проявиться в полной мере. Отказ от обсуждения результатов, которые в данный момент не поддаются измерению «надежными и валидными тестами», уводит дискуссии о политике в сфере образования от обсуждения реального педагогического процесса и его наиболее важных результатов к обсуждению того, что легче всего измерить. Объединенный комитет не проявляет беспокойства по этому поводу, а Стэнфордский исследовательский институт (где работала Stallings) однажды даже лишился контракта, когда указал, что для проведения квалифицированной экспертизы придется сначала разработать измерители такого рода результатов. Это позволяет предположить, что существует глубоко укоренившееся нежелание рассматривать те последствия, которые происходят от недостатка адекватных способов выявления и измерения более широкого спектра результатов педагогического процесса. Одним из ярких проявлений этой позиции служит нынешнее слепое применение тестов на оценку компе-тентностей элементарного уровня как показателей эффективности обучения. Как-то ускользает от внимания то обстоятельство, что эти тесты вообще неспособны оценивать обсуждавшиеся выше результаты обучения и поэтому не должны рассматриваться в качестве тестов эффективности обучения. Вопреки заявлениям, звучащим в начале большинства докладов и речей по проблемам образования, внимание политиков, школьных реформаторов, администраторов, учителей, родителей и учащихся, тем не менее, полностью сосредоточено на элементарных результатах, которые, как будет показано дальше, не имеют особого значения ни для отдельных людей, ни для всего общества. И эти доклады, и политика в сфере образования в целом совершенно справедливо были названы бывшим английским премьер-министром Эдвардом Хитом «лукавым трюком». Есть все основания опасаться, что отсутствие связи между правильно поставленными высокими целями, верно сформулированными проблемами в образовании и существующими способами «контроля качества» приведет к игнорированию имеющихся трудностей и не позволит достигнуть желаемых целей. В то же время контроль качества образования, направленный на измерение не тех результатов, которые хотелось бы получить, уводит всех работающих в системе образования и определяющих политику в этой области в ложном направлении.
Второй пример неадекватных выводов, сделанных исследователями, находящимися в плену существующей парадигмы педагогических измерений, заимствован нами из работ по программе «Совершенствование школьных навыков» («Mastery learnings»). Если кто-нибудь спросит, что в первую очередь станет делать ученик – участник программы «Совершенствование школьных навыков», когда он, выполнив задание, ждет, пока остальные его догонят, то получит ответ: он либо будет помогать своим более медлительным товарищам, либо пойдет играть в футбол. Таким образом, эти ученики не только узнают, что они «умные» (то есть способны быстро справляться с рутинными заданиями), но они также имеют возможность развить какие-то дополнительные компетентности – необходимые, например, чтобы учить других или чтобы играть в футбол. Другими словами, это ведет также к возрастанию различий между учениками в такого рода компетент-ностях. Итак, вопреки цели выравнивания школьных достижений, на которую направлена программа «Совершенствование школьных навыков», она просто перемещает неравенство учащихся в иную, неконтролируемую область. Еще серьезнее то, что, заставляя учеников выполнять задания, в которых они не могут добиться успеха, такого рода программы лишают медлительных, отстающих учеников возможности упражнять и развивать их наиболее важные и наиболее оригинальные способности. То же самое происходит, например, при стандартизированной проверке базовых навыков перед допуском учеников к выполнению новых заданий (например, к работе в проектах) и в большинстве «кор-рекционных» программ, которые требуют, чтобы дети с трудностями в обучении проводили едва ли не все свое учебное время в работе над базовыми навыками. Эти программы формируют такую самодостаточную среду, в которой только и можно выразить различие между учениками по какой-то одной единственной «способности». Медлительные ученики фактически лишены возможности попрактиковать свои способности в изобретательстве, умении убеждать, лидерстве, общении и слушании в процессе деятельности, которая их интересует. К тому же они лишены возможности показать, что, находясь в обстоятельствах, не выставляющих их в смешном виде, они, несмотря на свои «низкие способности», на самом-то деле могут хорошо справиться по крайней мере с некоторыми заданиями. Подобные процедуры обучения и контроля рождают представление об особой значимости фактора общих способностей. Если бы те люди, которые заказывали разработку и экспертизу школьных навыков, обладали бы более широкими и разносторонними взглядами на образование, на педагогические достижения и попытались бы содействовать развитию разнообразных способностей учащихся, а эксперты, в свою очередь, постарались измерить более широкий спектр результатов образования, их выводы были бы существенно иными.