Для схематического изображения экспериментальных планов мы будем использовать следующие обозначения. Буквой Т мы будем обозначать измерительную процедуру, которой подвергаются испытуемые. Буквой Г будем обозначать группу испытуемых, привлеченных к эксперименту, при этом верхний индекс будет указывать, является ли данная группа экспериментальной или контрольной – Г и Г. Под экспериментальной группой понимается множество испытуемых, являющееся подмножеством исследуемого отношения. Контрольная группа подбирается таким образом, что все ее члены не находятся в данном отношении. Так, например, если исследуется новый метод интенсивного обучения, то этот метод применяется в экспериментальной группе и не применяется в контрольной. Далее группы могут подвергаться тестированию в разные моменты времени. Момент времени, в который группа была подвергнута тестированию, будет фиксироваться нижним индексом: Г – означает, что данная экспериментальная группа была тестирована в 1 момент времени. Нижние индексы, таким образом, указывают порядок тестирования групп. Буквой D мы будем обозначать множество результатов измерения, т. е. зависимую переменную. В схемах будет использована такая стрелка →, которая будет выступать в двух значениях. В паре Т → Г стрелка будет обозначать, что тестовые задания предъявляются группе испытуемых; в паре Г → D стрелка будет обозначать, что экспериментатор свел результаты тестирования в специальную таблицу, называемую матрицей первичных данных, которая фактически и обозначается буквой D. В этой таблице каждому испытуемому ставится в соответствие единственная оценка по каждому тестовому заданию.
Первый наипростейший экспериментальный план модно, вслед за Кэмбэллом, называть "исследованием единичных случаев". Его схема такова: Т – Г – D. Это исследование заключается в том, что проводится единичное тестовое обследование некоторой группы испытуемых. В таком описании исследование, построенное по данному плану, практически не имеет научной ценности. Однако если исследователь уже сформулировал проблему и определил объект и предмет исследования, то научная ценность единичного обследования может быть существенно увеличена с точки зрения его использования для пилотажного исследования.
Следующий экспериментальный план строится на двукратном тестировании, проводимом до некоторого экспериментального воздействия на группу и после него. Схема такого исследования выглядит так:
Т – Г – D
Т – Г – D
Этот план также годен только для пилотажного исследования. Действительно, при таком плане у исследователя не может быть уверенности в том, что между моментами времени 1 и 2 не произошло каких-то существенных изменений в группе, не учтенных при формулировании гипотезы о различии D1 и D2. Кроме того, ничего неизвестно о том, какие отношения, существующие в группе, определили результаты в целом и связаны ли эти отношения с теми, которые интересуют исследователя. Еще раз подчеркнем, однако, что точное определение проблемы, объекта и предмета исследования ослабляет действие угроз валидности и позволяет исследователю формулировать правдоподобные гипотезы, предполагая их проверку в основном эксперименте. Такое ослабление обусловлено подробным теоретическим исследованием всей системы, определяющей область исследования, что позволяет заранее уяснить существующие ограничения степеней свободы побочных переменных.
Следующий экспериментальный план предполагает сравнение двух групп на основе их однократного тестирования. Схема плана выглядит следующим образом:
Т – Г – D
Т – Г – D
Этот план позволяет уже контролировать влияние побочных условий на проведение эксперимента, так как обе группы должны находиться в одинаковых условиях. Однако в этой случае исследователям ничего неизвестно о том, каковы были эти группы до осуществления экспериментального воздействия, а следовательно, различия между D и D могут быть результатом изначальных различий групп по тем или иным свойствам. Легко видеть, что объединение второго и третьего экспериментальных планов позволяет контролировать (в смысле уравнивания для контрольной и экспериментальной групп) все угрозы внутренней валидности. В результате такого объединения мы получим четвертый экспериментальный план, который иногда называют собственно экспериментальный в отличие от предыдущих – доэкспериментальных. Схема этого плана такова:
Т – Г – D Т – Г – D
Т – Г – D Т – Г – D
Этот план может быть использован при проведении основного эксперимента. В этом случае на выходе исследователь имеет четыре матрицы первичных данных, которые характеризуют начальные и конечные состояния обеих групп. Следует, однако, помнить, что данный план позволяет лишь уравнять все побочные влияния для обеих групп, т. е. обеспечивает одинаковое смещение всех экспериментальных оценок, но не позволяет узнать, каково это смещение. Такой план, следовательно, представляется удовлетворительным всегда, когда измерения производятся в интервальных шкалах. В этом случае мы можем увеличить или уменьшить все оценки на постоянную величину, не потеряв при этом никакой информации. Если же измерение каких-то показателей производилось в шкале отношений, и это важно для исследователя, то для уверенности в том, что результаты измерения не искажены побочными влияниями, следует использовать более сложный план. Таким планом может служить план Соломона, названный по имени исследователя, предложившего его. Схема этого плана такова:
Т – Г -D Т – Г – D Т – Г -D
Т – Г – D Т – Г – D Т – Г – D
Верхние индексы Э1 и К1 означают, что речь идет уже о других экспериментальной и контрольной группах, не пересекающихся с первыми. Таким образом, для реализации плана Соломона необходимо наличие четырех различных групп испытуемых. При этом в группе Г определено исследуемое отношение, а в Г – нет. Пусть теперь некоторый результат измерения d из D является показателем измерения исследуемого свойства в шкале отношений. Тогда должны быть выполнены следующие условия:
1) d є 0, если d ∈ D или d ∈ D (нижний индекс любой).
Пусть d1 ∈ D1, d2 ∈ D2, d3 ∈ D3, тогда
2) d1 ≠ d2 = d3 = 0.
Если выполнены оба условия, то можно утверждать, что экспериментальный план согласован с измерением в шкале отношений и все побочные влияния на исследуемую переменную устранены.
Если второе условие не выполнено (но выполнено первое), т. е. d2 ≠ d3, то говорят, что измеряемая переменная взаимодействует с измерительным методом. При этом предполагается, что обе экспериментальные группы уравнены по измеряемым характеристикам.
Если не выполнено и первое условие, то пропорциональность шкалы нарушается, если, однако, d во всех трех указанию: в первом условии множествах данных остается постоянным, то можно говорить, что исследуемое свойство измерено в шкале интервалов и все побочные влияния манкированы. Необходимо добиться выполнения этого последнего условия при проведении основного эксперимента. Это может быть сделано посредством аккуратной проверки всех условий эксперимента и устранения всех "подозрительных" факторов, т. е. тех, которые могут оказывать влияние на исследуемую переменную.
Подготовка данных для обработки на ЭВМ.
В начале параграфа несколько слов о том, зачем нужна обработка данных на ЭВМ. Необходимость такой обработки обусловлена сложностью предмета современного психолого-педагогического исследования. Множественность составляющих его отношений делает невозможным их количественное сравнение без ЭВМ, в силу естественных временных ограничений человеческой деятельности. Но дело не только в этом. Сложность предмета исследования стимулировала разработку адекватных этой сложности методов количественного представления данных, которые в силу исторических причин оказались неразрывно связанными с электронно-вычислительной техникой. В настоящее время не представляется возможным проведение того или иного вида статистического анализа даже для небольшого числа измерений без использования ЭВМ.