Вопросы валидности и надежности эксперимента.

Идеальный эксперимент противостоит реальному, в котором изменяются не только интересующие исследователя переменные, но и ряд других условий. Соот­ветствие идеального эксперимента реальному выражается в такой его характерис­тике, как внутренняя валидность (validity) — достоверность результатов, которую обеспечивает реальный эксперимент по сравнению с идеальным.

Рассмотрим более подробно центральное понятие «валидность». Обратимся к системе отношений «эксперимент—теория—реальность». На основе теории выдви­гается гипотеза, которая, в конечном счете, и проверяется в эксперименте. Методи­ки и план эксперимента должны соответствовать проверяемой гипотезе — степень этого соответствия и характеризует операциональную валидность. Например, в экс­перименте по научению резкий звук зуммера используется как эквивалент «наказа­ния» за ошибку, поэтому возникает сомнение в правильности такой интерпретации. В самом эксперименте мы должны максимально учесть, устранить и т. д. влияние побочных переменных на зависимую переменную. Внутренняя валидность характе­ризует меру влияния независимой переменной на зависимую по отношению к дру­гим факторам. Иными словами, внутренняя валидность тем выше, чем больше веро­ятность того, что экспериментальный эффект (изменение зависимой переменной) вызван изменением независимой переменной.

Эксперимент должен воспроизводить внешнюю реальность. Эксперимент, кото­рый полностью воспроизводит внешнюю реальность, называется экспериментом полного соответствия. Разумеется, в реальности полное соответствие недостижи­мо. Мера соответствия экспериментальной процедуры реальности характеризует внешнюю валидность эксперимента.

Дополнительные переменные, которые требуют учета в эксперименте, влияют на внешнюю валидность. Если от внутренней валидности зависит достоверность экспериментальных результатов, то от внешней — переносимость результатов из лабораторных условий на реальные процессы и обобщение их на другие сферы ре­альности.

Наконец, связь теории и реальности отражается в адекватности теории реально­сти и прогностичности ее предсказаний. Кэмпбелл ввел еще одно важное понятие, характеризующее валидность эксперимента, а именно — конструктивную валид­ность. Конструктная валидность выражает адекватность метода интерпретации экс­периментальных данных теории, т. е. в структуру следует ввести четвертую состав­ляющую — интерпретацию: теория—эксперимент—интерпретация—реальность.

Конструктная валидность, по мнению Кэмпбелла, характеризует правильность обозначения (интерпретации) причины и экспериментального эффекта с помощью абстрактных терминов из обыденного языка или формальной теории.

Таким образом, внутренняя валидность определяется достоверностью интерпре­тации экспериментального эффекта как связи изучаемой причины и следствия (от­ношение эксперимент—интерпретация), а конструктная валидность — правильно­стью употребления терминов той или иной теории при интерпретации данных экс­перимента.

Кэмпбелл отмечает, что установление внутренней валидности требует отбрако-вывания альтернативных объяснений связи между зависимой и независимой пере­менными. Установление конструктивной валидности требует отказа от альтерна­тивных интерпретаций соотношения причины и следствия с понятиями, взятыми из той или иной теории. С точки зрения Кэмпбелла, хороший эксперимент должен:

1) выявлять временную последовательность предполагаемых причины и следствия;

2) показывать, что вероятные причины и эффект взаимосвязаны (ковариантны);

3) исключать влияние побочных переменных, которым можно было бы объяснить экспериментальный эффект;

4) исключать альтернативные гипотезы о теоретиче­ских конструктах, объясняющих эту связь.

Для уяснения отношений между основными характеристиками эксперименталь­ного исследования полезно запомнить следующую схему: (см. рис. 4.5).

Внутренняя валидность является непременным условием любого эксперимента Кэмпбелл выделил восемь основных факторов, нарушающих внутреннюю валид­ность эксперимента.

Первую группу можно назвать факторами выборки:

1. Селекция — неэквивалентность групп по составу, которая вызывает системати­ческую ошибку в результатах.

2. Статистическая регрессия — частный случай ошибки селекции, когда группы отбирались на основе «крайних» показателей (иначе — корреляция из-за не­однородности группы).

3. Экспериментальный отсев — неравномерное выбывание испытуемых из сравни­ваемых групп, приводящее к неэквивалентности групп по составу.

4. Естественное развитие — изменение испытуемых, являющееся следствием те­чения времени, без связи с конкретными событиями изменение состояния (голод, усталость, болезнь и др.), свойств индивида (возрастные перемены, накоп­ление опыта и др.).

Вторая группа — побочные переменные, влияние которых приводит к следую­щим эффектам:

1. Эффект «истории»— конкретные события, происходящие в период меж­ду начальным и итоговым тестированием помимо экспериментального воздей­ствия.

2. Эффект тестирования — влияние предварительного тестирования на результат итогового.

3. Инструментальная погрешность — определяется надежностью метода фиксации поведения испытуемого, т. е. надежностью теста; именно надежность влияет на валидность, по утверждению Кэмпбелла, а не наоборот.

4. Взаимодействие факторов: отбора; естественного развития; истории (разные ис­тории экспериментальных групп) и др.

Позже Кэмпбелл описал еще ряд источников нарушения внутренней валидности. Наиболее существенные относятся к экспериментальной процедуре, а именно: компенсаторное сопоставление эффектов различных воздействий, имитация воздей­ствия, когда его на самом деле не происходит и др.

Реальный эксперимент отличается как от эксперимента идеально­го, так и от самой реальности, которую он призван моделировать. Это отличие фик­сируется таким понятием, как «внешняя валидность» психологического экспери­мента.

Внешняя валидность определяет, в какой мере результаты, полученные в экспе­рименте, будут соответствовать жизненной ситуации, послужившей «первообра­зом» для эксперимента. Кроме того, внешняя валидность характеризует воз­можность обобщения, переноса результатов, полученных в эксперименте, на весь класс жизненных ситуаций, к которым принадлежит «первообразная», и на любые другие.

Надо сказать, что внешняя валидность имеет особое значение на эмпирической стадии развития науки. В принципе возможны такие эксперименты, которые не со­ответствуют никаким реальным жизненным ситуациям, а служат лишь для провер­ки гипотез, источником которых является развитая теория. В развитых науках ис­следователи стремятся избегать «прямого замыкания». Экспериментальный резуль­тат — реальность, так как понятно, что эксперимент строится исходя из требований проверяемой теории, а не из требований соответствия реальности. Моделирование некоторых условий, например, в экспериментах по сенсорной депривации или выра­ботке классических условных рефлексов, не соответствует никакой жизненной ре­альности. При условии, если под реальностью понимать то, что было, а не то, что потенциально может быть. Поэтому многостраничные рассуждения такого солидного автора, как Готтсданкер, по поводу «экспериментов полного соответствия» или «экспериментов, улучшающих реальность», кажутся надуманными и архаичными.

Нельзя отрицать значение «внешней валидности» для эксперимента, если учи­тывать общее состояние психологической науки, а не «передовой» край психологи­ческой теории.

Внешняя валидность иногда трактуется как характеристика эксперимента, опре­деляющая возможность переноса (обобщения) полученных результатов на различ­ные времена, места, условия и группы людей (или животных). Однако возможность переноса является следствием двух причин:

1) соответствия условий эксперимента его «первообразной» жизненной ситуации («репрезентативность» эксперимента);

2) типичности самой «первообразной» ситуации для реальности («репрезентатив­ность» ситуации).

Выбранная для моделирования в эксперименте ситуация может быть совершенно нерепрезентативной с точки зрения жизни той группы испытуе­мых, которая участвует в эксперименте, или являться редкой и нетипичной.

Внешняя валидность, как определяет ее Готтсданкер, влияет прежде всего на достоверность выводов, которую дают результаты реального эксперимента по срав­нению с экспериментом полного соответствия. Для достижения высокой внешней валидности нужно, чтобы уровни дополнительных переменных в эксперименте со­ответствовали их уровням в реальности. Эксперимент, который не имеет внешней валидности, считается неверным. Добавим, что он неверен, если источником гипо­тезы является реальность, обыденное знание, а не теория. Эксперимент, не соответ­ствующий реальности, может обладать совершенной внутренней и операциональ­ной валидностью. Другое дело, что прямой перенос его результатов в реальность невозможен без учета влияния на зависимую переменную помимо независимой и дополнительных переменных.

Очевидно, что достижение полной внешней валидности невозможно в принци­пе, поэтому любое «чистое» аналитическое исследование является внешне невалид­ным. Вместе с тем рекомендуется максимально учитывать влияние дополнительных переменных на экспериментальный эффект, так как неизвестно, когда будет построена теория для их объяснения, а данные, возможно, придется использовать на практике.

Заботу о внешней валидности эксперимента особо проявляют исследователи, ра­ботающие в прикладных областях: клинической психологии, педагогической и орга­низационной психологии. Это понятно, ибо для решения своих повседневных задач им чаще приходится прибегать к постановке экспериментов, имитирующих реаль­ность. По сути, историческая дискуссия сторонников лабораторного эксперимента и «естественного эксперимента» была отражением разного методического подхода специалистов, занимавшихся фундаментальной или прикладной психологией. В на­стоящее время факторами, влияющими на внешнюю валидность, считают неустра­нимые особенности эксперимента, отличающие его от реальной ситуации.

1. Эффект тестирования — уменьшение или увеличение восприимчивости испы­туемых к экспериментальному воздействию под влиянием тестирования. Напри­мер, предварительный контроль знаний учеников может повысить их интерес к новому учебному материалу. Поскольку генеральная совокупность предвари­тельному тестированию не подвергается, то результаты для нее могут быть не­репрезентативными.

2. Условия проведения исследования. Они вызывают реакцию испытуемого на экс­перимент. Следовательно, его данные нельзя переносить на лиц, не принимав­ших участия в эксперименте, этими лицами является вся генеральная совокуп­ность, кроме экспериментальной выборки.

3. Взаимодействие факторов отбора и содержания экспериментального воздей­ствия. Их следствия — артефакты (в экспериментах с добровольцами или испы­туемыми, участвующими по принуждению).

4. Интерференция экспериментальных воздействий. Испытуемые обладают памя­тью и обучаемостью. Если эксперимент состоит из нескольких серий, то первые воздействия не проходят для них бесследно и сказываются на появлении эффек­тов от последующих воздействий.

Большинство причин нарушения внешней валидности связано с особенностями психологического эксперимента, проводимого с участием человека, которые отли­чают психологическое исследование от эксперимента, осуществляемого специали­стами других естественных наук.

Еще раз отметим, что проблема внутренней валидности разрешима в принципе, так как можно подобрать соответствующие процедуры планирования экс­перимента и математической обработки результатов, чтобы обеспечить заданный уровень их достоверности.

Согласно Кэмпбеллу, проблема внешней валидности как репрезентативности эксперимента по отношению к реальности неразрешима, так как индукция, т.е. обобщение, никогда не может быть полностью объективна.

Проблема внешней валидности как адекватности ситуации эксперимента его «первообразной» жизненной ситуации также неразрешима логическими и матема­тическими средствами: она требует привлечения всей совокупности научных пси­хологических знаний для описания ситуации в целом.

Валидность означает пригодность теста измерять то свойство, для измерения ко­торого он предназначен. Следовательно, чем больше на результат выполнения тес­та или отдельного задания влияет измеряемое свойство и чем меньше — другие пе­ременные (в том числе внешние), тем тест валидней и, добавим, надежнее, посколь­ку влияние помех на деятельность испытуемого, измеряемую валидным тестом, минимально.

Но это противоречит классической теории теста, которая основана не на дея-тельностном подходе к измерению психических свойств, а на бихевиористской па­радигме: стимул—ответ. Если же рассматривать тестирование как активное порож­дение испытуемым ответов на задания, то надежность теста будет функцией, произ­водной от валидности.

Тест валиден (и надежен), если на его результаты влияет лишь измеряемое свой­ство.

Тест невалиден (и ненадежен), если результаты тестирования определяются вли­янием нерелевантных переменных.

Каким же образом определяется валидность? Все многочисленные способы до­казательства валидности теста называются разными ее видами.

1. Очевидная валидность. Тест считается валидным, если у испытуемого скла­дывается впечатление, что он измеряет то, что должен измерять.

2. Конкретная валидность, или конвергентная—дивергентная валидность. Тест должен хорошо коррелировать с тестами, измеряющими конкретное свойство либо близкое ему по содержанию, и иметь низкие корреляции с тестами, измеряю­щими заведомо иные свойства.

3. Прогностическая валидность. Тест должен коррелировать с отдаленными по времени внешними критериями: измерение интеллекта в детстве должно пред­сказывать будущие профессиональные успехи.

4. Содержательная валидность. Применяется для тестов достижений: тест дол­жен охватывать всю область изучаемого поведения.

5. Конструктная валидность. Предполагает:

а) полное описание измеряемой переменной;

б) выдвижение системы гипотез о связях ее с другими переменными;

в) эмпирическое подтверждение (неопровержение) этих гипотез.

С теоретической точки зрения, единственным способом установления «внутрен­ней» валидности теста и отдельных заданий является метод факторного анализа (и аналогичные), позволяющий:

а) выявлять латентные свойства и вычислять значение «факторных нагрузок» — коэффициенты детерминации свойств тех или иных поведенческих признаков;

б) определять меру влияния каждого латентного свойства на результаты тести­рования.

К сожалению, в классической теории теста не выявлены причинные связи фак­торных нагрузок и надежности теста.

Дискриминативность задания является еще одним параметром, внутренне при­сущим тесту. Тест должен хорошо «различать» испытуемых с разными уровнями выраженности свойства. Считается, что больше 9-10 градаций использовать не стоит.

Тестовые нормы, полученные в ходе стандартизации, представляют собой систе­му шкал с характеристиками распределения тестового балла для различных выбо­рок. Они не являются «внутренним» свойством теста, а лишь облегчают его практи­ческое применение.