Вопрос 5. Что угрожает валидности эксперимента? Как преодолеть эти угрозы?

Список литературы:

· Дружинин В.Н. Экспериментальная психология. Гл. 3 («Психология психологического эксперимента»), 5.1 («Экспериментальные планы»).

· Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях.

· Лекция 6 Осина Е.Н. Планы исследований: эксперимент

Краткий ответ.

Внутренняя валидность — это тот минимум, без которого не может быть интерпретирован ни один эксперимент: действительно ли именно это экспериментальное воздействие привело к изменениям в данном эксперименте?

Внешняя валидность относится к возможности обобщения вывода: на какие популяции, ситуации, другие независимые переменные, параметры воздействия и переменные измерения могут быть распространены результаты эксперимента.

Угрозу внутренней валидности представляет влияние:

• фона (history) — конкретных событий, которые происходят между первым и вторым измерением наряду с экспериментальным воздействием;

Способ преодоления:

1. Элиминация (изоляция) фоновых воздействий, подходит для физических опытов, которые можно провести в лабораторных условиях. Очень часто не подходят в педагогических экспериментах.

2. Использование двух эквивалентных групп, которые получаются с помощью процедуры рандомизации или каким-либо другим способом, над одной из них будет проводиться воздействие над другой - нет. При этом на той и другой группе используется один и тот же инструмент измерения. (Использование любого истинного экспериментального плана)

• естественного развития (maturation) — изменений испытуемых, являющихся следствием течения времени per se (не связанных с конкретными событиями), например взросление, усиление голода, усталости и т. п.;

Способ преодоления:

1. Использованием двух эквивалентных групп испытуемых, поскольку эффект развития будет одинаково проявляться на контрольной и на экспериментальной группах.

• эффекта тестирования (testing) — влияния выполнения заданий, применяемых для измерения, на результаты повторного испытания;

Способ преодоления:

1. Использованием двух эквивалентных групп испытуемых, поскольку эффект тестирования будет одинаково проявляться на контрольной и на экспериментальной группах. (Использование любого истинного экспериментального плана)

2. Использование одного из способов контроля побочных переменных. Например: «Метод обмана». Чтобы не получить, например, положительных результатов связанных с повышенной мотивацией испытуемых.

• инструментальной погрешности, нестабильности измерительного инструмента (instrumentation), при которой изменения в калибровке инструмента или изменения, характеризующие наблюдателя или оценочные показатели, могут вызвать изменения в результатах измерения;

Способ преодоления:

1. Если используются ответы испытуемых, полученные с помощью фиксированной методики, то достаточно использовать две эквивалентные группы испытуемых. (Использование любого истинного экспериментального плана)

2. Если же в эксперименте участвуют наблюдатели, которые фиксируют эффект, то простой рандомизации и использования двух групп недостаточно. В таком случае пользуются методом «двойного слепого эксперимента», когда ни наблюдатели, ни испытуемые не знают какая из двух групп контрольная, а какая – экспериментальная.

• статистической регрессии (statistical regression), имеющей место тогда, когда группы отбираются на основе крайних показателей и оценок;

Способ преодоления:

1. Использование двух эквивалентных групп, которые получаются с помощью процедуры рандомизации или каким-либо другим способом, над одной из них будет проводиться воздействие над другой - нет. При этом на той и другой группе используется один и тот же инструмент измерения. Чтобы избежать неправильной интерпретации исследователь сначала проводит замер на контрольной группе, а потом использует эти данные для анализа полученной информации в экспериментальной.

• отбора испытуемых (selection) — неэквивалентности групп по составу, вызывающей появление систематической ошибки в результатах;

Способ преодоления:

1. Использование рандомизации или какого-либо другого способа из доступных исследователю.

• отсева в ходе эксперимента (experimental mortality) — неравномерности выбывания испытуемых из сравниваемых групп;

Способ преодоления:

1. Использование результатов всех испытуемых экспериментальной и контрольной групп, в независимости от того пропустили ли они важные этапы эксперимента или нет. Но только тех кто прошел начальный и итоговый этап тестирования. (по Кэмпбеллу)

2. Чтобы помешать отсеву, можно воспользоваться плацебо-терапией в контрольной группе, однако мы можем столкнуться с тем, что будет работать плацебо-терапия, что приведет к некорректным результатам.

3. Также можно воспользоваться методом отложенной терапии, когда контрольная группа выбирается из тех, кто не прошел по жеребьевку и их терапию откладывают.

• взаимодействий фактора отбора с естественным развитием и др., которые в ряде квазиэкспериментальных планов с несколькими группами ошибочно принимаются за эффект экспериментальной переменной.

Угрозу внешней валидности представляет влияние:

ñ реактивный эффект, или эффект взаимодействия тестирования,— возможное уменьшение или увеличение сензитивности, или восприимчивости, испытуемых к экспериментальному воздействию под влиянием предварительного тестирования. Результаты лиц, прошедших предварительное тестирование, будут нерепрезентативны по отношению к тем, кто не подвергался предварительному тестированию, то есть тем, из кого состоит генеральная совокупность, из которых были отобраны испытуемые;

Способ преодоления:

1. Используется «план Соломона» или «план с контрольной группой и тестированием только после воздействия», которые определяют (в первом случае) эффект предварительного тестирования с помощью 4х групп и убирает эффект (во втором случае), просто не используя предварительное тестирование.

ñ эффекты взаимодействия фактора отбора и экспериментального воздействия;

Способ преодоления:

1. Угроза репрезентативности выборки, очень опасна, если мы хотим распространить наши результаты на генеральную совокупность, а не только на строго определенные виды испытуемых. Так для того, чтобы улучшить внешнюю валидность, нам необходимо увеличить выборку, не количество испытуемых, которое можно сократить, а количество мест, в которых будет проводиться эксперимент.

2. Мы никогда не можем утверждать (как это делается в точных науках), что полученные нами результаты могут быть справедливы при изменении эффекта фона, тем не менее, воспроизведение результатов в разное время и в различных условиях повышает нашу уверенность в проводимом обобщении.

ñ условия организации эксперимента, вызывающие реакцию испытуемых на эксперимент, которая не позволяет распространить полученные данные о влиянии экспериментальной переменной на лиц, подвергающихся такому же воздействию в неэкспериментальных условиях;

Способ преодоления:

1. Использование одного из способов контроля побочных переменных. Например: «Метод обмана» или «Метод скрытого эксперимента». Чтобы не получить, например, положительных результатов связанных с повышенной мотивацией испытуемых.

2. Не разводить эквивалентные группы по разным комнатам.

3. Решением проблемы во всех отношениях является использование в качестве единиц рандомизации целых классов.

ñ взаимная интерференция экспериментальных воздействий, нередко возникающая, когда одни и те же испытуемые подвергаются нескольким воздействиям, поскольку влияние более ранних воздействий, как правило, не исчезает. Это относится особенно к планам экспериментов с одной группой.

В таблице 1 приведены экспериментальные планы и угрозы их валидности, с которыми они справляются «+», не справляются «−», и не учитывают «?».

Таблица 1. экспериментальные планы из Кэмпбелла:

Условные обозначения:

X – воздействие (наличие) независимой переменной (НП);

O – измерение зависимой переменной (ЗП) (тестирование группы);

R – рандомизация.

Для того чтобы контролировать валидность эксперимента применяют следующие виды экспериментального контроля:

• элиминация внешних переменных (изолировать);

• константность условий (обеспечить неизменность);

• позиционное уравнивание: балансировка и контрбалансировка;

• рандомизация.

Из Осин Е.Н. 6 лекция.