3. Валидность психологического исследования. Виды валидности. Основные угрозы валидности эксперимента в психологии.

-Валидность – соответствие конкретного исследования принятым стандартам (безупречному инструменту). Из лекций Орел: устойчивость результата теста к систематическим искажениям со стороны посторонних психических свойств.

-Внешняя валидность – соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и/или обобщения результатов на другие объекты и условия исследования. Зависит от репрезентативности выборки и соответствия контролируемых в исследовании дополнительных переменных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выводы конкретного исследования на реальные условия, а не на иные лабораторные условия.

-Экологическая валидность – вид внешней валидности, характеризует соответствие процедуры и условий лабораторного исследования «естественной» реальности.

-Внутренняя валидность – соответствие конкретного исследования идеальному, оценивает изменение зависимой переменной, определяется влиянием независимой переменной, а не другими причинами. Внутренняя валидность зависит от систематического изменения влияния независимой и других переменных от неэквивалентности и изменения сравниваемых групп в ходе эксперимента.

-Конструктная валидность – характеризует точность реализации теоретической гипотезы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперимента. В психологической диагностике конструктная валидность характеризует степень измеряемого свойства в результате тестирования. 2 вида конструктной валидности:

1. конвергентная – есть значимая корреляция между тестами, направленными на измерение концептуально зависимых связей (есть связь с родственными методиками).

2. дискриминантная – отсутствие значимой корреляции между тестами, например, на измерение независимых свойств (отсутствие этой связи с методиками, имеющими другое теоретическое основание).

-Операциональная валидность – соответствие операций экспериментатора теоретическому описанию переменных, контролируемых в исследовании. Варьируемые экспериментатором условия должны соответствовать независимой переменной. Операциональная валидность является одним из проявлений внутренней валидности.

-Очевидная валидность – тест считается валидным, если у испытуемого складывается впечатление, что он измеряет то, что должен измерять. Иначе – представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у респондента или другого лица, не располагающего специальными сведениями о характере использования и целях методики.

-Критериальная валидность – комплекс характеристик, отражающих соответствие диагноза и прогноза определенному кругу критериев измеряемого явления. 2 вида критериальной валидности:

1.прогностическая - психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным. Иначе - тест должен коррелировать с отдаленными по времени внешними критериями: измерение интеллекта в детстве должно предсказывать будущие профессиональные успехи.

+ Ретроспективная валидность (вроде относится к прогностической) - определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики.

2. текущая - характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака. В более узком значении– установление соответствия результатов валидизируемого теста независимому критерию, отражающему состояние исследуемого тестом качества в момент проведения исследования.

-Содержательная валидность – применяется для тестов достижений: тест должен охватывать всю область изучаемого поведения.

-Иллюзорная (ложная) валидность - иллюзия соответствия заключения по результатам тестирования личностным характеристикам обследуемого. Возникает как следствие использования предельно общих, а поэтому применимых практически ко всем обследуемым формулировок.

Или как было перечислено у Осина в лекции №5:

Операциональная: тот ли конструкт мы операционализировали?

Конвергентная и дискриминантная: как это соотносится с другими измерениями того же конструкта или других.

Критериальная валидность: как это соотносится с объективными данными?

Прогностическая (предиктивная): предсказывает ли это будущие показатели?

Очевидная валидность: похоже ли на правду?

Основные факторы общения, которые могут искажать результаты эксперимента:

• Ошибки «отношения к наблюдаемому». Связаны с пониманием испытуемым критерия принятия решения при выборе реакции.

• Ошибки, связанные с мотивацией испытуемого. Испытуемый может быть мотивирован любопытством, тщеславием и действовать не в соответствии с целями эксперимента, а в соответствии со своим пониманием целей и смысла эксперимента.

• Ошибки личностного влияния, связанные с восприятием испытуемым личности экспериментатора.

Самые известные причины артефактов:

• Эффект плацебо – основан на механизмах внушения и самовнушения. Когда дают пустышку, а человек чувствует облегчение и выздоравливает.

• Эффект Хотторна – выявился при проведении социально-психологических исследований на фабриках (Мэйо). Работники, привлеченные к эксперименту, расценивали внимание психологов в качестве внимания лично к ним и вели себя так, как от них ожидали экспериментаторы. Этого эффекта можно избежать, если дать ложную гипотезу или давать инструкции безучастным тоном.

• Эффект социальной фасилитации (усиления), также эффект аудитории (Зайонц). Присутствие любого внешнего наблюдателя, особенно экспериментатора, изменяет поведение человека.

• Эффект Пигмалиона (Розенталя) – изменение поведения испытуемого в эксперименте под влиянием неосознанных воздействий экспериментатора, стремящегося подтвердить свою гипотезу. Является следствием нарушения внутренней валидности. Конкретнее – исследователь заинтересован в подтверждении своей гипотезы и может неосознанно вносить искажения в эксперимент или интерпретацию данных, добиваясь, чтобы испытуемый работал под гипотезу, создавая привилегированные условия лишь для экспериментальной группы.

• Эффект первичности (первого впечатления) – влияние первого впечатления о личности испытуемого на интерпретацию и оценку экспериментатором его дальнейшего поведения и личностных особенностей.

• Добровольное или принудительное участие в эксперименте также накладывает свое влияние. Добровольцы – в основном студенты, пришедшие за компанию, в поддержку друзей-экспериментаторов и очень редко для науки. Принудительное же участие выливается в сознательное или бессознательное сопротивление всем действиям экспериментатора, во враждебном и недоверчивом отношении.

• Испорченный испытуемый – влияние компетентности испытуемого на его результаты в эксперименте. Знающий схему эксперимента может работать как под гипотезу, так и против нее.

Четыре причины нарушения внешней валидности (репрезентативности) по Кэмпбеллу (из лекции Осина №6)

· Влияние тестирования: результаты эксперимента будут применимы лишь к людям, которые были протестированы

· Взаимодействие отбора и экспериментального воздействия: результаты применимы лишь к людям с определёнными характеристиками

· Условия организации эксперимента определяют реакцию испытуемых на эксперимент: результаты применимы лишь к людям в определённых условиях

· Взаимная интерференция (взаимовлияние) экспериментальных воздействий, если их несколько: результаты будут применимы лишь к людям, на которых воздействовали именно так (в таком порядке…).

Восемь угроз внутренней валидность по Кэмпбэллу (из лекции Осина №6)

Эффект истории (фона): события между воздействием и измерением

Эффект созревания (естественного развития): испытуемые со временем развиваются

Эффект тестирования (первое измерение влияет на результаты последующих)

Погрешность измерения зависимой переменной

Регрессия к среднему: группы, отобранные как контрастные по какому-то показателю, при повторном измерении покажут результат близкий к среднему

Неэквивалентность групп: в силу индивидуальных различий группы испытуемых изначально различаются

Эффект отсева или вымирания: со временем часть испытуемых выбывает из исследования

Взаимодействие перечисленных факторов

Валидность эксперимента:

Надежность психодиагностического инструментария. Виды надежности.

(Из лекции Осина №5) Надежность измерения:

Доля дисперсии, связанной с измеряемым свойством, в полученном значении.

Методы оценки надежности:

ñ «одномоментная надежность»: split-half reliability: делим тест пополам  корреляция;

ñ классическая тестовая теория: альфа Кронбаха;

ñ Item Response Theory: IRT-модели (Rasch model, etc.).

ñ ретестовая надежность.

Если измерение ненадёжно, значит, шкала теста или опросника вообще ничего не измеряет.

Из ответов на наши госы (сори за читерство, а за ответ спасибо Наташе)

1.Воспроизводимость результатов исследования

2.Точность измерения

3.Учтойчивость результатов, получаемых с помощью определенной методики, во времени и по отношению к различным помехам (побочным переменным). В узком тестологическом смысле надежность понимается как согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий.

(Лекции Орел — ей можно верить) Виды надежности:

-параллельные формы теста

-надежность-устойчивость

-надежность-согласованность

Параллельные формы теста – измеряют один конструкт, имеют одинаковую дисперсию ошибок, обладают одинаковой надежностью. Для любой методики можно создать параллельную форму, которая измеряет тот же конструкт. Коэффициент корреляции между параллельными формами теста – коэффициент надежности.

Ретестовая надежность (надежность-устойчивость):

· Измеряет устойчивость результатов теста во времени

· Интервал для повторного тестирования от 2 до 8 недель

· Подходит для оценки надежности методик, измеряющих устойчивые психологические черты – но! На одной и той же выборки, в тех же условиях

3 фактора, ограничивающих применение ретеста:

· Не все черты устойчивы во времени. Для методик состояния не подходит ретест, для интеллекта – подходит

· Интервал между тестом и ретестом: слишком длинный – черта может измениться, слишком короткий – человек может запомнить свои результаты или задания

· Применение на детях и подростках – развитие может искажать, для каждого возраста интервал подбирается отдельно

Надежность-согласованность - соответствие результатов внутри одного теста.

Способы измерения:

1. Расщепление теста пополам

2. Коэффициент Альфа Кронбаха – самый популярный способ измерения надежности. Альфа Кронбаха в целом будет возрастать по мере увеличения взаимных корреляций переменных, и, поэтому, считается маркёром внутренней согласованности оценки достоверности результатов тестов. Т.к. максимальное взаимные корреляции между переменными по всем пунктам присутствуют, если измеряется одно и то же свойство, альфа Кронбаха косвенно указывает на степень того, насколько все пункты действительно измеряют одинаковое свойство. Однако, следует заметить, что высокое значение коэффициента указывает на наличие общего основания у набора вопросов, но не говорит о том, что за ними стоит один единственный фактор. Профессионально разработанные тесты должны иметь внутреннюю согласованность на уровне не менее 0.90

Надежность и валидность находятся в следующем неравенстве:

Валидность < или = Надежности, но при этом увеличение надежности не обязательно влечет увеличение валидности.

При условии, что измерение надёжно (мы что-то измерили), встаёт вопрос – что же мы измерили (валидность)?

Вот так они и связаны