Вопрос 11. Валидность качественных исследований.
Большинство исследователей, работающих с качественными методами, считает, что разные люди обладают разными, но одинаково валидными интерпретациями реальности, сформированными контекстом, в котором они живут, культурой и опытом.
Как же тогда определять валидность инструмента? Есть только одна возможность – всем представителям разных точек зрения попытаться объединить некие единые критерии. Что довольно сложно, учитывая, что разные исследователи исходят из разных посылок и пользуются разными стратегиями. Например, grounded theory должна работать с довольно большой выборкой и основывать анализ на широком ряде данных. А дискурсный анализ, напротив, базируется на глубинном изучении отдельных (немногих) фрагментов текста. В анализе разговора могут исследоваться лингвистические особенности, а могут – глубинные социо-культурные смыслы.Иногда к качественным методам ошибочно пытаются применять критерии валидности количественных методов, в особенности объективность, надежность и статистическую обобщаемость.
Работая с количественными методами, исследователи применяют множество средств, чтобы исключить байесы, а также устранить личность исследователя (добиться полной объективности и отстраненности). В качественной парадигме исследователи верят, что исследователь НЕИЗБЕЖНО влияет на процесс получения данных, уже тем самым, что формулирует исследовательский вопрос, выбирает метод получения и анализа данных, а также интерпретирует их. Более того, в качественных методах воздействие исследователя необходимо, например, в глубинном интервью, где требуется получить субъективный опыт респондента, или при анализе разговора, цель которого – выявить скрытые или неосознаваемые смыслы. Так что в качественных иссл. исследователи стараются извлечь максимальную выгоду из личной вовлеченности (вместо того, чтобы каждый раз по одной и той же схеме пытаться ее контролировать), одновременно анализируя, как именно воздействовал исследователь на процесс.
Так что объективность критерием валидности для Кач. М. не является.То, что в Кол. М. называется разбросом ошибки и тоже должно быть по максимуму исключено, в Кач. М. именно это иногда является объектом интереса и называется «индивидуальными различиями» или различиями поведения в разных контекстах и представляет собой отдельную тему для изучения. Так что и генерализация данных тоже не может быть критерием валидности в Кач. М.
С другой стороны, и в Кач., и в Колич. М. исследователи надеются, что полученные ими данные можно будет генерализовать. Абсолютно уникальное исследование, неприложимое ни к какой другой ситуации, вряд ли имеет смысл. При этом Кол. М. в целях возможности обобщения собирают данные с большой выборки, тогда как Кач. М. редко работают с большими группами. Исследователи в этом случае идут не по пути статистического обобщения, а по теоретическому, логическому, «вертикальному» пути. Т.е. они не ждут, что обнаруженное ими в точности повторится в другой выборке, но надеются, что их открытия, полученные в одном контексте, будут полезны и в других, но чем-то сходных с первым. Поскольку контексты могут различаться по многим параметрам, но все же сходиться в чем-то одном, понятие обобщаемости в данном случае приобретает широту и гибкость.
На данный момент разработан ряд методов для повышения валидности качественных инструментов. Это не жесткие рамки, которых следует держаться, но набор полезных средств, которыми можно пользоваться, выбирая, в зависимости от своего исследовательского вопроса и метода. Повышение валидности необходимо а) для общего обоснования парадигмы, чтобы показать, что она держится на надежной основе и заслуживает доверия не меньше, чем количественная и б) чтобы вызвать больше доверия у общественности и заказчиков исследований.
·Триангуляция.
Термин взят из навигации, где он означал вычисление местонахождения по трем различным точкам. Таким образом триангуляция в исследованиях – способ подтвердить высказывания (оценки, суждения) одного человека или группы при помощи суждений других.
Например, человек связывает свои психологические проблемы с внешними событиями; можно дополнить его рассказ, проинтервьюировав также членов его семьи. Поскольку Кач. Исследователи часто считают, что каждый из их рассказов будет валидным, даже если они все разные, то триангуляция – не способ определить правдивость одного рассказа, но способ расширить понимание описываемого явления, посмотреть на него с разных точек зрения. К примеру, человек дает свое описание каких-то событий как причины его психологических проблем; члены его семьи могут внести свой вклад, рассказав, как личность и жизненный опыт первого респондента повлияли на их собственное переживание данных событий.Можно собирать информацию о чем-то одном с разных групп (или людей), а можно собирать информацию об одном событии, но в разное время, как лонгитюд.
·Сравнение кодирования, которым пользуются исследователи.
Сравнение способов кодирования, которые используют разные исследователи, - тоже способ триангуляции. Это позволяет удостовериться, что анализ не сводится к чьим-то представлениям и будет доступен и другим людям. Если исследователь занимается кодированием какого-либо материала, ему следует обсуждать способ кодирования с другими участниками исследования, которые имеют доступ к сырому материалу. Это позволяет не пропустить никаких важных мотивов, а также сделать кодировку более ясной, последовательной и удобной для анализа.
Иногда несколько исследователей независимо кодируют данные, а потом результаты сопоставляются, и таким образом определяется inter-rater reliability (не знаю, как перевести). Между двумя кодированиями высчитывается Каппа Коэна (коэффициент согласия экспертов). Если она выше 0,8, надежность очень велика.
·Фидбек от респондентов.
Еще называется respondent validation. Респондентов просят дать свой комментарий относительно проведенного анализа. Это ценный способ для привлечения участников в исследование, а также позволяет удостовериться, что респондентов правильно поняли.
Но способ не всегда уместен, например, если анализ должен выявлять противоречия между суждениями респондентов, скрытые значения, лингвистические и прочие особенности их рассказа – все это респонденты просто не могут понять (или им не нужно этого знать).·Анализ выпадающих случаев.
Качественный анализ обычно представляет собой индуктивный процесс выделения тем и паттернов из массива данных. На этот процесс неизбежно влияют интересы, представления и цели исследователей. Когда такой анализ уже проведен, полезно поискать противоречащие всему случаи (девиантные кейсы), т.е. данные, в которых не появляются общие для всех остальных темы и паттерны (грубо говоря, человек говорит что-то совсем другое, чем все остальные).
Выпадающим случаям нужно уделять большое внимание и фиксировать их, чтобы учесть весь массив данных, а не только те, которые подходят под гипотезу исследования. Например: исследование посвящено воздействию физических упражнений. Вся группа говорит, что от упражнений им круто и весело, а два человека – что им плохо и не нравится. В генеральной совокупности эти два человека представляют гораздо большее количество случаев; к тому же, это дает основания провести новое исследование на тему «при каких условиях физич упражнения вредны или неприятны».
·Бумажный след.
Должен быть способ показать связь между сырыми данными и конечными отчетами (чтобы все было отражено аккуратно). Для этого можно сохранять «бумажный след» анализа, отражающий все стадии анализа (промежуточные документы): как кодировались данные, как ставился исследовательский вопрос, как интерпретировались данные и проч.