Что такое Валидность? Значение и толкование слова validnost, определение термина

1) Валидность - (от лат. validus - сильный, крепкий) - англ. validity; нем. Validitat/Gulltigkeit. Обоснованность и адекватность исследовательских инструментов (операционализированных понятий, измерительных операций и экспериментов).

2) Валидность - (от лат. validus - сильный, крепкий) - обоснованность и адекватность исследовательских инструментов (операционализированных понятий, измерительных операций и экспериментов). В. логическая (В. внутренняя) - степень взаимосвязи и взаимной выводимости переменных и индикаторов. В. эмпирическая (В. внешняя) - степень соответствия переменных и индикаторов эмпирическим данным.

3) Валидность - обоснованность и адекватность цели инструментов и методов исследования, понятий и экспериментов.

4) Валидность - - основной показатель качества измерения в социологическом исследовании, отражающий степень соответствия данных измерения объекту измерения.

5) Валидность - - соответствие цели и средств социологического измерения; полностью валидны только бесцельные измерения.

6) Валидность - - мера пригодности применяемых в прикладной социологии методики для решения определенных исследовательских задач, степень соответствия переменных и индикаторов эмпирическим данным, позволяющая получать надежные, репрезентативные и достоверные результаты социологического исследования, избегать систематических ошибок.

7) Валидность - – основная характеристика качества измерения в социологии, одна из составляющих надежности социологической информации. Различают теоретическую (концептуальную) и эмпирическую (валидность по критерию).

8) Валидность - (достоверность) свидетельствует о степени правильности, истинности представленных данных, призванных подтвердить гипотезу.

9) Валидность - - 1. Показатель качества метода, его способность давать результаты, адекватно отражающие изучаемое явление, т.е. именно те результаты, для получения которых он предназначен (В. метода). 2. Мера соответствия теории эмпирическим данным, возможность делать разумно точные предсказания на основании теории (В. теории). 3. Мера соответствия результатов изучаемой реальности, точнее, представлениям о реальности (В. результатов). В данной статье В. обсуждается в первом смысле. В позитивистской науке различают В. измерения, внутреннюю и внешнюю В. экспериментальных процедур и В. статистического вывода. В. измерительных процедур Под измерением понимают процесс связывания теоретического понятия с одной или несколькими латентными переменными, а этих последних - с наблюдаемыми переменными. В классической теории результат измерения включает два не коррелирующих компонента: истинный и ошибочный. В отношении ошибок измерения делаются предположения, при выполнении которых поведение ошибок становится известным. В. измерительной процедуры - мера ее соответствия измеряемому конструкту. Чаще других оценивают критериальную (часто называемую эмпирической), конструктную, конвергентную и дискриминантную В. В качестве вспомогательных методов установления В. используют реферирование литературы по вопросу, экспертные оценки. Критериальная В. измерительной процедуры оценивается по тесноте статистической связи (корреляции) между измеренными результатами и внешним критерием. Так, критериальная В. шкалы лидерства означает, что полученный показатель коррелирует с некоторым независимо полученным показателем, например, социометрическими данными. Указание на критериальную В. предполагает не только сообщение о коэффициенте корреляции между показателями теста и внешним показателем, но также о всех обстоятельствах исследования: как и в какой ситуации был измерен критерий, на какой выборке проводилось исследование и др. Критерии могут быть текущими (измеряемыми одновременно с применением валидизируемой процедуры) и прогностическими. Прогностическая В. высоко желательна для практически ориентированных методов измерения. Недостатками подхода является трудности с подбором критерия и риск измерения невалидного критерия, что существенно снижает полученный коэффициент корреляции. Как оцениваемое поведение, так и критерий могут меняться во времени, а выборки могут быть смещенными. Если бы исследователю удалось найти совершенный критерий, создание измерительной процедуры стало бы избыточным. В этой связи понятен парадокс, сформулированный Дж.Келли: В. метода - это его способность предоставлять и без того известную информацию. Зависимость критериальной В. от свойств критерия, невозможность нахождения удовлетворительного объективного показателя во многих областях знания существенно снижают ценность критериальной В. как показателя качества измерительной процедуры. Конструктная В. устанавливается по статистической связи между показателями данной процедуры и других методик, измеряющих родственный конструкт. Гипотезы о статистической связи формулируются до их проверки, на основании содержательной теории. Конструктная валидизация - длительный процесс, и ни одна эмпирическая корреляция не может гарантировать достоверности измерения. Теоретически постулируется связь между конструктами, оценивается корреляция между индикаторами этих конструктов, на основании полученных данных пересматриваются теоретически ожидаемые связи между конструктами или между конструктами и индикаторами. Подбирается новый конструкт (или новый индикатор, или новая теория о связи между конструктами), и процесс повторяется снова. Оба конструкта могут оказаться неродственными. Так бывает, когда измерительные методы, выступающие под одним и тем же названием, строятся на разных теоретических основаниях. Другие проблемы связаны с ситуациями, когда измеренный показатель, привлекаемый для валидизации процедуры, измеряется недостаточно валидно; один и тот же индикатор одновременно измеряет разные конструкты; ошибки измерения коррелируют между собой. Если исследователь уверен/а в том, что структурная схема корректна (отсутствуют связи между индикаторами и посторонними конструктами, а корреляция между ошибками измерения равна нулю), он/а может найти корреляцию между конструктами, скорректированную на ненадежность индикаторов. Для оценки конструктной В. измерительной процедуры часто используют факторный анализ индикаторов. Под этим именем понимается широкий набор методов снижения размерности данных, когда из множества измеренных переменных извлекается небольшое количество латентных переменных (факторов). Количество и теоретическая интерпретируемость факторов трактуется как мера В. измерительного метода, а факторные нагрузки измеренных переменных - как мера В. индикаторов. Факторная нагрузка - это стандартизованная мера структурной связи между общим фактором (латентной переменной) и индикатором. Ее часто определяют как корреляцию между фактором и переменной. Широко известные методы факторного анализа (например, анализ главных осей) является эксплораторной процедурой, т.е. не позволяет проверять статистических гипотез, а результат анализа существенно определяется техническими решениями, который принимает исследователь. В этом смысле возможности метода как средства валидизации ограничены. Чтобы ослабить произвол при проведении факторного анализа, используют кросс-валидизацию: выборка случайно расщепляется пополам, факторы извлекаются на одной половине выборки, а оправданность и устойчивость факторного решения проверяется на другой половине. Понятия конвергентной и дискриминантной В. введены Д. Кембеллом и Д. Фиске как два взаимосвязанных показателя достоверности метода. Конвергентная В. требует "сходимости" (высокой корреляции) родственных конструктов, дискриминантная В. - отсутствия корреляций между измерениями неродственных конструктов. Более строго эта концепция реализована в подходе, известном под именем "Много черт - много методов", или МЧММ (MTMM - many traits, many methods). Суть его в том, что несколько свойств измеряются несколькими методами. Между показателями одного и того же свойства, измеренного с помощью разных методов, должны быть высокие корреляции, между показателями разных свойств, измеренными с помощью одного метода, - низкие. Третьим условием является превышение первого набора коэффициентов корреляции над вторым. Есть и более строгие статистические методы анализа корреляционной матрицы МЧММ. В последние годы приобрели популярность структурные уравнения, в частности, конфирматорный факторный анализ, который в соответствии с содержательной моделью раскладывает ковариации измерений на компоненты, связанные с влиянием методов, свойств, и ошибки. Полученные структурные коэффициенты интерпретируются как показатели В. В. экспериментального метода Круг понятий, связанных с оценкой В. эксперимента (и результатов эксперимента), был разработан методологами-постпозитивистами в 1960-х (Д. Кэмпбелл, Т. Кук, Дж. Стэнли и др.). В эпистемологической традиции, восходящей к Дж.С.Миллю и связывающей причинность с манипуляцией, истинный эксперимент со случайным распределением испытуемых по условиям рассматривается как единственное средство убедительной проверки каузальных гипотез. С этой точки зрения причинные утверждения в неэкспериментальных науках (социологии) нелегитимны. Предшествование во времени предполагаемой причины (независимой переменной) следствию (зависимой переменной) как одно из условий каузальной связи в эксперименте обеспечивается манипуляцией и измерением ее последствий. Сложнее выполнить другое требование к каузальному выводу - отсутствие правдоподобных альтернативных объяснений. Под внутренней В. понимается уверенность в том, что именно независимая переменная X служит основной причиной систематической изменчивости значений зависимой переменной Y, т.е. отсутствуют другие переменные, опосредующие связь между X и Y. Мы не в состоянии гарантировать В. эксперимента, но с учетом особенностей используемой исследовательской процедуры можем идентифицировать и устранить основные причины невалидности. Кэмпбелл и Стэнли предложили классификацию причин снижения внутренней В. История (фон) - это события, которые произошли между X и Y и могли повлиять на их ковариацию. Естественные изменения - перемены во внутреннем состоянии испытуемых, не связанные с влиянием X, такие как усталость, взросление, научение. Эффект инструмента связан с нежелательными изменениями измерительных процедур (технические поломки, усталость наблюдателей). Эффект статистической регрессии (соскальзывание к среднему) наблюдается тогда, когда экспериментальные и/или контрольные группы отбирались на основании крайних значений релевантных показателей; по причинам статистического свойства к моменту второго измерения максимальные значения показателей понизятся, а минимальные повысятся. Отбор групп как причина невалидности связан с неслучайным (неэквивалентным) отбором испытуемых или других единиц исследования. Отсев ("экспериментальная смертность ") означает неравномерное и неслучайное выбывание участников исследования. Взаимодействие отбора с другими факторами описывает ситуацию, когда неслучайно отобранные испытуемые имеют разную личную историю, склонность к усталости, отсев и др. Внутренняя В. оценивается качественно по степени отклонения исследовательской процедуры от некоторого идеального случая. Это касается также неэкспериментальных планов исследования, в которых к приведенному перечню причин снижения валидности добавляются новые угрозы. Внешняя В. характеризует степень обобщаемости полученных результатов на иные генеральные совокупности и контексты. Успешное воспроизведение исследования служит одним из важных условий оценки достоверности теорий и помогает уточнить диапазон пригодности последних. Одной из стратегий достижения внешней В. также является идентификация и устранение причин, ответственных за случайное получение результата. Это, в частности, реактивный эффект (влияние процедуры начального измерения на поведение испытуемых) и взаимная интерференция экспериментальных воздействий. Другие стратегии основаны на использовании плана рандомизированного эксперимента с единственным измерением после исследования (что снимает реактивный эффект); снижение риска влияния экспериментатора (напр., минимизация контактов экспериментатора с испытуемым, увеличение количества исследователей или двойной слепой метод, когда исследователь до окончания эксперимента не знает, кто из испытуемых каким воздействиям подвергается); повышение экологической В. (реалистичности) исследования. Важную методологическую роль в обеспечении В. научного исследования играет воспроизведение с расширением, когда каждая последующая репликация эксперимента предусматривает небольшие процедурные модификации. В. статистического вывода Под В. статистического вывода понимается выполнение комплекса условий, уменьшающих вероятность неверного статистического решения о нулевой гипотезе (о равенстве параметра некоторому значению или соответствии статистической модели полученным данным) или величине эффекта. Основным методом принятие статистических решений в последние десятилетия стала проверка статистической значимости, т.е. о равенстве параметра некоторому значению. Для этого используются критерии z, t, F, x2 и др. Эмпирически полученное значение критерия сравнивается с критическим, и на основании этого сравнения нуль-гипотеза отвергается или не отвергается. Т.о., решение носит бинарный характер (да-нет). В этом процессе можно совершить одну из трех ошибок: неверно отвергнуть истинную нуль-гипотезу (ошибка первого рода, альфа), неверно принять истинную альтернативную гипотезу (ошибка второго рода, бета) и неверно сформулировать статистические гипотезы, т.е. неправильно перевести исследовательский вопрос на язык статистики. Угрозы В. статистического вывода многочисленны и имеют разную природу. Использование невалидных индикаторов (раздел данной статьи Валидность измерительных процедур) не дает возможности уверенно интерпретировать полученный результат. Использование ненадежно измеренных переменных приводит к существенному занижению полученных статистик. Большой класс угроз В. статистического вывода связан с неверным формулированием модели. В частности, более известные линейные модели выбираются в тех случаях, когда лежащие в их основе предположения нарушаются: связь между переменными носит нелинейный характер, присутствуют экстремальные значения, дисперсии зависимой переменной для разных уровней независимой переменной неравны, переменные измерены более грубо, чем того требует модель, отсутствующие значения переменных распределены неслучайным образом. В стандартных пакетах статистического анализа имеются методы диагностики нарушений предположений модели. Более сложные концептуальные ошибки совершаются в связи с неверным определением переменных как независимых или ковариирующих, неправильным выбором моделей для зависимых (повторных) или независимых измерений, фиксированных или случайных эффектов. При сравнении нескольких средних или оценке значимости нескольких корреляций исследователи не всегда учитывают инфляцию ошибки первого рода: так, для j переменных мы получаем k = j(j - 1)/2 корреляций, и вероятность случайно получить хотя бы один значимый коэффициент корреляции, альфаобщ., равна 1 - (1 - альфа)k. Использование слишком большого числа переменных при небольшом числе наблюдений (респондентов) создает "сверхпригодность" модели, когда модель идеально описывает выборочные данные, но неадекватна для описания генеральной совокупности. Многие простые ошибки статистического вывода обусловлены причудливым и механическим объединением двух разных подходов к статистическому решению - Фишера и Неймана-Пирсона. Последний подход подчеркивает важность мощности критерия для оценки значимости. Так, результат может оказаться статистически незначимым по причинам, связанным с недостаточной мощностью метода: слабость экспериментального воздействия, маленькая или гетерогенная выборка, ненадежное измерение переменных, чрезмерно малое значение ошибки первого рода. Статистическая значимость - это вероятность того, что полученный результат случаен на выборке данного объема, однако эта величина ничего не говорит о величине эффекта. Современные руководства рекомендуют сообщать в публикациях не только показатель значимости (p), но значения эффекта (типичные показатели - r Пирсона, t Стьюдента, d Коэна, g Хиджеса, ню2 для дисперсионного анализа и др.). Другими альтернативами бинарным решениям о статистической значимости являются доверительные интервалы, байесовы статистики и, в более широком смысле, воспроизведение с расширением и метаанализ. В. в качественных исследованиях В. в качественных исследованиях не может быть оценена с помощью описанных выше классических методов. Ряд авторов показывают примитивность имеющихся подходов к оценке В. и "критериологии" в целом (Т.Швандт, Дж.Смит). В то же время отказ от идеи достоверности/аутентичности в отличие от дискредитированной объективности выглядит слишком радикальным даже для постмодернистских исследователей. Поэтому другие авторы (Э.Губа, И.Линкольн, С.Квале, С.Мишлер) пытаются переформулировать традиционные критерии валидности, сделав их менее позитивистскими. Обсуждаются новые процедуры обоснования достоверности: коммуникативная валидизация (участие испытуемых в обсуждении результатов; привлечение к обсуждению коллег), процедурная валидизация (точность, тщательность и полнота полевых заметок или получаемых данных; полное, сбалансированное и прозрачное описание результатов, открытое для иных интерпретаций; чувствительность к обратной связи со стороны коллег; перепроверка выводов на других фрагментах полученного материала) и т.д. Среди прочих подходов к обоснованию достоверности результатов следует упомянуть установление степени правдоподобия (plausibility) как оценки полученного знания с позиции уже имеющихся знаний; доверие (credibility) как оценка и коллективного осмысления результатов с учетом природы феномена, и обстоятельств его наблюдения; укорененность в данных, включенность в контекст исследовательской программы (dependability), которая основана на тщательном изучении и оценке процедурных аспектов; чувствительность как способность исследователя увидеть социальную проблему и способствовать ее решению; онтологическая и образовательная аутентичность - способность повысить сознательность участников исследования (в первом случае) и их окружения (во втором); каталитическая аутентичность как влияние на социальные программы, способствующие улучшению качества жизни изучаемой популяции. Постмодернистскими авторами обсуждаются принципиально новые понятия и принципы обоснования знания: ироническая (Ж.Бодрийар), неопрагматическая (Ж.-Ф.Лиотар), ризоматическая (Ж.Деррида) валидизация. Н.Дензин обосновал метод триангуляции как радикальной альтернативы традиционным подходам к валидизации. Триангуляция есть сочетанное и взаимообогащающее использование разных методов, методологий, данных, теорий и/или исследователей. Множественность подходов и приемов призвана ослабить эпистемологические ограничения, перейти установленные границы, выявить новые стороны феномена. Следует отметить, что идея триангуляции [истины] была порождена в постпозитивизме (Д.Кэмпбелл), где она понималась как некоторая процедура, набор полезных трюков: в дополнение к опросу "обычных" людей опросить экспертов; случайным образом расщепить выборку испытуемых пополам и провести анализ данных раздельно; исключить из анализа одну переменную и посмотреть, как изменится модель; валидизировать конструкт с помощью подхода "много черт - много методов" и т.д. Чтобы избежать нежелательных ассоциаций с позитивизмом, постмодернистская исследовательница-этнограф Л.Ричардсон в радикальном духе отказывается от идеи триангуляции и предлагает иную привлекательную метафору - кристалла, а не треугольника, кристаллизации, а не триангуляции. Кристалл одновременно создает, преломляет и искажает, он многогранен, и ни одна из его граней не более достоверна, чем любая другая. Как и знание, кристалл растет и разрушается. Метафорический подход к проблеме обоснования знания и оценки его качества неслучаен. Он призван разрушить критериальные подходы и представления о стандартах. Социальное исследование обладает ценностью лишь тогда, когда дает равные возможности высказаться представителям разных групп, создает равновероятные версии и подавляет доминирующие, "правильные" интерпретации. С.В. Сивуха

10) Валидность - (validity) - степень, в которой измерение, показатель или метод сбора данных обладает свойством быть настолько правильным или истинным, насколько это можно оценить. Например, если такое психологическое измерение, как тест интеллекта, считается валидным, то это означает, что оно уместно для измерения того, что предполагается измерить. Когда говорят, что социальные обзоры принесли валидные данные, то считается, что они являются истинным отражением изучаемого явления (например, проектирования электорального поведения исследуемого населения). То есть метод обзора обладает валидностью. Ср. Достоверность. На практике в социологии и социальных науках в целом отношение между показателями и мерами, с одной стороны, и лежащими в их основе принятыми концепциями - с другой, часто оспаривается (см. Официальная статистика; Измерение по декрету) .

Валидность

(от лат. validus - сильный, крепкий) - англ. validity; нем. Validitat/Gulltigkeit. Обоснованность и адекватность исследовательских инструментов (операционализированных понятий, измерительных операций и экспериментов).

(от лат. validus - сильный, крепкий) - обоснованность и адекватность исследовательских инструментов (операционализированных понятий, измерительных операций и экспериментов). В. логическая (В. внутренняя) - степень взаимосвязи и взаимной выводимости переменных и индикаторов. В. эмпирическая (В. внешняя) - степень соответствия переменных и индикаторов эмпирическим данным.

обоснованность и адекватность цели инструментов и методов исследования, понятий и экспериментов.

Основной показатель качества измерения в социологическом исследовании, отражающий степень соответствия данных измерения объекту измерения.

Соответствие цели и средств социологического измерения; полностью валидны только бесцельные измерения.

Мера пригодности применяемых в прикладной социологии методики для решения определенных исследовательских задач, степень соответствия переменных и индикаторов эмпирическим данным, позволяющая получать надежные, репрезентативные и достоверные результаты социологического исследования, избегать систематических ошибок.

– основная характеристика качества измерения в социологии, одна из составляющих надежности социологической информации. Различают теоретическую (концептуальную) и эмпирическую (валидность по критерию).

(достоверность) свидетельствует о степени правильности, истинности представленных данных, призванных подтвердить гипотезу.

1. Показатель качества метода, его способность давать результаты, адекватно отражающие изучаемое явление, т.е. именно те результаты, для получения которых он предназначен (В. метода). 2. Мера соответствия теории эмпирическим данным, возможность делать разумно точные предсказания на основании теории (В. теории). 3. Мера соответствия результатов изучаемой реальности, точнее, представлениям о реальности (В. результатов). В данной статье В. обсуждается в первом смысле. В позитивистской науке различают В. измерения, внутреннюю и внешнюю В. экспериментальных процедур и В. статистического вывода. В. измерительных процедур Под измерением понимают процесс связывания теоретического понятия с одной или несколькими латентными переменными, а этих последних - с наблюдаемыми переменными. В классической теории результат измерения включает два не коррелирующих компонента: истинный и ошибочный. В отношении ошибок измерения делаются предположения, при выполнении которых поведение ошибок становится известным. В. измерительной процедуры - мера ее соответствия измеряемому конструкту. Чаще других оценивают критериальную (часто называемую эмпирической), конструктную, конвергентную и дискриминантную В. В качестве вспомогательных методов установления В. используют реферирование литературы по вопросу, экспертные оценки. Критериальная В. измерительной процедуры оценивается по тесноте статистической связи (корреляции) между измеренными результатами и внешним критерием. Так, критериальная В. шкалы лидерства означает, что полученный показатель коррелирует с некоторым независимо полученным показателем, например, социометрическими данными. Указание на критериальную В. предполагает не только сообщение о коэффициенте корреляции между показателями теста и внешним показателем, но также о всех обстоятельствах исследования: как и в какой ситуации был измерен критерий, на какой выборке проводилось исследование и др. Критерии могут быть текущими (измеряемыми одновременно с применением валидизируемой процедуры) и прогностическими. Прогностическая В. высоко желательна для практически ориентированных методов измерения. Недостатками подхода является трудности с подбором критерия и риск измерения невалидного критерия, что существенно снижает полученный коэффициент корреляции. Как оцениваемое поведение, так и критерий могут меняться во времени, а выборки могут быть смещенными. Если бы исследователю удалось найти совершенный критерий, создание измерительной процедуры стало бы избыточным. В этой связи понятен парадокс, сформулированный Дж.Келли: В. метода - это его способность предоставлять и без того известную информацию. Зависимость критериальной В. от свойств критерия, невозможность нахождения удовлетворительного объективного показателя во многих областях знания существенно снижают ценность критериальной В. как показателя качества измерительной процедуры. Конструктная В. устанавливается по статистической связи между показателями данной процедуры и других методик, измеряющих родственный конструкт. Гипотезы о статистической связи формулируются до их проверки, на основании содержательной теории. Конструктная валидизация - длительный процесс, и ни одна эмпирическая корреляция не может гарантировать достоверности измерения. Теоретически постулируется связь между конструктами, оценивается корреляция между индикаторами этих конструктов, на основании полученных данных пересматриваются теоретически ожидаемые связи между конструктами или между конструктами и индикаторами. Подбирается новый конструкт (или новый индикатор, или новая теория о связи между конструктами), и процесс повторяется снова. Оба конструкта могут оказаться неродственными. Так бывает, когда измерительные методы, выступающие под одним и тем же названием, строятся на разных теоретических основаниях. Другие проблемы связаны с ситуациями, когда измеренный показатель, привлекаемый для валидизации процедуры, измеряется недостаточно валидно; один и тот же индикатор одновременно измеряет разные конструкты; ошибки измерения коррелируют между собой. Если исследователь уверен/а в том, что структурная схема корректна (отсутствуют связи между индикаторами и посторонними конструктами, а корреляция между ошибками измерения равна нулю), он/а может найти корреляцию между конструктами, скорректированную на ненадежность индикаторов. Для оценки конструктной В. измерительной процедуры часто используют факторный анализ индикаторов. Под этим именем понимается широкий набор методов снижения размерности данных, когда из множества измеренных переменных извлекается небольшое количество латентных переменных (факторов). Количество и теоретическая интерпретируемость факторов трактуется как мера В. измерительного метода, а факторные нагрузки измеренных переменных - как мера В. индикаторов. Факторная нагрузка - это стандартизованная мера структурной связи между общим фактором (латентной переменной) и индикатором. Ее часто определяют как корреляцию между фактором и переменной. Широко известные методы факторного анализа (например, анализ главных осей) является эксплораторной процедурой, т.е. не позволяет проверять статистических гипотез, а результат анализа существенно определяется техническими решениями, который принимает исследователь. В этом смысле возможности метода как средства валидизации ограничены. Чтобы ослабить произвол при проведении факторного анализа, используют кросс-валидизацию: выборка случайно расщепляется пополам, факторы извлекаются на одной половине выборки, а оправданность и устойчивость факторного решения проверяется на другой половине. Понятия конвергентной и дискриминантной В. введены Д. Кембеллом и Д. Фиске как два взаимосвязанных показателя достоверности метода. Конвергентная В. требует "сходимости" (высокой корреляции) родственных конструктов, дискриминантная В. - отсутствия корреляций между измерениями неродственных конструктов. Более строго эта концепция реализована в подходе, известном под именем "Много черт - много методов", или МЧММ (MTMM - many traits, many methods). Суть его в том, что несколько свойств измеряются несколькими методами. Между показателями одного и того же свойства, измеренного с помощью разных методов, должны быть высокие корреляции, между показателями разных свойств, измеренными с помощью одного метода, - низкие. Третьим условием является превышение первого набора коэффициентов корреляции над вторым. Есть и более строгие статистические методы анализа корреляционной матрицы МЧММ. В последние годы приобрели популярность структурные уравнения, в частности, конфирматорный факторный анализ, который в соответствии с содержательной моделью раскладывает ковариации измерений на компоненты, связанные с влиянием методов, свойств, и ошибки. Полученные структурные коэффициенты интерпретируются как показатели В. В. экспериментального метода Круг понятий, связанных с оценкой В. эксперимента (и результатов эксперимента), был разработан методологами-постпозитивистами в 1960-х (Д. Кэмпбелл, Т. Кук, Дж. Стэнли и др.). В эпистемологической традиции, восходящей к Дж.С.Миллю и связывающей причинность с манипуляцией, истинный эксперимент со случайным распределением испытуемых по условиям рассматривается как единственное средство убедительной проверки каузальных гипотез. С этой точки зрения причинные утверждения в неэкспериментальных науках (социологии) нелегитимны. Предшествование во времени предполагаемой причины (независимой переменной) следствию (зависимой переменной) как одно из условий каузальной связи в эксперименте обеспечивается манипуляцией и измерением ее последствий. Сложнее выполнить другое требование к каузальному выводу - отсутствие правдоподобных альтернативных объяснений. Под внутренней В. понимается уверенность в том, что именно независимая переменная X служит основной причиной систематической изменчивости значений зависимой переменной Y, т.е. отсутствуют другие переменные, опосредующие связь между X и Y. Мы не в состоянии гарантировать В. эксперимента, но с учетом особенностей используемой исследовательской процедуры можем идентифицировать и устранить основные причины невалидности. Кэмпбелл и Стэнли предложили классификацию причин снижения внутренней В. История (фон) - это события, которые произошли между X и Y и могли повлиять на их ковариацию. Естественные изменения - перемены во внутреннем состоянии испытуемых, не связанные с влиянием X, такие как усталость, взросление, научение. Эффект инструмента связан с нежелательными изменениями измерительных процедур (технические поломки, усталость наблюдателей). Эффект статистической регрессии (соскальзывание к среднему) наблюдается тогда, когда экспериментальные и/или контрольные группы отбирались на основании крайних значений релевантных показателей; по причинам статистического свойства к моменту второго измерения максимальные значения показателей понизятся, а минимальные повысятся. Отбор групп как причина невалидности связан с неслучайным (неэквивалентным) отбором испытуемых или других единиц исследования. Отсев ("экспериментальная смертность ") означает неравномерное и неслучайное выбывание участников исследования. Взаимодействие отбора с другими факторами описывает ситуацию, когда неслучайно отобранные испытуемые имеют разную личную историю, склонность к усталости, отсев и др. Внутренняя В. оценивается качественно по степени отклонения исследовательской процедуры от некоторого идеального случая. Это касается также неэкспериментальных планов исследования, в которых к приведенному перечню причин снижения валидности добавляются новые угрозы. Внешняя В. характеризует степень обобщаемости полученных результатов на иные генеральные совокупности и контексты. Успешное воспроизведение исследования служит одним из важных условий оценки достоверности теорий и помогает уточнить диапазон пригодности последних. Одной из стратегий достижения внешней В. также является идентификация и устранение причин, ответственных за случайное получение результата. Это, в частности, реактивный эффект (влияние процедуры начального измерения на поведение испытуемых) и взаимная интерференция экспериментальных воздействий. Другие стратегии основаны на использовании плана рандомизированного эксперимента с единственным измерением после исследования (что снимает реактивный эффект); снижение риска влияния экспериментатора (напр., минимизация контактов экспериментатора с испытуемым, увеличение количества исследователей или двойной слепой метод, когда исследователь до окончания эксперимента не знает, кто из испытуемых каким воздействиям подвергается); повышение экологической В. (реалистичности) исследования. Важную методологическую роль в обеспечении В. научного исследования играет воспроизведение с расширением, когда каждая последующая репликация эксперимента предусматривает небольшие процедурные модификации. В. статистического вывода Под В. статистического вывода понимается выполнение комплекса условий, уменьшающих вероятность неверного статистического решения о нулевой гипотезе (о равенстве параметра некоторому значению или соответствии статистической модели полученным данным) или величине эффекта. Основным методом принятие статистических решений в последние десятилетия стала проверка статистической значимости, т.е. о равенстве параметра некоторому значению. Для этого используются критерии z, t, F, x2 и др. Эмпирически полученное значение критерия сравнивается с критическим, и на основании этого сравнения нуль-гипотеза отвергается или не отвергается. Т.о., решение носит бинарный характер (да-нет). В этом процессе можно совершить одну из трех ошибок: неверно отвергнуть истинную нуль-гипотезу (ошибка первого рода, альфа), неверно принять истинную альтернативную гипотезу (ошибка второго рода, бета) и неверно сформулировать статистические гипотезы, т.е. неправильно перевести исследовательский вопрос на язык статистики. Угрозы В. статистического вывода многочисленны и имеют разную природу. Использование невалидных индикаторов (раздел данной статьи Валидность измерительных процедур) не дает возможности уверенно интерпретировать полученный результат. Использование ненадежно измеренных переменных приводит к существенному занижению полученных статистик. Большой класс угроз В. статистического вывода связан с неверным формулированием модели. В частности, более известные линейные модели выбираются в тех случаях, когда лежащие в их основе предположения нарушаются: связь между переменными носит нелинейный характер, присутствуют экстремальные значения, дисперсии зависимой переменной для разных уровней независимой переменной неравны, переменные измерены более грубо, чем того требует модель, отсутствующие значения переменных распределены неслучайным образом. В стандартных пакетах статистического анализа имеются методы диагностики нарушений предположений модели. Более сложные концептуальные ошибки совершаются в связи с неверным определением переменных как независимых или ковариирующих, неправильным выбором моделей для зависимых (повторных) или независимых измерений, фиксированных или случайных эффектов. При сравнении нескольких средних или оценке значимости нескольких корреляций исследователи не всегда учитывают инфляцию ошибки первого рода: так, для j переменных мы получаем k = j(j - 1)/2 корреляций, и вероятность случайно получить хотя бы один значимый коэффициент корреляции, альфаобщ., равна 1 - (1 - альфа)k. Использование слишком большого числа переменных при небольшом числе наблюдений (респондентов) создает "сверхпригодность" модели, когда модель идеально описывает выборочные данные, но неадекватна для описания генеральной совокупности. Многие простые ошибки статистического вывода обусловлены причудливым и механическим объединением двух разных подходов к статистическому решению - Фишера и Неймана-Пирсона. Последний подход подчеркивает важность мощности критерия для оценки значимости. Так, результат может оказаться статистически незначимым по причинам, связанным с недостаточной мощностью метода: слабость экспериментального воздействия, маленькая или гетерогенная выборка, ненадежное измерение переменных, чрезмерно малое значение ошибки первого рода. Статистическая значимость - это вероятность того, что полученный результат случаен на выборке данного объема, однако эта величина ничего не говорит о величине эффекта. Современные руководства рекомендуют сообщать в публикациях не только показатель значимости (p), но значения эффекта (типичные показатели - r Пирсона, t Стьюдента, d Коэна, g Хиджеса, ню2 для дисперсионного анализа и др.). Другими альтернативами бинарным решениям о статистической значимости являются доверительные интервалы, байесовы статистики и, в более широком смысле, воспроизведение с расширением и метаанализ. В. в качественных исследованиях В. в качественных исследованиях не может быть оценена с помощью описанных выше классических методов. Ряд авторов показывают примитивность имеющихся подходов к оценке В. и "критериологии" в целом (Т.Швандт, Дж.Смит). В то же время отказ от идеи достоверности/аутентичности в отличие от дискредитированной объективности выглядит слишком радикальным даже для постмодернистских исследователей. Поэтому другие авторы (Э.Губа, И.Линкольн, С.Квале, С.Мишлер) пытаются переформулировать традиционные критерии валидности, сделав их менее позитивистскими. Обсуждаются новые процедуры обоснования достоверности: коммуникативная валидизация (участие испытуемых в обсуждении результатов; привлечение к обсуждению коллег), процедурная валидизация (точность, тщательность и полнота полевых заметок или получаемых данных; полное, сбалансированное и прозрачное описание результатов, открытое для иных интерпретаций; чувствительность к обратной связи со стороны коллег; перепроверка выводов на других фрагментах полученного материала) и т.д. Среди прочих подходов к обоснованию достоверности результатов следует упомянуть установление степени правдоподобия (plausibility) как оценки полученного знания с позиции уже имеющихся знаний; доверие (credibility) как оценка и коллективного осмысления результатов с учетом природы феномена, и обстоятельств его наблюдения; укорененность в данных, включенность в контекст исследовательской программы (dependability), которая основана на тщательном изучении и оценке процедурных аспектов; чувствительность как способность исследователя увидеть социальную проблему и способствовать ее решению; онтологическая и образовательная аутентичность - способность повысить сознательность участников исследования (в первом случае) и их окружения (во втором); каталитическая аутентичность как влияние на социальные программы, способствующие улучшению качества жизни изучаемой популяции. Постмодернистскими авторами обсуждаются принципиально новые понятия и принципы обоснования знания: ироническая (Ж.Бодрийар), неопрагматическая (Ж.-Ф.Лиотар), ризоматическая (Ж.Деррида) валидизация. Н.Дензин обосновал метод триангуляции как радикальной альтернативы традиционным подходам к валидизации. Триангуляция есть сочетанное и взаимообогащающее использование разных методов, методологий, данных, теорий и/или исследователей. Множественность подходов и приемов призвана ослабить эпистемологические ограничения, перейти установленные границы, выявить новые стороны феномена. Следует отметить, что идея триангуляции [истины] была порождена в постпозитивизме (Д.Кэмпбелл), где она понималась как некоторая процедура, набор полезных трюков: в дополнение к опросу "обычных" людей опросить экспертов; случайным образом расщепить выборку испытуемых пополам и провести анализ данных раздельно; исключить из анализа одну переменную и посмотреть, как изменится модель; валидизировать конструкт с помощью подхода "много черт - много методов" и т.д. Чтобы избежать нежелательных ассоциаций с позитивизмом, постмодернистская исследовательница-этнограф Л.Ричардсон в радикальном духе отказывается от идеи триангуляции и предлагает иную привлекательную метафору - кристалла, а не треугольника, кристаллизации, а не триангуляции. Кристалл одновременно создает, преломляет и искажает, он многогранен, и ни одна из его граней не более достоверна, чем любая другая. Как и знание, кристалл растет и разрушается. Метафорический подход к проблеме обоснования знания и оценки его качества неслучаен. Он призван разрушить критериальные подходы и представления о стандартах. Социальное исследование обладает ценностью лишь тогда, когда дает равные возможности высказаться представителям разных групп, создает равновероятные версии и подавляет доминирующие, "правильные" интерпретации. С.В. Сивуха

одна из важнейших характеристик психодиагностических методик и тестов, один из основных критериев их качества. Это понятие близко к понятию достоверности, но не вполне тождественно.

Проблема валидности возникает в ходе разработки и практического применения теста или методики, когда требуется установить соответствие между степенью выраженности интересующего свойства личности и методом его измерения. Валидность указывает, что именно тест или методика измеряет и насколько хорошо это делает; чем они валиднее, тем лучше отображается в них то качество (свойство), ради измерения коего они создавались. Количественно валидность может выражаться через корреляции результатов, полученных с помощью теста или методики, с другими показателями, - например, с успешностью выполнения соответственной деятельности. Валидность можно обосновать разными путями, чаще всего - комплексно. Применяются также дополнительные понятия валидности концептуальной, критериальной, конструктивной, и прочие виды валидности - со своими способами установления их уровня. Требование валидности весьма важно, и многие нарекания в адрес тестов или иных психодиагностических методик связаны с сомнительностью их валидности. Например, валидность измерения интеллекта зависит:

1) от определения понятия интеллекта, являющего ту или иную концепцию этого феномена;

2) от состава тестовых заданий, разрабатываемых согласно этой концепции;

3) от эмпирических критериев. Разные концепции требуют различного состава заданий, поэтому важен вопрос валидности концептуальной. Чем больше задания соответствуют данной авторской концепции интеллекта, тем увереннее можно говорить о валидности концептуальной теста. Корреляция теста с эмпирическим критерием указывает на его возможную валидность по отношению к данному критерию. Определение валидности теста всегда требует постановки дополнительных вопросов: валидность для чего? для какой цели? по какому критерию? Итак, понятие валидности относится не только к тесту, но и к критерию оценки его качества. Чем выше коэффициент корреляции теста с критерием, тем выше валидность. Развитие анализа факторного позволило создавать тесты, валидные по отношению к идентифицируемому фактору. Только проверенные на валидность тесты можно использовать в ориентации профессиональной, отборе профессиональном, в исследованиях научных.

ВАЛИДНОСТЬ

от англ. valid - пригодный) - комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

Валидность

validity) - точность результатов теста или исследовательской работы; то есть тот предел, до которого тест или исследование в действительности измеряет или показывает то, что надо измерить и показать.

Валидность

Степень нашей уверенности в том, что тест, измерение или эксперимент действительно выполняет ту функцию, для которой они предназначены. Этот весьма общий термин по-разному используется в психологии. В процессе эксперимента мы можем оценить: 1. Внутреннюю валидность: действительно ли наблюдаемый эффект является следствием экспериментальной манипуляции? В экспериментах Милгрэма о повиновении авторитету сделанные выводы не могли бы считаться валидными, если бы участники не верили в то, что они действительно получают удар электрическим током. 2. Внешнюю валидность: даже если эксперимент удался, его результаты могут быть неприменимы к другим людям и в других ситуациях. Эксперименты в области социальной психологии часто подвергаются критике, так как они опираются на опыты с американскими студентами-добровольцами и используют лабораторные методы в ходе исследования (см. также Экологическая достоверность). При определении валидности теста или измерения мы пользуемся одним из ряда следующих критериев: 1. Очевидная валидность: действительно ли тест измеряет то, для чего он предназначен? К примеру, тест на умственное развитие может выглядеть именно так, как предполагается для тестов подобного рода (высокая степень очевидной валидности), или быть замаскированным под что-то еще (низкая степень очевидной валидности). 2. Содержательная валидность: в какой мере тест отражает интересующую область исследований? Экзаменационные документы подвергаются тщательной проверке, чтобы убедиться, что вопросы соответствуют навыкам и знаниям студентов того или иного курса. 3. Конкурентная (совпадающая) валидность: достоверность теста можно проверить, сопоставив его с уже существующими методами измерения. К примеру, новый тест на умственное развитие можно сравнить с другим тестом, валидность которого уже известна и доказана. Если показатели участников при испытании нового теста совпадают с показателями при проведении другого теста, то новый тест тоже обладает валидностью. 4. Прогностическая валидность: можно ли на основе теста предсказывать или рассчитывать показатели по другому критерию? Тесты, используемые с целью отбора, должны обладать хорошей прогностической валидностью. 5. Конструктная валидность: используется ли тест для адекватного измерения теоретического конструкта - т. е. действительно ли тест на умственное развитие определяет коэффициент умственного развития? Если это так, то тест должен обладать особенностями, позволяющими участникам выполнять его в соответствии с их уровнем интеллектуального развития.

ВАЛИДНОСТЬ

1. Общее и свободное значение – свойство истинности, правильности, соответствия реальности. Это значение распространено в обычном языке, но, как правило, не оно имеется в виду в специальной литературе. 2. В логике – свойство аргумента или заключения, которое считается валидным, потому что оно соответствует определенным логическим принципам. Основное положение здесь то, что должен быть правильным сам процесс рассуждения; аргумент может обладать валидностью в этом смысле и не соответствовать действительности, но ошибка в этом случае будет заключаться в допущениях, а не в процессе рассуждения. См. логика. 3. В тестировании – свойство любого измерительного инструмента, прибора или теста, при котором он измеряет то, что предназначен измерять. Валидность здесь – не простое понятие, и это не просто свойство "либо – либо" как в значении 2 и в некоторой степени в значении 1. В области тестов и измерений было разработано большое число процедур оценки валидности инструментов тестирования, наиболее широко используемые указаны ниже.

ВАЛИДНОСТЬ

validity)-достоверность (или степень достоверности) вывода, которую обеспечивают результаты реального эксперимента по сравнению с результатами безупречного эксперимента. “В.”-центральное понятие словаря экспериментатора: оно объединяет основные цели исследования с идеальными эталонами их достижения и реальными процедурами проведения экспериментах

Глобальной целью любого экспериментального исследования является обобщение полученных результатов и вывода об экспериментальной гипотезе. Однако полное достижение этой цели возможно лишь в мысленном, безупречном эксперименте, невыполнимом на практике. Реальный эксперимент в той или иной мере репрезентирует (представляет) безупречный, и чем лучше эта репрезентативность, тем выше В. эксперимента. Таким образом, повышение В., т. е. планирование проведения эксперимента в соответствии с его безупречным образцом, является конкретной задачей исследователя, успешность решения которой зависит, во-первых, от характера, реальных условий и, во-вторых, от адекватности выбора средств. Так, источники нарушения В., (прежде всего, ненадежность и смешение) отдаляют реальный эксперимент от безупречного, а способы их контроля, позволяют приблизиться к нему, т. е. обеспечить высокую В. для обобщения экспериментальных результатов. В. полученных данных можно оценить статистически: например, В. теста (в корреляционном исследовании) определяется степенью корреляции результатов его.выполнения с изучаемым видом деятельности испытуемых.

В соответствии с различными типами безупречного эксперимента различают внутреннюю и внешнюю В.:

Внутренняя В. - достоверность выводов, которую обеспечивают результаты реального эксперимента по сравнению с результатами идеального бесконечного экспериментов. Повышение внутренней В. связано с устранением результатов действия побочных переменных и с усреднением их изменчивости и нестабильности. Внутренняя В. - первое и необходимое требование к экспериментальным выводам: эксперимент, не обладающий внутренней В., названы автором просто неудачным,

Внешняя В. - достоверность выводов, которую обеспечивают результаты реального эксперимента по сравнению с результатами эксперимента полного соответствия. Повышение внешней В. обеспечивается достижением соответствия уровней дополнительных переменных в эксперименте уровням этих переменных в изучаемой реальности. Эксперимент, не обладающий внешней В., является неверным, не соответствующим поставленной гипотезе (но, быть может, пригодным для проверки, другой гипотезы).

Следует отметить, что любую переменную (фактор), отличную от независимой, также оказывающую влияние на зависимую переменную, автор называет просто “ other ” - другая. При переводе для обозначения таких переменных используются два разных термина: “побочная” - применительно к переменной, нарушающей внутреннюю В., и “дополнительная” - переменная, уровень которой входит в экспериментальную гипотезу и должен быть адекватно представлен с целью достижения внешней В. Иногда одни и те же факторы могут выступать в эксперименте и как побочные (нарушающие внутреннюю В.), и как дополнительные (влияющие на внешнюю В.). Устранение и унификация побочных факторов, повышающая внутреннюю В., может приводить к несоответствию уровней дополнительных переменных, что снижает внешнюю В. (см. Соответствие).

Валидность

адекватность и действенность теста, важнейший критерий его доброкачественности, характеризующий точность измерения исследуемого свойства, а также - насколько тест отражает то свойство, для диагностики которого он предназначен.

ВАЛИДНОСТЬ

от англ. valid – действительный, пригодный, действенный) – критерий качества конфликтологического исследования, степень соответствия его результатов целям, достоверность и глубина выводов. Различают два вида В.: внутреннюю и внешнюю. Внутренняя В. показывает, насколько удалось объективно, точно оценить именно то, что ставилось как цель исследования. Напр., конфликтологу необходимо сравнить частоту конфликтов в течение года в разных отделах организации. Для этого он опрашивает сотрудников организации, задавая им вопрос: «Как часто в вашем коллективе происходили конфликты в течение последнего года?». Такое исследование обладает низкой внутренней В., т. к. оценивается не реальная частота конфликтов, а мнение сотрудников о ней. Внешняя В. показывает, насколько корректно распространять выводы, полученные в результате исследования, на др. ситуации, конфликты, т. е. насколько результаты будут справедливы вне рамок данного исследования. Напр., эмпирическое исследование показало, что 78 % конфликтов в офицерском коллективе происходит в звене «начальник-подчиненный». Методика изучения обеспечила высокую внутреннюю В. выводов. Однако внешняя В. этих результатов мала, т. к. отношения между офицерами строго регламентированы и распространение данного вывода на заводские, научные и т. п. коллективы неправомерно. При проведении эмпирического конфликтологического исследования необходимо обеспечивать максимально возможную В. на этапе его подготовки, контролировать В. в процессе изучения, тщательно объяснять полученные данные и обосновывать выводы на завершающем этапе работы.

Валидность теста (от англ. valid – пригодный) – критерий качества теста, используемый при выяснении степени достоверности измерения того психического свойства, качества, явления, которое хотят измерить с помощью данного теста.

Различают несколько видов валидность теста:

• валидность теста конструктная,
• валидность теста по критерию,
• валидность теста по содержанию,
• прогностическая валидность теста и др.

Валидность лучших тестов, выраженная коэффициентами корреляции (линейными, ранговыми и др.) составляет 0,3-0,8. К сожалению, есть случаи, когда тесты применяются без проверки их на в. В результате оказывается, что они бесполезны или даже вредны. Валидность теста – это показатель степени его эффективности. Она, естественно, меняется в зависимости от контингента людей, которые подвергаются тестированию, и характера их будущей деятельности. Один и тот же тест может быть высоковалидным для одной ситуации, бесполезным для другой и вредным для третьей.

Валидность теста конструктная

критерий качества теста, используемый при измерении какого-либо сложного психического феномена, имеющего иерархическую структуру, измерить который из-за этого одним актом тестирования невозможно. Так, психодиагностика интеллекта невозможна без предварительного определения понятия "интеллект", его структуры. Степень соответсвия нашего предварительного понимания и определения интеллекта реальной возможности конкретного теста, степень соответствия структуры интеллеткта структуре теста и есть в.т.к. Она нацелена на определение точности измерения сложных, устойчивых типов поведения, качеств личности, психических явлений.

Валидность теста по критерию

критерий качества теста, с помощью которого можно судить об интересующем нас аспекте психики индивида в настоящем и будущем. Для его определения необходимо сопоставить результаты тестирования с уровнем развития измеряемого признака, качества личности на практике. Например, для теста на технические способности основным критерием их определения будет выступать техническая деятельность конкретных специалистов, оценка их технических способностей с помощью экспертов, хорошо знающих испытуемых на протяжении достаточно продолжительного времени в интересующем нас аспекте. Оценка должна даваться по шкале порядковой, интервальной или отношений. В лучших тестах в. по критерию, измеренная коэффициентом корреляции, составляет от 0,3 до 0,8. Применение теста оправдано, если валидность по критерию оставляет 0,2-0,25.

Валидность теста по содержанию

критерий качества теста, используемый при вывяснении соответствия его области измеряемых психических явлений. В.т.к. показывает, насколько полно тест охватывает исследуемое множество измеряемых параметров. Если, например, нужно проверить с помощью теста математическую подготовку абитуриента вуза, то в предлагаемый тест должны быть включены математические задания, для решения которых необходимы знания по всем разделам математики, изучаемым в средней школе. Таким образом, степень соответствия структуры данного теста структуре программы математических дисциплин, изучаемых в школе, и является валидностью данного теста по содержанию. Естественно, что для обследования лиц, окончивших вузы, предназначаются тесты с иной вялидностью по содержанию.

Валидность теста прогностическая

критерий качества теста, используемый при предсказании характера развития измеряемого параметра в будущем. Одним из самых существенных недостатков подобных тестов является то, что они не учитывают неравномерность развития измеряемого параметра у различных людей в будущем. Данный вид валидности является особо ценным с практической точки зрения.

Валидность эксперимента

критерий качества эксперимента, степень его точности, в зависимости от которой выводы, полученные в его ходе могут быть распространены на всю генеральную совокупность. В.э. позволяет определить насколько всеобщими могут быть выводы, полученные путем исследования ограниченной по времени и обьему выборки. Различают внутреннюю и внешнюю валидность эксперимента.

Валидность эксперимента внешняя

критерий качества эксперимента, в зависимости от которого выводы об определенной тенденции, закономерности развития конкретных психических явлений, личностей, видов деятельности и т.д. могут быть распространены на другие явления и т.д. в данной или иной сфере. Языком математики это можно сформулировать так: насколько закономерности данного подмножества характерны для всего множества. Для определения границ применения экспериментальных выводов и необходимо определять в.э.в.

Валидность эксперимента внутренняя

критерий качества эксперимента, используемый при выяснении степени достоверности выявленной в результате эксперимента тенденции, закономерности, характерной для данной единицы множества или для всего подмножества элементов генеральной совокупности. Допустим, исследуя степень влияния освещенности на эффективность производственной деятельности ткачих, психологи обнаружили статистическую зависимость их эффективности работы от частоты смены освещения. Что является основным фактором повышения эффективности деятельности: смена освещения, внимание экспериментаторов, особое поведение руководителей в период эксперимента или другие факторы? В данном случае психологи пришли к выводу: появление молодых мужчин-исследователй в цехе, где работали женщины, и послужило причиной повышения производительности их труда. Но ведь могла быть и принята гипотеза о росте производительности ткацкого труда в зависимости от смены освещенности. В.э.в. показывает в какой степени независимая переменная (производительность труда) связана с зависимой (освещенность). Строго научное проведение психологического эксперимента предполагает определение его валидности.

1. Показатель качества метода, его способность давать результаты, адекватно отражающие изучаемое явление, т.е. именно те результаты, для получения которых он предназначен (В. метода). 2. Мера соответствия теории эмпирическим данным, возможность делать разумно точные предсказания на основании теории (В. теории). 3. Мера соответствия результатов изучаемой реальности, точнее, представлениям о реальности (В. результатов). В данной статье В. обсуждается в первом смысле. В позитивистской науке различают В. измерения, внутреннюю и внешнюю В. экспериментальных процедур и В. статистического вывода.

В. измерительных процедур

Под измерением понимают процесс связывания теоретического понятия с одной или несколькими латентными переменными, а этих последних - с наблюдаемыми переменными. В классической теории результат измерения включает два не коррелирующих компонента: истинный и ошибочный. В отношении ошибок измерения делаются предположения, при выполнении которых поведение ошибок становится известным. В. измерительной процедуры - мера ее соответствия измеряемому конструкту. Чаще других оценивают критериальную (часто называемую эмпирической), конструктную, конвергентную и дискриминантную В. В качестве вспомогательных методов установления В. используют реферирование литературы по вопросу, экспертные оценки.

Критериальная В. измерительной процедуры оценивается по тесноте статистической связи (корреляции) между измеренными результатами и внешним критерием. Так, критериальная В. шкалы лидерства означает, что полученный показатель коррелирует с некоторым независимо полученным показателем, например, социометрическими данными. Указание на критериальную В. предполагает не только сообщение о коэффициенте корреляции между показателями теста и внешним показателем, но также о всех обстоятельствах исследования: как и в какой ситуации был измерен критерий, на какой выборке проводилось исследование и др. Критерии могут быть текущими (измеряемыми одновременно с применением валидизируемой процедуры) и прогностическими. Прогностическая В. высоко желательна для практически ориентированных методов измерения. Недостатками подхода является трудности с подбором критерия и риск измерения невалидного критерия, что существенно снижает полученный коэффициент корреляции. Как оцениваемое поведение, так и критерий могут меняться во времени, а выборки могут быть смещенными. Если бы исследователю удалось найти совершенный критерий, создание измерительной процедуры стало бы избыточным. В этой связи понятен парадокс, сформулированный Дж.Келли: В. метода - это его способность предоставлять и без того известную информацию. Зависимость критериальной В. от свойств критерия, невозможность нахождения удовлетворительного объективного показателя во многих областях знания существенно снижают ценность критериальной В. как показателя качества измерительной процедуры.

Конструктная В. устанавливается по статистической связи между показателями данной процедуры и других методик, измеряющих родственный конструкт. Гипотезы о статистической связи формулируются до их проверки, на основании содержательной теории. Конструктная валидизация - длительный процесс, и ни одна эмпирическая корреляция не может гарантировать достоверности измерения. Теоретически постулируется связь между конструктами, оценивается корреляция между индикаторами этих конструктов, на основании полученных данных пересматриваются теоретически ожидаемые связи между конструктами или между конструктами и индикаторами. Подбирается новый конструкт (или новый индикатор, или новая теория о связи между конструктами), и процесс повторяется снова. Оба конструкта могут оказаться неродственными. Так бывает, когда измерительные методы, выступающие под одним и тем же названием, строятся на разных теоретических основаниях. Другие проблемы связаны с ситуациями, когда измеренный показатель, привлекаемый для валидизации процедуры, измеряется недостаточно валидно; один и тот же индикатор одновременно измеряет разные конструкты; ошибки измерения коррелируют между собой. Если исследователь уверен/а в том, что структурная схема корректна (отсутствуют связи между индикаторами и посторонними конструктами, а корреляция между ошибками измерения равна нулю), он/а может найти корреляцию между конструктами, скорректированную на ненадежность индикаторов.

Для оценки конструктной В. измерительной процедуры часто используют факторный анализ индикаторов. Под этим именем понимается широкий набор методов снижения размерности данных, когда из множества измеренных переменных извлекается небольшое количество латентных переменных (факторов). Количество и теоретическая интерпретируемость факторов трактуется как мера В. измерительного метода, а факторные нагрузки измеренных переменных - как мера В. индикаторов. Факторная нагрузка - это стандартизованная мера структурной связи между общим фактором (латентной переменной) и индикатором. Ее часто определяют как корреляцию между фактором и переменной. Широко известные методы факторного анализа (например, анализ главных осей) является эксплораторной процедурой, т.е. не позволяет проверять статистических гипотез, а результат анализа существенно определяется техническими решениями, который принимает исследователь. В этом смысле возможности метода как средства валидизации ограничены. Чтобы ослабить произвол при проведении факторного анализа, используют кросс-валидизацию: выборка случайно расщепляется пополам, факторы извлекаются на одной половине выборки, а оправданность и устойчивость факторного решения проверяется на другой половине.

Понятия конвергентной и дискриминантной В. введены Д. Кембеллом и Д. Фиске как два взаимосвязанных показателя достоверности метода. Конвергентная В. требует "сходимости" (высокой корреляции) родственных конструктов, дискриминантная В. - отсутствия корреляций между измерениями неродственных конструктов. Более строго эта концепция реализована в подходе, известном под именем "Много черт - много методов", или МЧММ (MTMM - many traits, many methods). Суть его в том, что несколько свойств измеряются несколькими методами. Между показателями одного и того же свойства, измеренного с помощью разных методов, должны быть высокие корреляции, между показателями разных свойств, измеренными с помощью одного метода, - низкие. Третьим условием является превышение первого набора коэффициентов корреляции над вторым. Есть и более строгие статистические методы анализа корреляционной матрицы МЧММ. В последние годы приобрели популярность структурные уравнения, в частности, конфирматорный факторный анализ, который в соответствии с содержательной моделью раскладывает ковариации измерений на компоненты, связанные с влиянием методов, свойств, и ошибки. Полученные структурные коэффициенты интерпретируются как показатели В.

В. экспериментального метода

Круг понятий, связанных с оценкой В. эксперимента (и результатов эксперимента), был разработан методологами-постпозитивистами в 1960-х (Д. Кэмпбелл, Т. Кук, Дж. Стэнли и др.). В эпистемологической традиции, восходящей к Дж.С.Миллю и связывающей причинность с манипуляцией, истинный эксперимент со случайным распределением испытуемых по условиям рассматривается как единственное средство убедительной проверки каузальных гипотез. С этой точки зрения причинные утверждения в неэкспериментальных науках (социологии) нелегитимны. Предшествование во времени предполагаемой причины (независимой переменной) следствию (зависимой переменной) как одно из условий каузальной связи в эксперименте обеспечивается манипуляцией и измерением ее последствий. Сложнее выполнить другое требование к каузальному выводу - отсутствие правдоподобных альтернативных объяснений. Под внутренней В. понимается уверенность в том, что именно независимая переменная X служит основной причиной систематической изменчивости значений зависимой переменной Y, т.е. отсутствуют другие переменные, опосредующие связь между X и Y. Мы не в состоянии гарантировать В. эксперимента, но с учетом особенностей используемой исследовательской процедуры можем идентифицировать и устранить основные причины невалидности. Кэмпбелл и Стэнли предложили классификацию причин снижения внутренней В. История (фон) - это события, которые произошли между X и Y и могли повлиять на их ковариацию. Естественные изменения - перемены во внутреннем состоянии испытуемых, не связанные с влиянием X, такие как усталость, взросление, научение. Эффект инструмента связан с нежелательными изменениями измерительных процедур (технические поломки, усталость наблюдателей). Эффект статистической регрессии (соскальзывание к среднему) наблюдается тогда, когда экспериментальные и/или контрольные группы отбирались на основании крайних значений релевантных показателей; по причинам статистического свойства к моменту второго измерения максимальные значения показателей понизятся, а минимальные повысятся. Отбор групп как причина невалидности связан с неслучайным (неэквивалентным) отбором испытуемых или других единиц исследования. Отсев ("экспериментальная смертность") означает неравномерное и неслучайное выбывание участников исследования. Взаимодействие отбора с другими факторами описывает ситуацию, когда неслучайно отобранные испытуемые имеют разную личную историю, склонность к усталости, отсев и др. Внутренняя В. оценивается качественно по степени отклонения исследовательской процедуры от некоторого идеального случая. Это касается также неэкспериментальных планов исследования, в которых к приведенному перечню причин снижения валидности добавляются новые угрозы.

Внешняя В. характеризует степень обобщаемости полученных результатов на иные генеральные совокупности и контексты. Успешное воспроизведение исследования служит одним из важных условий оценки достоверности теорий и помогает уточнить диапазон пригодности последних. Одной из стратегий достижения внешней В. также является идентификация и устранение причин, ответственных за случайное получение результата. Это, в частности, реактивный эффект (влияние процедуры начального измерения на поведение испытуемых) и взаимная интерференция экспериментальных воздействий. Другие стратегии основаны на использовании плана рандомизированного эксперимента с единственным измерением после исследования (что снимает реактивный эффект); снижение риска влияния экспериментатора (напр., минимизация контактов экспериментатора с испытуемым, увеличение количества исследователей или двойной слепой метод, когда исследователь до окончания эксперимента не знает, кто из испытуемых каким воздействиям подвергается); повышение экологической В. (реалистичности) исследования. Важную методологическую роль в обеспечении В. научного исследования играет воспроизведение с расширением, когда каждая последующая репликация эксперимента предусматривает небольшие процедурные модификации.

В. статистического вывода

Под В. статистического вывода понимается выполнение комплекса условий, уменьшающих вероятность неверного статистического решения о нулевой гипотезе (о равенстве параметра некоторому значению или соответствии статистической модели полученным данным) или величине эффекта. Основным методом принятие статистических решений в последние десятилетия стала проверка статистической значимости, т.е. о равенстве параметра некоторому значению. Для этого используются критерии z, t, F, x2 и др. Эмпирически полученное значение критерия сравнивается с критическим, и на основании этого сравнения нуль-гипотеза отвергается или не отвергается. Т.о., решение носит бинарный характер (да-нет). В этом процессе можно совершить одну из трех ошибок: неверно отвергнуть истинную нуль-гипотезу (ошибка первого рода, альфа), неверно принять истинную альтернативную гипотезу (ошибка второго рода, бета) и неверно сформулировать статистические гипотезы, т.е. неправильно перевести исследовательский вопрос на язык статистики.

Угрозы В. статистического вывода многочисленны и имеют разную природу. Использование невалидных индикаторов (раздел данной статьи Валидность измерительных процедур) не дает возможности уверенно интерпретировать полученный результат. Использование ненадежно измеренных переменных приводит к существенному занижению полученных статистик.

Большой класс угроз В. статистического вывода связан с неверным формулированием модели. В частности, более известные линейные модели выбираются в тех случаях, когда лежащие в их основе предположения нарушаются: связь между переменными носит нелинейный характер, присутствуют экстремальные значения, дисперсии зависимой переменной для разных уровней независимой переменной неравны, переменные измерены более грубо, чем того требует модель, отсутствующие значения переменных распределены неслучайным образом. В стандартных пакетах статистического анализа имеются методы диагностики нарушений предположений модели. Более сложные концептуальные ошибки совершаются в связи с неверным определением переменных как независимых или ковариирующих, неправильным выбором моделей для зависимых (повторных) или независимых измерений, фиксированных или случайных эффектов. При сравнении нескольких средних или оценке значимости нескольких корреляций исследователи не всегда учитывают инфляцию ошибки первого рода: так, для j переменных мы получаем k = j(j - 1)/2 корреляций, и вероятность случайно получить хотя бы один значимый коэффициент корреляции, альфаобщ., равна 1 - (1 - альфа)k. Использование слишком большого числа переменных при небольшом числе наблюдений (респондентов) создает "сверхпригодность" модели, когда модель идеально описывает выборочные данные, но неадекватна для описания генеральной совокупности.

Многие простые ошибки статистического вывода обусловлены причудливым и механическим объединением двух разных подходов к статистическому решению - Фишера и Неймана-Пирсона. Последний подход подчеркивает важность мощности критерия для оценки значимости. Так, результат может оказаться статистически незначимым по причинам, связанным с недостаточной мощностью метода: слабость экспериментального воздействия, маленькая или гетерогенная выборка, ненадежное измерение переменных, чрезмерно малое значение ошибки первого рода. Статистическая значимость - это вероятность того, что полученный результат случаен на выборке данного объема, однако эта величина ничего не говорит о величине эффекта. Современные руководства рекомендуют сообщать в публикациях не только показатель значимости (p), но значения эффекта (типичные показатели - r Пирсона, t Стьюдента, d Коэна, g Хиджеса, ню2 для дисперсионного анализа и др.). Другими альтернативами бинарным решениям о статистической значимости являются доверительные интервалы, байесовы статистики и, в более широком смысле, воспроизведение с расширением и метаанализ.

В. в качественных исследованиях

В. в качественных исследованиях не может быть оценена с помощью описанных выше классических методов. Ряд авторов показывают примитивность имеющихся подходов к оценке В. и "критериологии" в целом (Т.Швандт, Дж.Смит). В то же время отказ от идеи достоверности/аутентичности в отличие от дискредитированной объективности выглядит слишком радикальным даже для постмодернистских исследователей. Поэтому другие авторы (Э.Губа, И.Линкольн, С.Квале, С.Мишлер) пытаются переформулировать традиционные критерии валидности, сделав их менее позитивистскими. Обсуждаются новые процедуры обоснования достоверности: коммуникативная валидизация (участие испытуемых в обсуждении результатов; привлечение к обсуждению коллег), процедурная валидизация (точность, тщательность и полнота полевых заметок или получаемых данных; полное, сбалансированное и прозрачное описание результатов, открытое для иных интерпретаций; чувствительность к обратной связи со стороны коллег; перепроверка выводов на других фрагментах полученного материала) и т.д. Среди прочих подходов к обоснованию достоверности результатов следует упомянуть установление степени правдоподобия (plausibility) как оценки полученного знания с позиции уже имеющихся знаний; доверие (credibility) как оценка и коллективного осмысления результатов с учетом природы феномена, и обстоятельств его наблюдения; укорененность в данных, включенность в контекст исследовательской программы (dependability), которая основана на тщательном изучении и оценке процедурных аспектов; чувствительность как способность исследователя увидеть социальную проблему и способствовать ее решению; онтологическая и образовательная аутентичность - способность повысить сознательность участников исследования (в первом случае) и их окружения (во втором); каталитическая аутентичность как влияние на социальные программы, способствующие улучшению качества жизни изучаемой популяции.

Постмодернистскими авторами обсуждаются принципиально новые понятия и принципы обоснования знания: ироническая (Ж.Бодрийар), неопрагматическая (Ж.-Ф.Лиотар), ризоматическая (Ж.Деррида) валидизация. Н.Дензин обосновал метод триангуляции как радикальной альтернативы традиционным подходам к валидизации. Триангуляция есть сочетанное и взаимообогащающее использование разных методов, методологий, данных, теорий и/или исследователей. Множественность подходов и приемов призвана ослабить эпистемологические ограничения, перейти установленные границы, выявить новые стороны феномена. Следует отметить, что идея триангуляции [истины] была порождена в постпозитивизме (Д.Кэмпбелл), где она понималась как некоторая процедура, набор полезных трюков: в дополнение к опросу "обычных" людей опросить экспертов; случайным образом расщепить выборку испытуемых пополам и провести анализ данных раздельно; исключить из анализа одну переменную и посмотреть, как изменится модель; валидизировать конструкт с помощью подхода "много черт - много методов" и т.д. Чтобы избежать нежелательных ассоциаций с позитивизмом, постмодернистская исследовательница-этнограф Л.Ричардсон в радикальном духе отказывается от идеи триангуляции и предлагает иную привлекательную метафору - кристалла, а не треугольника, кристаллизации, а не триангуляции. Кристалл одновременно создает, преломляет и искажает, он многогранен, и ни одна из его граней не более достоверна, чем любая другая. Как и знание, кристалл растет и разрушается. Метафорический подход к проблеме обоснования знания и оценки его качества неслучаен. Он призван разрушить критериальные подходы и представления о стандартах. Социальное исследование обладает ценностью лишь тогда, когда дает равные возможности высказаться представителям разных групп, создает равновероятные версии и подавляет доминирующие, "правильные" интерпретации.

Отличное определение

Неполное определение ↓

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до сих пор представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает».

Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называетсявалидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией . Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это -прагматическая валидизация.

Обобщая, можно сказать следующее:

при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что «нечто», измеряемое методикой, имеет связь с определенными областями практики.

Если опять обратиться к истории развития тестологии, то можно выделить такой период (20-30-е гг.), когда научное содержание тестов и их теоретический «багаж» интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Поэтому на ранних стадиях развития тестологии, когда концепция валидности только складывалась, бытовало интуитивное представление о том, что именно данный тест измеряет:

методика называлась валидной, так как то, что она измеряет, просто «очевидно»;

доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет «понять испытуемого»;

методика рассматривалась как валидная (т. е. принималось утверждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, «очень хорошая».

Принятие на веру голословных утверждений о валидности методики не могло продолжаться длительное время. Первые проявления действительно научной критики развенчали такой подход: начались поиски научно обоснованных доказательств.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. Нельзя было точно назвать те особенности, качества, которые тесты выявляли. Б. М. Теплов, анализируя тесты того периода, назвал их «слепыми пробами».

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разработке тестов призывали опираться не только на «голую» эмпирику и практику, но и на теоретическую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.

В по­нятие валидности входит большое количество са­мой разнообразной информации о тесте. В целом она описывает сферу при­менения методики и отражает уровень обоснованности результатов измерения. Различные категории этих сведений и способы их получения образуют различные типы валидности. Основными типами считаются содержательная валидность, конструктная валидность и критериаль­ная валидность. Классификация типов валидности в достаточной мере условна, так как нередко для различ­ных критериев валидности применяются общие ме­тоды определения, а с другой стороны, одни и те же исходные данные могут ин­терпретироваться с точки зрения различных ти­пов валидности. На рис. 2 приведена примерная схе­ма, отражающая виды и связи валидности.

Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее. Не вдаваясь пока в конкретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической методики. Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Теоретическая валидность складывается из содержательной и конструктной.

Валидность по содержанию заклады­вается в тест уже при подборе заданий будущей методики. В содержательной валидности реализуется синтетический подход в анализе элементного состава содержания самого теста, а не совокупности внешних критериев валидизации. Первым этапом валидизации является определение круга ис­следуемых свойств и видов деятельности, расчленение сложной способности или деятельности на элементы. На втором этапе разрабатывают собственно модель тестовой деятельности на основе наибо­лее важных элементов реальной деятель­ности. Наконец, на последнем этапе про­водят анализ степени соответствия разра­ботанной модели реальной деятельности, проверку соответствия пропорций представленности элементов в заданиях теста и в реальной деятельности. Так, для тес­тов достижений по отдельным предме­там разработке конкретного содержания тестовых задач предшествуют полная си­стематическая проверка соответствую­щих учебников и учебных программ, а также консультации со специалистами по данному предмету. На основе собранной таким путем информации составляют спе­цификацию теста, где указывают тестиру­емые области содержания (темы), задачи (процессы) обучения, а также относи­тельное значение каждой темы и процес­са для достижения целей обучения на дан­ном этапе. Конкретные задания оценива­ются экспертами по принципу их близос­ти к реальным требованиям (логическая валидность ). Эксперты вы­носят суждения о том, охватывает ли тест репрезентативную выборку конкретных навыков и знаний исследуемой области обучения. Широкое использование экспертных оценок сближает содержательную валидность с процедурой опре­деления валидности критериальной. Однако существенным различием между этими типами валидности является то, что экспертные оценки при анализе содер­жания являются критерием самого теста, в то время как при критериальной валидизации они относятся к испытуемым из вы­борки стандартизации.

Рис. 2. Основные виды валидности

Наряду с тестами достижений содержательная валидность является одной из важнейших форм вали­дизации тестов критериально-ориен­тированных, а также методик, предна­значенных для профотбора, анализа ус­пешности овладения профессией. Для валидизации опросников личнос­тных и тестов интеллекта критерии содержательной валидности имеют ограниченное применение и используются лишь на начальных стадиях составления теста.

Очевидная валидность -представление о тесте, сфере его применения, результативности и прогностической цен­ности, которое возникает у испытуемого или другого лица, не располагающего спе­циальными сведениями о характере ис­пользования и целях методики. Очевидная валидность не является компонентом объективно уста­навливаемой валидности. Вместе с тем высокая очевидная валидность в большинстве случаев яв­ляется весьма желательной. Она выступа­ет в качестве фактора, побуждающего ис­пытуемых к обследованию, способствует более серьезному и ответственному отно­шению к работе по выполнению заданий теста и к заключениям, формулируемым психологом. Достаточный уровень очевидной валидности особенно значим для методик обследования взрос­лых.

Конструктная валидность - один из основных типов валидности, от­ражающий степень репрезентации иссле­дуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать практический или вер­бальный интеллект, эмоциональная неус­тойчивость, интроверсия, понимание ре­чи, переключаемость внимания и т. д. Иначе говоря, конструктная валидность определяет область те­оретической структуры психологических явлений, измеряемых тестом.

Поскольку проявления таких конст­руктов, как, например, интеллект в деятельно­сти человека многообразны и неоднознач­ны с точки зрения их выделения, процедура уста­новления конструктная валидность по сравнению с валиднос­тью критериальной или валидностью содержательной более сложна.

Среди конкретных методов характери­стики конструктной валидности в первую очередь необходимо назвать сопоставление исследуемого на предмет конструктной валидности теста с другими методиками, конструктное содержание которых известно. Наличие корреляции между новым и аналогичным по конструкту тестом ука­зывает на то, что разрабатываемый тест «измеряет» примерно ту же сферу поведе­ния, способность, личностное качество, что и эталонная методика.

При анализе конструктной валидности методики обычно формулируют ряд гипотез о том, как будет коррелировать разрабатываемый тест с широким кругом других тестов, направ­ленных на конструкты, находящиеся в те­оретически известной или предполагае­мой связи с исследуемыми. При этом конструктная валидность характеризуется не только связями про­веряемого теста с близкородственными показателями, но и с теми, где, исходя из гипотезы, значимых связей наблюдаться не должно. Эти подходы определяются как конвергентная (проверка степени близости прямой или обратной связи) и дискриминантная (установление отсут­ствия связи) валидизации. Подтвержде­ние совокупности теоретически ожидае­мых связей составляет важный круг све­дений конструктной валидности. В англоязычной психодиагностике такое операциональное определе­ние конструктной валидности обозначается как «предполагае­мая валидность» (assumed validity).

Инкрементная валидность (англ. incremental - приращение, при­быль) - один из компонентов критери­альной валидности, прогностической валидности теста, отражающий практи­ческую ценность методики при проведе­нии отбора. Инкрементная валидность может быть выражена количественно при помощи коэффициента валидности.

Показатель инкрементной валидности указывает на роль те­ста в улучшении отбора лиц для реальной деятельности, степень улучшения резуль­тативности процедуры отбора по сравне­нию с традиционной, основанной на ана­лизе объективных сведений, документов, бесед, приеме с испытательным сроком и т. д.

Прямое отношение к характеристике конструктной валидности имеет факторный анализ, позволя­ющий строго статистически проанализи­ровать структуру связей показателей ис­следуемого теста с другими известными и латентными факторами, выявить общие и специфические для группы сопоставляе­мых тестов факторы, степень их представ-ленности в результатах, т. е. определить факторный состав и факторные нагрузки результата теста. Исключительная важ­ность такой процедуры является основа­нием для выделения ее в особый вид конструктной валидности - факторную валидность.

Важным аспектом конструктной валидности является внутренняя согласованность, отражаю­щая то, насколько определенные пункты (задания, вопросы), составляющие мате­риал теста, подчинены основному направ­лению теста как целого, ориентированы на изучение одних и тех же конструктов. Анализ внутренней согласованности осу­ществляется путем коррелирования отве­тов на каждое задание с общим результа­том теста. Следует отметить, что крите­рий внутренней согласованности указы­вает лишь на меру связи всего содержа­ния теста с измеряемым конструктом, да­вая лишь косвенную информацию о при­роде измеряемого свойства.

При определении конструктной валидности важное место принадлежит изучению динамики измеря­емого конструкта. При этом мы можем опираться на гипотезы о его возрастном развитии, влиянии тренировок, обучения, освоения профессии и т. д. Одним из та­ких подходов является применение крите­рия возрастной дифференциации (ва­лидность по возрастной дифференциа­ции ). Характери­стика валидности по конструкту здесь за­ключается в определении соответствия результатов теста теоретически ожидае­мым и практически наблюдаемым возрастным изменениям данного конструкта или свойства. Наибольшее значение валидности по возрастной дифференциации имеет для характеристики валидности тестов, направленных на измерение психологи­ческих свойств, функций, отличающихся относительно быстрым изменением под воздействием индивидуального опыта, вы­раженной иерархичностью ступеней раз­вития (осведомленность, навыки, интел­лектуальные операции и др.). Критерий валидности по возрастной дифференциации обычно не находит широкого применения при валидизации методик, предназначенных для психологи­ческой диагностики функций, свойств, не обнаруживающих четкой и однознач­ной тенденции к возрастным изменениям. К их числу, в частности, относятся мето­дики диагностики личности.

В комплекс сведений о конструктной валидности методики входят также данные, относящиеся к сфе­ре критериальной и содержательной валидности. Так, критерии, используемые при валидизации, несут информацию, по­зволяющую раскрыть область поведения, качества, представленные в тесте в виде конструкта. Для характеристики конструктной валидности не­обходимы связь с практическими форма­ми деятельности, достоверность прогноза реального поведения. Однако конструктная валидность являет­ся качественно более высоким и комплек­сным уровнем описания теста, характери­зуя область измеряемого поведения в ши­роких психологических понятиях. Благо­даря данным конструктной валидности мы можем с психологи­ческих позиций закономерно объяснить результаты теста и их дисперсию, обосно­вать диагноз, введя измеряемое свойство в систему психологических категорий, прогнозировать поведение в более широ­ких пределах, чем это задается областью деятельности, для которой определялась содержательная валидность.

Таким образом, провести теоретическую валидизацию методики - это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять. Для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Такая проверка показывает, насколько замысел автора и результаты методики совпадают.

Не столь сложно провести теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и аналогичной, уже проверенной методикой указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. Такой прием особенно часто применяется в дифференциальной психофизиологии при создании методик диагностики основных свойств нервной системы человека.

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации об изучаемом свойстве, анализ теоретических предпосылок и экспериментальных данных, значительный опыт работы с методикой позволяют раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления об ее сущности.

Важно помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности. Ей придают большое значение особенно там, где встает вопрос отбора.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимыйвнешний критерий - показатель проявления изучаемого свойства в повседневной жизни. Такими критериями могут быть:

успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта);

производственные достижения (для методик профессиональной направленности);

эффективность реальной деятельности - рисование, моделирование и т.д. (для тестов специальных способностей);

субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Маккормик, проведя анализ используемых для доказательства валидности внешних критериев, выделили четыре их типа:

критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса. давление крови, электросопротивление кожи, симптомы утомления и т. д.);

критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

он должен быть релевантным;

свободным от помех (контаминации);

надежным.

Под релевантностью имеется в виду смысловое соответствие диагностического инструмента независимому жизненно важному критерию. Другими словами, должна быть уверенность в том, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний критерий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородными по психологической сущности.

Если, например, тест измеряет индивидуальные особенности мышления, умение выполнять логические действия с определенными объектами, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятельности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вытекает существование нескольких критериев выполнения профессиональной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффективностью в целом. Необходимо найти такой критерий, который по характеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оценку валидности методики.

Требования свободы от помех (контаминации) вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический характер. Так, например, производительность следует брать не по абсолютным значениям, а в отношении к средней производительности рабочих, имеющих аналогичные условия труда.

Когда говорят, что критерий должен иметь статистически достоверную надежность , это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось подыскать подходящего критерия для их проверки. В частности, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Существует несколько видов критериальной валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия. Однако чаще всего называются следующие:

Валидность по одновременности (текущая валидность , или диагностическая валидность) определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т. д. С ними сопоставляют результаты успешности по тесту.

«Предсказывающая» валидность (другое название - прогностическая валидность ). Определяется также по внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-либо оценках способность человека к тому виду деятельности, для которой он оценивался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, - применять его очень трудно. Точность диагноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

Ретроспективная валидность . Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т. д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Оценка валидности методик может носить количественный и качественный характер.

Для вычисления количественного показателя - коэффициента валидности - сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности? Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В общем, отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,2-0,3, средним - 0,3-0,5 и высоким - свыше 0,6.

Но, как подчеркивают А. Анастази, К. М. Гуревич и др., не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической пробы. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40 % решения теста. Более высокий показатель в тесте уже не имеет никакого значения для профессии.

Наглядный пример из монографии К. М. Гуревича: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью - это уже не имеет профессионального значения.

При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так, еще на заре ХХ в. американский исследователь Ф. Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда,то есть высокий уровень их умственного развития мешал им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошли бы дисперсионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидности методик используют другую модель - клинические оценки. Это не что иное, как качественное описание сущности изучаемого свойства . В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

В психологической диагностике валидность - обязательная и наибо­лее важная часть сведений о методике, включающая:

данные о степени согласованности ре­зультатов теста с другими сведениями об исследуемой личности, полученными из различных источников (теоретические ожидания, наблюдение, экспертные оцен­ки, результаты других методик, достовер­ность которых установлена и т. д.),

суж­дение об обоснованности прогноза разви­тия исследуемого качества,

связь изучае­мой области поведения или особенности личности с определенными психологичес­кими конструктами.

конкретную направленность методики (контингент испытуемых по возрасту, уровню образования, социально-культур­ной принадлежности и т. д.) и

степень обоснованности выводов в конкретных условиях использования теста и т.д.

В сово­купности сведений, характеризующих валидность теста, содержится информация об адек­ватности применяемой модели деятельно­сти с точки зрения отражения в ней изучаемой пси­хологической особенности, о степени од­нородности заданий (субтестов), вклю­ченных в тест, их сопоставимости при ко­личественной оценке результатов теста в целом.

При приведении данных о валидности разработанной методики важно точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т. д.). Желательно также сообщать сведения о численности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользователям методики решить, насколько валиден этот прием для той группы, к которой он собирается его применять. Как и в случае с надежностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой - низкой. Поэтому, если исследователь планирует использовать методику на выборке испытуемых, существенно отличающейся от той, на которой проводилась проверка валидности, ему необходимо заново провести такую проверку. Приводимый в руководстве коэффициент валидности применим только к группам испытуемых, подобных тем, на которых он определялся.

Известны два пути создания психодиагностических методик: адаптация известных методик (зарубежных, устаревших, с иными целями) и разработка новых, оригинальных методик.