Лекции по "Анализ эксперимента"

23. Конструктная валидность. Конвергентная и дискриминантная валидности

Конструктная валидность – один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать практический или вербальный интеллект, эмоциональная неустойчивость, интроверсия, понимание речи, переключаемость внимания и т. д. Конструктная валидность определяет область теоретической структуры психологических явлений, измеряемых тестом.

Среди конкретных методов  характеристики конст-руктной валидности в первую очередь необходимо назвать сопоставление исследуемого на предмет конструктной валидности теста с другими методиками, конструктное содержание которых известно. Наличие корреляции между новым и аналогичным по конструкту тестом указывает на то, что разрабатываемый тест «измеряет» примерно ту же сферу поведения, способность, личностное качество, что и эталонная методика.

В отличие от критериальной валидизации при анализе конструктной валидности не требуется высокой степени связи результатов двух тестов. Если окажется, что новый и эталонный тесты практически идентичны по содержанию, результатам и разрабатываемая методика не обладает преимуществами краткости или легкости применения, это означает лишь дублирование теста, оправданное только с точки зрения создания параллельной формы теста.

Смысл процедуры  конструктной валидности состоит в установлении одновременно как сходства, так и различия психологических феноменов, измеряемых новым тестом по сравнению с известным.

Конвергентная и дискриминантная валидности. При анализе конструктной валидности методики обычно формулируют ряд гипотез о том, как будет коррелировать разрабатываемый тест с другими тестами, направленными на конструкты, находящиеся в теоретически известной или предполагаемой связи с исследуемыми. При этом конструктная валидность характеризуется не только связями проверяемого теста с близкородственными показателями, но и с теми, где значимых связей наблюдаться не должно. Эти подходы определяются как конвергентная (проверка степени близости прямой или обратной связи) и дискриминантная (установление отсутствия связи) валидизации. Подтверждение совокупности теоретически ожидаемых связей составляет важный круг сведений конструктной валидности. В англоязычной психодиагностике такое операциональное определение конструктной валидности обозначается как «предполагаемая валидность» (assumed validity).

24. Факторная валидность

Факторная валидность. Прямое отношение к характеристике конструктной валидности имеет факторный анализ, позволяющий строго статистически проанализировать структуру связей показателей исследуемого теста с другими известными и латентными факторами, выявить общие и специфические для группы сопоставляемых тестов факторы, степень их представленности в результатах, т. е. определить факторный состав и факторные нагрузки результата теста. Исключительная важность такой процедуры является основанием для выделения ее в особый вид конструктной валидности – факторную валидность.

Важным аспектом конструктной валидности является внутренняя согласованность, отражающая то, насколько определенные пункты (задания, вопросы), составляющие материал теста, подчинены основному направлению теста как целого, ориентированы на изучение одних и тех же конструктов. Анализ внутренней согласованности осуществляется путем коррелирования ответов на каждое задание с общим результатом теста.

При определении  конструктной валидности важное место принадлежит изучению динамики измеряемого конструкта. При этом мы можем опираться на гипотезы о его возрастном развитии, влиянии тренировок, обучения, освоения профессии и т. д. Одним из таких подходов является применение критерия возрастной дифференциации, что предусматривает согласование результатов теста с ожидаемыми изменениями, которые претерпевает изучаемое психическое свойство в возрастной динамике при переходе на новый этап развития. Этот метод конструктной валидности особенно важен для валидизации тестов интеллекта, достижений в обучении.

В комплекс сведений о конструктной валидности методики входят также данные, относящиеся к сфере критериальной и содержательной валидности. Так, критерии, используемые при валидизации, несут информацию, позволяющую раскрыть область поведения, качества, представленные в тесте в виде конструкта. Для характеристики конструктной валидно-сти необходимы связь с практическими формами деятельности, достоверность прогноза реального поведения. Однако конструктная валидность является качественно более высоким и комплексным уровнем описания теста, характеризуя область измеряемого поведения в широких психологических понятиях. Благодаря данным конструктной валидности мы можем с психологических позиций закономерно объяснить результаты теста и их дисперсию, обосновать диагноз, введя измеряемое свойство в систему психологических категорий, прогнозировать поведение в более широких пределах, чем это задается областью деятельности, для которой определялась содержательная валидность.

25. Дифференциальная валидность. Валидность по возрастной дифференциации

Дифференциальная валидность – вид конструктной валидности, рассматривающей внутренние взаимоотношения между психологическими факторами, диагностируемыми с помощью психодиагностической методики. Содержание дифференциальной валидно-сти может быть проиллюстрировано на примере тестов интересов, которые в своем большинстве обычно умеренно коррелируют с показателями общей академической успеваемости, однако в различной степени связаны с успеваемостью по отдельным дисциплинам. Дифференциальная валидность особенно важна как показатель диагностической ценности методик, используемых в профотборе.

Валидность по возрастной дифференциации – один из компонентов конструктной валидности, связанный с возрастной динамикой изменений исследуемого качества. Характеристика валидности по конструкту здесь заключается в определении соответствия результатов теста теоретически ожидаемым и практически наблюдаемым возрастным изменениям данного конструкта или свойства.

Наибольшее значение валидность по возрастной дифференциации имеет для характеристики валидности тестов, направленных на измерение психологических свойств, функций, отличающихся быстрым изменением под воздействием индивидуального опыта, выраженной иерархичностью ступеней развития (осведомленность, навыки). Закономерное повышение результатов выполнения заданий теста в каждой последующей возрастной группе является основным психометрическим принципом диагностики уровня развития, базой для построения психометрической шкалы. Прослеживается связь валидности по возрастной дифференциации с текущей валидностъю за счет более точной дифференциации возрастных этапов развития исследуемых свойств. Большое значение валидность по возрастной дифференциации имеет для характеристики валидности тестов способностей, достижений, уровня образования, навыков, умений. Высокие показатели по этому критерию необходимы также для методик, применяемых в клинике в целях повышения точности дифференцированной диагностики изменений возрастного и патологического характера, психодиагностического обследования лиц пожилого и преклонного возраста.

Иногда валидность по возрастной дифференциации обнаруживает связь с прогностической валидностью методик. Наличие высоких показателей по этому критерию означает стабильное изменение исследуемых свойств в большой статистической выборке при переходе от одной возрастной группы к другой, повышает точность индивидуального прогноза.

26. Критериальная валидность

Критериальная валидность – комплекс характеристик, включающий текущую и прогностическую валидности методики и отражающий соответствие диагноза и прогноза определенному кругу критериев измеряемого явления. В качестве критерия валидиза-ции выступают независимые от результатов теста и непосредственные меры исследуемого качества, такие как уровень достижений в какой-либо деятельности, выраженность определенного свойства личности. Критериальная валидность может быть определена на основании сопоставления результатов теста с экспертными оценками хорошо знающих обследуемого лиц, с результатами наблюдения за проявлением этой особенности в его поведении, с объективными сведениями о круге общения.

Критериальная валидность включает как комплекс связей с текущим состоянием изучаемого явления, так и вероятность, обоснованность прогноза о его состоянии в будущем. Здесь в рамках критериальной валидности различаются текущая (диагностическая, конкурентная) и прогностическая валидности. В случае характеристики текущей критериальной валидности изучение корреляции результатов теста с независимыми критериями проводится параллельно с измерением. Показатели текущей критериальной валидности указывают на степень репрезентации характеристик изучаемого психического явления в результате теста.

Предсказательная критериальная валидность может отражать как соответствие прогноза, сделанного на основании данного теста, реальному состоянию измеряемого качества спустя некоторое время, так и временной интервал, в котором результат теста является валидным.

Валидизация по какому-либо критерию эффективно осуществляется методом контрастных групп. При этом, как правило, используют сложный критерий, в котором отражено комплексное влияние различных факторов. Например, при характеристике критериальной валидности теста интеллекта показатели умственно отсталых детей могут быть сопоставлены с показателями нормальных школьников того же возраста. Множество факторов, обусловивших помещение ребенка в специальное учреждение для детей с глубокой умственной отсталостью, составят критерий валидизации. Аналогично критериальной валид-ности личностного опросника, предназначенного для выявления «уровня невротизации», определяется критерий валидизации на основе сравнения его результатов у пациентов, страдающих неврозами, и практически здоровых людей. Такой критерий в силу его обобщенности, интегративности приближает критериальную ва-лидность к области конструктной валидности.

27. Синтетическая и инкрементная валидности

Синтетическая валидность. Более эффективным с точки зрения практической направленности теста (его адекватности как средства диагноза и прогноза реальной деятельности) является соотнесение результатов с критериальными мерами определенных существенных элементов изучаемой деятельности или способности. Тест для определения профессиональных способностей конторского служащего может включать анализ грамотности письма, счетных способностей, комбинаторного мышления. Процесс валидизации в данном случае складывается из детального анализа тестируемой деятельности для выявления ее существенных составных элементов, определения удельного веса элементов в составе сложной деятельности; определения связи с критериями по каждому из выделенных элементов деятельности; определения валидности теста путем «синтеза весов» отдельных элементов в реальной деятельности и в тесте.

Валидизация теста может осуществляться на основе критерия, отражающего событие или состояние качества в прошлом (ретроспективная валидизация). Сведения такого рода, как правило, являются дополнительными и применяются в случаях невозможности валидизировать тест по текущему или перспективному критерию. Одним из видов критериальной валидности является валидность инкрементная.

Инкрементная  валидность – (англ. incremental – «приращение, прибыль») – один из компонентов критериальной валидности, прогностической валидности теста, отражающий практическую ценность методики при проведении отбора. Инкрементная валидность может быть выражена количественно при помощи коэффициента валидности.

Показатель инкрементной валидности указывает на роль теста в улучшении отбора лиц для реальной деятельности, степень улучшения результативности процедуры отбора по сравнению с традиционной, основанной на анализе объективных сведений, документов, бесед, приеме с испытательным сроком.

Инкрементная валидность рассчитывается в зависимости от значений индекса отбора (доля поступивших по отношению к числу претендентов), коэффициента валидности теста, базового уровня (отношения между лицами, справляющимися с критериальной деятельностью, и случайной выборкой лиц). При уменьшении индекса отбора значение коэффициента инкрементной валидности значительно повышается при условии, что используемый тест обладает высокой валидностью. Определение величины коэффициента инкрементной валидности производится с помощью специальных таблиц (Анастази А., 1982).

28. Текущая и эмпирическая валидности

Текущая валидность (диагностическая, конкурентная) – характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике. В более узком значении текущая валидность – установление соответствия результатов валидизируемого теста независимому критерию, отражающему состояние исследуемого тестом качества в момент проведения исследования.

Вместе с прогностической  валидностью текущая валидность входит в комплекс сведений критериальной валидности методики. Основной процедурой определения текущей валидности является корреляционный анализ связи результатов теста с критериальными характеристиками исследуемого свойства. Распространенным способом характеристики диагностической эффективности методики является сравнение контрастных групп. Текущая валидность может определяться на основании сопоставления оценок, заключений по валидизируемому тесту с результатами другой методики, валидность которой является установленной.