Лекции по "Анализ эксперимента"

ter">18. Надежность психодиагностических методик. Стандартная ошибка измерения. Понятие о методе измерения ретестовой надежности

Надежность – одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста).

Надежность –  это помехоустойчивость теста, независимость  его результата от действия всевозможных случайных факторов:

а) разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому;

б) динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования;

в) информационно-социальные обстоятельства. Разнообразие и изменчивость этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла (который можно было бы, в принципе, получать в идеальных условиях). Величина этого отклонения определяется как «стандартная ошибка измерения» (Se).

Ошибка измерения (Se) и надежность измерения (R), согласно общепринятой психометрической теории, связаны следующей формулой:

R = 1 – Se2 / Sx2, (1)

где Sx – дисперсия тестовых показателей Х.

Метод измерения  «ретестовой надежности».

На одной и  той же выборке испытуемых проводят пер1вое тестирование Х, а затем повторное тестирование Y. Интервал – две недели. Затем для двух рядов значений Х и Y подсчитывает-ся линейный коэффициент корреляции, или ранговый коэффициент корреляции:

где Sx, Sy – стандартные отклонения X и Y;

Cov (X, Y) – ковариация двух переменных X и Y Для сути теории надежности методов важна возможность определить ошибку измерения, после того как подсчитана корреляция «тест-ретест» по формуле (3), полученной путем простого преобразования формулы (1):

Se = Sx x V1 – R. (3)

Таким образом, если стандартное отклонение в тесте  составило 10 очков, а корреляция «тест-ретест» оказалась равной лишь 0,5, то ошибка измерения оказывается очень большой:

Se = 10 x V1 – 0,5 ~ 7,1.

Надежность – характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов. Надежность и валидность являются важнейшими характеристиками методики как инструмента исследования. Общий разброс (дисперсию) результатов тестового обследования можно представить как результат влияния двух групп причин: изменчивости, присущей самому измеряемому свойству, и факторов нестабильности измерительной процедуры.

19. Стандартизация процедуры обследования. Взаимосвязь надежности и валидности. Надежность параллельных форм

Важнейшим средством  повышения надежности психодиагностических методик является стандартизация процедуры обследования. При строгой регламентации процедуры обследования существенно уменьшается дисперсия ошибки и повышается надежность теста.

Надежность – устойчивость процедуры относительно объектов исследования.

Валидность – однозначность, устойчивость относительно измеряемых свойств объекта. Устойчивость теста относительно объектов является необходимым, но недостаточным условием его устойчивости относительно измеряемых свойств объектов. Следовательно, надежность является необходимым, но недостаточным условием валидности. Это означает, что валидность теста не может качественно и количественно превышать надежность.

Надежность  параллельных форм – характеристика надежности психодиагностической методики с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемые в выборке определения надежности обследуются вначале с использованием основного набора заданий, а затем – с применением аналогичных дополнительных наборов. Коэффициент надежности по типу надежности параллельных форм может быть определен так: испытуемые делятся примерно на равные группы, затем одной из них предлагается форма А теста, а другой – форма Б. Через определенное время проводится повторное тестирование, но в обратном порядке.

Такая процедура  обследования лишена значительной части  недостатков способа определения надежности ретестовой. Основным показателем надежности параллельных форм является коэффициент корреляции между результатами первичного и повторного обследований, который позволяет оценить как временную стабильность теста, так и степень соответствия результатов обеих форм теста.

Отношения между  параллельными формами теста  имеет сложный характер. Оба набора заданий должны не только отвечать одним и тем же требованиям, измеряя  идентичные показатели и давая сходные  результаты, но вместе с тем быть относительно независимыми друг от друга. На практике эта задача осуществима  далеко не для всех тестовых заданий (в особенности это касается личностных методик, опросников), что существенно ограничивает сферу применения надежности параллельных форм. Другим недостатком характеристики надежности по типу надежности параллельных форм является возможность усвоения испытуемым принципа решения, общего для основной и параллельной форм.

20. Надежность частей теста. Уравнение Спирмена-Брауна. Определение коэффициента надежности с помощью формул Фланагана и Рюлона

Надежность  частей теста – характеристика надежности психодиагностической методики, получаемая путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных пунктов (заданий) теста. Наиболее простым и распространенным способом определения надежности частей теста является метод расщепления, суть которого заключается в выполнении испытуемым заданий двух равноценных частей теста.

Разделение объема заданий теста на сопоставимые части  достигается:

а) распределением заданий на четные и нечетные (в том случае, если задания в тесте строго ранжированы по степени субъективной трудности);

б) распределением пунктов по принципу близости или равенства значений индексов трудности. Такой принцип разделения пригоден для тестов достижений, в которых обязателен ответ испытуемых на все пункты;

в) распределением задач по времени решения каждой из частей (для тестов скорости).

Для испытуемых в  выборке определения надежности вычисляются оценки успешности решений, среднеквад-ратические отклонения первого и второго рядов оценок и коэффициенты корреляции сравниваемых рядов.

Уравнение Спирмена-Брауна отражает влияние изменения количества заданий на коэффициент надежности теста:

rt = nr't / 1 + (n – 1) r't,

где rt – коэффициент надежности для полного объема заданий;

r't – его значение после изменения числа заданий;

n – отношение нового числа заданий к первоначальному (если число заданий полного теста – 100, а его части, полученной методом расщепления на половины, – 50, то n = 0,5). Отсюда для полного теста:

rt = 2r't / 1 + r't.

Приведенные формулы  справедливы для случаев равных стандартных отклонений обеих половин  теста (σxl = σх2). Если (σxl отличается от (σх2, для определения коэффициента надежности применяется формула Фланагана:

rt = 4σ_xlσ_х2r't / σ_xl+ σ_х2+ 2σ_xlσ_х2r't.

При определении  rt целого теста можно воспользоваться формулой Рюлона:

rt = 1 −σ²_Δ/ σ²_x,

где σ²_Δ – дисперсия разностей между результатами каждого испытуемого по двум половинам теста;

σ²_x – дисперсия суммарных результатов. В данном случае коэффициент надежности рассчитывается как доля «истинной» дисперсии результатов теста.

Характеристика  надежности по типу надежности частей теста имеет серьезные преимущества по сравнению с надежностью ретестовой и надежностью параллельных форм главным образом благодаря отсутствию необходимости в повторном обследовании.

21. Определения валидности. Важнейшие составляющие валидности

Валидность (англ. valid – «действительный, пригодный, имеющий силу») – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

В психодиагностике валидность – обязательная и наиболее важная часть сведений о методике, включающая данные о степени согласованности результатов теста с другими сведениями об исследуемой личности, полученными из различных источников (теоретические ожидания, наблюдение, экспертные оценки, результаты других методик, достоверность которых установлена и т. д.), связь изучаемой области поведения или особенности личности с определенными психологическими конструктами.

Важнейшая составляющая валидности – определение области изучаемых свойств – имеет принципиальное теоретическое и практическое значение при выборе методики исследования и интерпретации ее данных.

В большей степени  достоверность данных теста определяется набором измеряемых свойств. Различные категории этих сведений и способы их получения образуют типы валидности .

Диагностическая (конкурентная) валидность отражает способность теста дифференцировать испытуемых по изучаемому признаку. Сведения, характеризующие степени обоснованности и статистической надежности развития исследуемой психологической особенности в будущем, составляют прогностическую валидность методики.

Два этих типа валидности нередко объединяют в понятие эмпирической валидности. Здесь подчеркивается общность подхода к их определению, который осуществляется путем статистического коррелирования баллов (оценок) по тесту и показателей по внешнему параметру, избранному в качестве валидизации критерия (см. валидности критериальная). Критерий валидности выступает в качестве меры, показателя исследуемых психологических особенностей.

Подтверждение гипотез  свидетельствует о теоретической  обоснованности методики, т. е. о степени ее конструктной валидности. Этот тип валидности является наиболее сложным и комплексным.

Валидность содержательная (внутренняя, логическая) – комплекс сведений о репрезентативности заданий теста по отношению к измеряемым свойствам и особенностям.

Наряду с перечисленными основными типами валид-ности (содержательной, критериальной и конструктной) на практике выделяют факторную, перекрестную (конвергентную) и дискриминантную валидности.

22. Основные типы валидности. Понятие «комплекса валидности». Обоснование необходимости периодической валидизации психодиагностических методик

Классификация типов  валидности в достаточной мере условна, так как нередко для различных критериев валидности применяются общие методы определения, а с другой стороны, одни и те же исходные данные могут интерпретироваться с точки зрения различных типов валидности.

Классификация типов валидности:

1) конструктная;

2) дифференциальная;

3) конвергентная;

4) дискриминативная (дискриминантная);

5) факторная;

6) валидность по возрастной дифференциации;

7) критериальная;

8) диагностическая (конкурентная);

9) текущая;

10) прогностическая;

11) инкрементная;

12) синтетическая;

13) ретроспективная;

14) эмпирическая;

15) содержательная;

16) лицевая (очевидная). Другие виды валидности:

1) иллюзорная;

2) экологическая.

В психологической  диагностике не существует универсального подхода к характеристике валидности.

Для валидизации каждого вида психодиагностических процедур и отдельных тестов могут применяться различные типы валидности. Сведения, входящие в комплекс валидности, можно оценить качественно и количественно (при помощи коэффициента валид-ности), нередко их можно описать. Однако в силу сложности, комплексности, ситуативности по отношению к конкретным условиям применения методики валидность в целом невозможно измерить, о ней можно лишь судить.

Реальная валидность раскрывается только в результате накопления значительного опыта работы с тестами. Получение новых, расширенных данных о валидности может радикально изменить представление о сфере применения и эффективности методики. Некоторые методики, разработанные для диагностики вербальных факторов интеллекта, с достаточной валидностью отражают лишь уровень осведомленности. Сфера применения теста в ходе его длительной валидизации может быть, напротив, расширена. В качестве примера можно привести прогрессивные матрицы Равена, которые оказались в значительной степени насыщены фактором, общим для тестов интеллекта. Реальная валидность ряда психодиагностических методик, особенно тестов интеллекта, достижений в обучении, профессиональной пригодности, личностных опросников, изменяется со временем. Это объясняется устареванием возрастных статистических норм, изменением социальных норм и образцов поведения, методов обучения и содержания заданий, требований к профессиям. Данное обстоятельство создает необходимость периодического контроля валидности методик.