Объективность психологического измерения: контроль инструментальной переменной

В практике психологической работы основной целью является достоверное, независимое от мнения психолога выявление величины исследуемых признаков, т. е. психолог стремится объективно оценить психическую ситуацию, особенности личности испытуемых, их динамику и развитие. Это может быть достигнуто путем многократного применения различных методов, длительного наблюдения за проявлениями признаков различными субъектами, а также выявления высокочастотной вероятности их оценки в различных или типовых ситуациях.

Таким образом, объективность в психологическом исследовании — это адекватность и независимость результатов оценки качеств или свойств изучаемого объекта или явления от субъективности исследователя, что достигается путем абстрагирования психолога от индивидуальности интерпретации результатов исследования, когда складывается ситуация, в которой признак определенно и однозначно проявляется у большинства испытуемых разными исследователями. Однако опыт психолога позволяет интуитивно или на основе накопленных фактов и сформулированного алгоритма отсекать незначимую, необъективную информацию, тем самым объективизируя свой субъективный вывод.

Отсюда объективность психологического исследования вообще и эмпирических показателей в частности достигается путем приобретения опыта получения, использования и интерпретации данных, а также неуклонного соблюдения критериев достоверности психологического измерения.

Опыт психолога как показатель объективности психологического исследования проявляется по крайней мере в трех аспектах. Во-первых, с течением времени исследователь сравнивает результаты своей субъективной оценки с объективными результатами жизнедеятельности испытуемых. Накопленный эмпирический материал в этом сопоставлении приобретает свою объективность, так как «редактируется» и корректируется экспериментальная оценка, становясь реальной и периодически подтверждаемой в иных условиях. Во-вторых, исследователь корректирует и сам инструмент исследования. «Отсекаются» незначимые показатели и шкалы, изменяется их интерпретация, разрабатываются новые нормы и критерии оценки. В-третьих, в процессе психологической практики исследователь усваивает чужой опыт через публикации и в ходе непосредственного обмена информацией. Эти факты иллюстрируют переход субъективной психологической оценки экспериментатора в русло объективного вывода.

Под достоверностью исследований и измерений следует понимать «достаточную верность» получаемых результатов, т. е. достаточную для данного уровня психологических представлений о правильности (истинности) эмпирических данных. Отсюда следует, что допустимая ошибка не должна превышать степень предположения о действительной величине признака. Таким образом, достоверность может складываться из точности измерений и адекватности оценки реально исследуемого признака.

На практике достоверность психологического измерения определяется прежде всего валидностью (соответствием тестовых данных измеряемому свойству), надежностью (точностью психодиагностических измерений), прогностичностыо (предположением о развитии измеренного свойства) и нормативностью (соответствию определенной норме, эталону) применяющихся психологических методов, методик и технологий^[1].

Рассмотрим валидность психологических методов. Проблеме валидности в психологии посвящен довольно большой объем литературы^[2], причем виды, типы валидности и их наименования приводятся довольно равнопланово (рис. 4.2).

Рис. 4.2. Структура валидности средств психологического исследования

Валидностью как элементом достоверности измерения свойств психологического явления называется мера соответствия эмпирических оценок представлениям о сущности свойств или их роли в том или ином исследуемом явлении. Как правило, в теории тестологии определяют два основных типа и несколько видов валидности инструментов психологического исследования. К типам валидности методики относятся внешняя и внутренняя.

Внешняя валидность есть мера возможности распространения результатов измерения на исследуемую популяцию. Она определяется путем формирования репрезентативной исследуемой выборки и перекрестной валидизации методик.

К первому виду внешней валидности методики относится репрезентативность выборки — эго представительность экспериментальной выборки, которая отражает основные свойства исследуемой популяции (генеральной совокупности). Она определяется путем сопоставления качественных и количественных характеристик экспериментальной выборки с характеристиками популяции с целью установления их однородности. К качественным характеристикам могут быть отнесены социально-демографические, видовые, интеллектуальные (образовательные), профессиональные и другие характеристики популяции (группы), которые являются предметом исследования или существенно влияют на него. Количественная характеристика экспериментальной группы — это минимальная ее численность, которая сохраняет свойства генеральной совокупности. Формирование репрезентативной выборки по количественному признаку осуществляется на концептуальном основании теоремы П. А. Чебышева о вероятности ошибки реперезентативности, которая гласит, что «с вероятностью, сколь угодно близкой к единице, можно утверждать, что при достаточно большом числе независимых наблюдений выборочная средняя будет сколь угодно мало отличаться от генеральной средней», и далее (следствие из теоремы), «что с вероятностью, близкой к единице („практически достоверно“), выборочная доля будет как угодно мало отличаться от генеральной доли, если объем выборки достаточно велик»¹. В психологической литературе существует несколько теоретических подходов к расчету объема минимальной репрезентативной выборки^[3][4]. Часто приводятся таблицы опытно полученных данных^[5].

Отмечается, что при объемах генеральной совокупности 400, 500, 1000, 2000, 5000, 10 000 и более человек минимальная выборка составляет соответственно 200, 222, 286, 333,370,398 и 400 испытуемых. Г. Лоза указывает на следующее соотношение генеральной совокупности и объема экспериментальной выборки при проведении социологических исследований: 100/16—17 чел., 300/50 чел., 1000/100 чел. и 5000/200 испытуемых. У А. Гончарова минимальная репрезентативная выборка относительно генеральной совокупности соответственно составляет: 500/222,1000/286, 2000/333, 3000/350, 4000/360, 5000/370, 10 000/385,100 000/398 и более 100 000/400 респондентов.

Второй вид внешней валидности получил название перекрестной валидизации, которая производится путем апробации методики на выборке, отличной от экспериментальной, с целью определения границ ее применимости, но критерию «характеристика популяции» (для определения уровня развития свойства у детей, подростков, мужчин и женщин, определенной группы специалистов и т. д.). В ходе перекрестной валидизации рассчитываются коэффициенты корреляции между показателями, полученными в результате тестирования разных групп испытуемых. Вывод о возможности применения методики на конкретной популяции делается при помощи определенных статистических критериев. Например, если среднее значение эмпирических результатов, полученных при помощи теста на разных группах людей, значимо (р < 0,05) не различается, то делается вывод об однородности выборок и данные группы относят к одной популяции.

Внутренняя валидность является мерой соответствия тестовых оценок уровню развития измеряемого свойства. Существует по крайней мере пять видов внутренней валидности:

• 1) концептуальная (теоретическая) валидность — теоретическое обоснование возможности измерения исследуемого свойства данным психологическим средством;
• 2) содержательная валидность — степень представленности в содержании методики измеряемой области психических свойств;
• 3) конструктная валидность — степень представленности исследуемого психологического конструкта в результатах (переменных, показателях) измерительного средства («насколько результаты теста рассматриваются в качестве меры исследуемого психологического конструкта — фактора, свойства»^[6]);
• 4) операционная валидность — степень того, насколько в экспериментальных операциях отражаются операционные условия психической реальности;
• 5) эмпирическая валидность — совокупность характеристик валидности методики, полученная сравнительным статистическим способом оценивания.

К этим характеристикам относятся так называемая аутовалидность, очевидная, критериальная и другие виды валидности. Эмпирическая валидность измеряется при помощи коэффициентов валидности, в основу которых положены свойства коэффициентов корреляции.

Прогностическая валидность является элементом содержания достоверности методики и определяется как степень точности и обоснованности суждения об исследуемом психическом явлении по результату его измерения спустя определенное время после первичного оценивания. Показателем прогностичности является степень регрессии тестовых данных к объективным критериям. Регрессия представляет собой функцию / (x_lf х₂ х₃,., х_п)у описывающую зависимость среднего показателя методики, измеряющей некоторое психологическое явление, от заданных фиксированных значений реального проявления этого явления (внешнего критерия — у). Эта функция может иметь линейный и нелинейный вид. В практической психологии для прогноза развития или проявления измеренного свойства чаще применяют линейную или множественную линейную регрессию (у = Ь + а_х х_х +а₂ х_2у… + а_п х_п). Физический смысл ее заключается в приравнивании зависимой и независимой переменных. Изменение независимой переменной определяет соответствующую флуктуацию зависимой переменной. Коэффициенты уравнения отражают степень прогноза функции, т. е. уровень объясняемой дисперсии х за счет изменения у. При использовании тестовой батареи прогноз измеряемого свойства осуществляется посредством связанных между собой нескольких зависимых переменных (х_{у х₂, х₃,…, х_п)у которые и формируют множественную линейную регрессию. При использовании множественной линейной функции прогноза развития исследуемого явления или свойства повышается уровень прогностичности измерения и его достоверности за счет перекрытия разными методиками различных сторон исследуемого психологического явления или свойства.

Надежность и валидность являются важнейшими характеристиками методики как инструмента психологического исследования.

Надежность^[7] — это характеристика психологической методики, отражающая точность измерений, а также устойчивость (стабильность) результатов к действию посторонних случайных факторов.

Наибольшая стабильность результатов наблюдается при применении графических и графологических тестов, показатели которых меняются крайне медленно. Медленно изменяется почерк, а также остаются практически неизменными качество линий рисунков и их композиция. Наибольшая динамичность показателей наблюдается у интеллектуальных тестов, которые напрямую зависят от способности человека накапливать и перерабатывать информацию.

На устойчивость (стабильность) показателей методик влияют состояние и настроение обследуемых, мотивация испытуемых на тестирование, эргономические факторы (освещенность, температура в помещении, вибрация, шумы и пр.), характеристика деятельности (монотонность — динамичность, помехи), степень обученности (или натренированности) испытуемых, изменчивость инструмента психологического измерения, стабильность самой процедуры измерения и др. Надежность, таким образом, есть степень согласованности результатов тестирования, получаемых при первом и последующих измерениях в различных условиях.

На практике наиболее широко применяется шесть типов проверки надежности: надежность ретестовая (тест-ретест надежность); надежность параллельных форм; надежность частей теста (надежность как гомогенность тестов); надежность по Кудеру — Ричардсону (Kuder — Richardson); надежность интерпретатора («оценщика») и стандартная ошибка намерений.

Определение коэффициента надежности в первых двух случаях вычисляется по формулам расчетов коэффициентов корреляции (в зависимости от шкалы, в которой измерены данные) между первым и последующим измерениями или между параллельными формами методики.

Расчет коэффициента надежности при исследовании гомогенности осуществляется путем разбиения методики на равные субтесты и расчета корреляции между этими частями. Для определения общей надежности методики полученные коэффициенты корреляции вводятся в формулу Спирмена — Брауна (Spearman — Brown).

где R_xx — значение коэффициента надежности; R — корреляция «половин» теста.

Если части методики являются отдельными дихотомическими заданиями, например вопросами, на которые может быть два ответа (да или нет) или заданиями с оценкой результата как правильного, так и неправильного, используется формула.

где К — число равных частей теста; р_{ — доля 1-го варианта ответа на г-й вопрос; д, — доля 2-го варианта ответа на i-й вопрос; 8_Х² — дисперсия целого теста.

Надежность частей методики может также рассчитываться по формуле Кудера — Ричардсона.

где 5_г/² — дисперсия i-й части теста.

При работе с клиническими опросниками, тестами исследования креативности и проективными технологиями надежность методик определяется путем сравнения интерпретаций результатов несколькими экспертами-психологами (Приложение 3). Значимые коэффициенты корреляции между ними показывают надежность экспертизы. Экспертизу можно рассматривать как оценку специалистами состояния объекта, последствий какого-либо явления или события, результатов чьей-либо деятельности или принятия решения, возможностей реализации проекта и т. п. Экспертиза как метод предполагает ориентацию прежде всего па компетентность и опыт специалиста-эксперта, личность которого и является главным «инструментом» исследования. В этом заключается принципиальное отличие экспертизы от психологического измерения, которое основывается на соответствующей технико-методической оснащенности исследователя. Если психометрический метод предполагает стремление к максимальной объективности результатов путем методической нивелировки личности исследователя, то метод экспертизы органично включает субъективное мнение эксперта, обусловленное его профессиональной интуицией. Поэтому от эксперта ждут не столько применения верифицированных психологических методик, сколько компетентных суждений, неординарных выводов и творческих озарений. Специалист-эксперт после ознакомления с поставленной проблемой решает, какой методический аппарат и в какой степени будет им использован, или же может вообще отказаться от применения каких-либо традиционных техник.

Метод экспертизы предусматривает осмысление специалистом всей совокупности разнообразных сведений, полученных им из самых различных источников. Являясь наиболее квалифицированной формой использования специальных знаний, экспертиза позволяет применять весь арсенал научных достижений, а оценки экспертов считаются объективными, т. е. сделанными не лично экспертом, а гой наукой, которую он представляет. При этом следует иметь в виду, что экспертная деятельность в отличие от научно-исследовательской опирается на уже известные научные факты и измерительные процедуры и представляет собой их непосредственное применение при решении конкретных практических задач. Следует отметить, что в функции экспертизы не входит принятие решений. Экспертиза лишь обеспечивает знаниями тех людей, от ценностных установок которых зависит содержание решений и выводов.

Коэффициенты надежности психологических измерений представляют собой величину дисперсии показателей, которая вычисляется путем возведения коэффициента корреляции в квадрат и соответствующим образом интерпретируется.

Например, коэффициент корреляции между параллельными формами методики равен 0,75. Коэффициент надежности рассчитывается так: 0,75²= 0,56. Это означает, что 56% дисперсии исследуемых эмпирических данных зависят от истинной дисперсии признаков, а 44% — от ошибок или случайных переменных.

Надежность психологической методики можно выразить посредством расчета стандартной ошибки измерений (Standard error means, SEM — стандартная ошибка показателя). Она рассчитывается по формуле SEM = Ъ_х V1 — R_xv где д_х — стандартное отклонение показателей теста.

Физический смысл SEM заключается в определении дисперсии показателей психологической методики вокруг «истинного» показателя, которая характеризуется плотностью нормального распределения данных. Если, например, 68% всех случаев нормального распределения психологических данных попадает в интервал М_х + 8_Г, то примерно два шанса против одного (68: 32), что ошибка измерений будет «колебаться» в пределах ± 1SEM. При увеличении плотности распределения данных, например -М_х + 3SEM, увеличивается и вероятность предсказания (99,7: 0,3) при соответствующем росте интервала ошибки в обе стороны.

Таким образом, валидность и надежность эмпирических данных дают возможность измерять психологические переменные на соответствующем уровне достоверности, который диктуется практикой социальных исследований.

• [1] Нормативность и прогностичность методик обсуждаются в структуре валидности.
• [2] Анастази А. Психологическое тестирование: в 2 т. М.: Педагогика, 1982; Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2001; БурлачукЛ. Ф., Морозов С. М. Словарь-справочник по психодиагностике. СПб.: Питер Ком, 1999; Бодалев А. А., Сталин В. В. Общая психодиагностика. СПб.: РЕЧЬ, 2002; Гильбух Ю. 3. Актуальные вопросывалидации психологических тестов // Вопросы психологии. 1978. .№ 5. С. 108—118 ;Гайда В. К., Захаров В. П. Психологическое тестирование: учеб, пособие. Л.: Изд-во ЛГУ, 1982. С. 13−18; и др.
• [3] Карасев Л. И. Основы математической статистики. М.: Росвузиздат, 1962. С. 172.
• [4] Москвин С. Выборка в социологическом исследовании // Военно-социологическоеисследование. М.: Воениздат, 1993. С. 27—30; Введение в профессию. М.: Воениздат, 1992 ;Карасев Л. И. Основы математической статистики. М.: Росвузиздат, 1962. С. 212—213; Бурлачу к JI. Ф., Морозов С. М. Словарь-справочник по психодиагностике. СПб.: Питер Ком, 1999. С. 64—65; и др.
• [5] Москвин С. Указ. соч.
• [6] Апастази А., Урбина С. Психологическое тестирование. С. 140.
• [7] См.: Апастази А., Урбина С. Указ. соч. С. 103—132.