Точность прогноза. 
Психология труда, инженерная психология и эргономика

Особый вопрос — измерения точности прогноза на основе методов профотбора. До сих пор даже среди вполне грамотных специалистов, в том числе кандидатов и докторов наук, весьма распространено мнение, что коэффициент валидности (коэффициент корреляции) надо возводить в квадрат, чтобы узнать точность прогноза. При гаком подходе коэффициенту корреляции между тестом и критерием в размере 0,3 якобы соответствует 9%-ная точность прогноза. Согласно другому мнению коэффициент валидности буквально соответствует вероятности прогнозируемого события, т. е. коэффициент валидности, равный 0,3, означает ровно 30%-ную точность прогноза. Ниже мы постараемся объяснить с содержательной и формально-математической стороны, почему обе точки зрения неверны и могут повлечь серьезные ошибки в управлении кадрами.

Путаница с возведением в квадрат во многом вызвана смешением тех принципов математической статистики, которые используются для анализа надежности, и несколько иных принципов, пригодных для анализа валидности. Квадрат корреляции — это классическая мера соответствия измеренного и истинного значения тестового балла (см. подробнее об измерении надежности любой учебник по психометрике, в частности [5; 6]). А под истинным баллом чаще всего даже специалисты склонны подразумевать «идеальный показатель валидности». На самом деле практическая валидность — это мера соответствия теста не истинной шкале измеряемого свойства, а шкале принимаемых решений. Эта шкала является, как правило, вовсе не интервальной и даже не порядковой, а номинальной, т. е. различительной только с точностью до категорий принимаемых решений. Рассмотрим ниже ситуацию, когда таких категорий всего две: «выше точки отсечения» (hire) и «ниже точки отсечения» (reject).

В свое время еще в 1939 г. в «Журнале прикладной психологии» вышла статья, которой было суждено стать одной из самых цитируемых статей в мире в области тестологии и индустриальной прикладной психологии [10]. Ее авторы — X. Тейлор и Дж. Рассел — привели убедительные аргументы, раскрывшие ошибочность связывания точности прогноза с корреляционным отношением (квадратом коэффициента корреляции). С тех пор диаграммы и таблицы Тейлора — Рассела опубликованы во множестве учебников и руководств по психологическому и профессиональному тестированию [1; 4; 9].

Рис. 11.1. Диаграммы Тейлора — Рассела (1939), разбивающие эллипсоиды рассеяния на четыре области, соответствующие комбинациям двух бинарных переменных: «нанять — отказать по результатам теста» (hire-reject) и «успех — неудача в профессиональной деятельности» (success-failure).

На более узком эллипсоиде рис. 11.1 (правая диаграмма), соответствующем более плотной корреляции между тестовым баллом и критерием (эффективность деятельности), больше точек попадает в первый и третий квадранты, соответствующие адекватному решению (точному прогнозу) на основе теста: приему на работу (hire) успешных работников (success) и отказу в работе (reject) неуспешным работникам (failure). Также следует предупредить читателя от того, чтобы он не перепутал формальные буквенные обозначения А, В, С, D в этой диаграмме и в табл. 11.1. Здесь они никак не соответствуют градациям в принятии решения, а обозначают возможные четыре комбинации двух бинарных признаков (двух логических переменных). Также следует пояснить, что клеточка С в данном случае соответствует чисто гипотетической возможности установить факт успеха в деятельности тех сотрудников, которые НЕ прошли профотбор (не были наняты). Как мы поясняли выше, это возможно лишь в случае применения четырехступенчатой системы оценивания кандидатов внутри компании. Или в тех случаях, когда применяется чисто исследовательская схема — в течение экспериментального периода принимаются все кандидаты, включая и тех, кому следовало бы отказать (или в рамках более широкого исследования с привлечением данных о производительности тех работников, которые не приняты в одной компании, но зачислены в другую).

Итак, в подавляющем большинстве ситуаций профотбора нам нужно принимать на основе методики (теста) решение, которое трансформирует шкалу тестовых баллов в бинарную переменную (или дихотомическую категорию) — «принять — отказать». Нам важно добиться не количественной точности в прогнозе (какова именно будет производительность каждого принятого работника в параметрах продукции в единицу времени), а лишь качественной точности, что можно сформулировать так: «принятый нами работник оказался успешным» (например, успешно прошел испытательный срок). Доля таких работников (удачно принятых на работу) от всех принятых на работу была названа Тейлором и Расселом термином «коэффициент успеха» (SC — success coefficient). На рис. 11.1 коэффициент успеха, т. е.

. (11.3).

Кроме коэффициента корреляции между тестом и критерием, Тейлор и Рассел рассмотрели еще две переменные, от которых зависит коэффициент успеха, — это «базовый уровень» (BR — base rate) и «отношение отбора» (SR — selection ratio), которые могут быть определены через частоты событий в четырехклеточной таблице следующими формулами:

(11.4).

(11.5).

где N = A+ B + C + D — общее число обследованных.

Содержательно переменная «базовый уровень» (BR) отражает так называемую легкость профессии: чем больше BR, тем выше вероятность (при прочих равных условиях), что любой кандидат добьется успеха при выполнении данной профессиональной работы. BR отражает успешность профессиональной адаптации, которая имеется ДО всякого применения теста как инструмента отбора, сужающего круг кандидатов. Для совсем легких профессий применение тестов не имеет смысла, так как почти все, кто берется за эту работу, справляются. Горизонтальная линия на диаграмме, рассекающая эллипсоид на верхнюю и нижнюю половины, при легкой профессии проходит очень низко, так что область Success начинает доминировать независимо от того, где пройдет «линия отбора» (вертикальная линия). Для очень трудных профессий опять-таки тест не слишком нужен: горизонтальная линия поднимается так высоко, что почти все кандидаты «проваливаются» — увольняются после испытательного срока, так как не демонстрируют требуемых производственных показателей (не дают компании дохода, а приносят больше убытков).

Содержательно переменную «отношение отбора» (SR) было бы правильнее называть «коэффициентом отсева» (величина 1 — SR): чем больше кандидатов отсеивается (чем ниже коэффициент отбора), тем правее оказывается расположенная вертикальная «линия отбора» на рис. 11.1, тем выше доля успешных среди принятых.

На основании связей между VC (коэффициентом валидности), BR (легкостью профессии), SR (отношением отбора) и SC (коэффициентом успеха) Тейлор и Рассел в своей статье поместили громоздкие трехмерные таблицы (они заняли много страниц в журнале), в которых выходной переменной-функцией, зависимой от трех других, оказалась именно переменная SC (коэффициент успеха), значения которой разместились в клеточках таблицы. При этом связь SR с указанными тремя аргументами, включая валидность VC, оказалась нелинейной: авторы стремились рассчитать вероятность критериального события с максимальной точностью и вводили нелинейные поправки, связанные с моделью нормального распределения двух основных переменных — тестового балла и критерия (производительности труда). Таблицы оказались настолько громоздкими, что авторы многих учебников приводят эти таблицы либо с большими сокращениями, либо в приложениях [4]. Несмотря на громоздкий результат, Тейлору и Расселу удалось добиться главного — они доказали, что вероятность успеха в прогнозировании SC на основании тестов значительно превышает уровень 0,5 — уровень случайного угадывания бинарной переменной (при BR = 0,5), или, более точно выражаясь, всегда превышает базовый уровень BR, когда коэффициент валидности теста VC оказывается хотя бы незначительно выше нуля. Это превышение точности прогноза над точностью случайного угадывания (или прогноза без применения теста) получило название инкрементной валидности (добавленной валидности).

Пожалуй, первыми, кто решил усомниться в правильности расчетов Тейлора — Рассела, стали Норман Абрахамс и его соавторы [7]. Для расчета валидности они применили не линейный коэффициент Пирсона, а точечно-бисериальный коэффициент, разумно предположив, что по крайней мере одна из двух переменных (критерий) является категориально-бинарной, т. е. принимает значения всего лишь на двух уровнях — «успех-неудача». В результате для многих клеточек таблицы спрогнозированная вероятность успешного прогноза (коэффициент успеха SC) оказалась несколько выше (табл. 11.6).

Таблица 11.6

Сравнительные значения спрогнозированной успешности (полезности) теста (SC) на основе таблиц Тейлора — Рассела, Абрахамса и на основе фи-коэффициента (по формуле (11.9))

Исходя из практики пашей преподавательской работы, мы считаем, что более высокая точность в таблицах Тейлора — Рассела обесценивается непрозрачностью расчетов коэффициента успешности SC. В дидактическом плане гораздо эффективнее использовать простую приближенную формулу, которую автор книги вывел самостоятельно и которая основывается на фи-коэффициенте четырехклеточной корреляции, т. е. на огрубленном предположении, что обе связываемые переменные — и тест, и критерий — являются на самом деле бинарными (дихотомическими категориями).

(11.6).

Для сбалансированных (симметричных) строк и столбцов четырехклеточной таблицы, т. е. для значений BR = 0,5, SR = 0,5, рассекающих корреляционное иоле пополам и по вертикали, и по горизонтали, формула (11.6) еще более упрощается:

(11.7).

Или в других, возможно, более естественных для читателя обозначениях формула (11.7) будет выглядеть так:

(11.8).

где р — вероятность успешного прогноза; r — корреляционная мера валидности (коэффициента корреляции между тестом и критериальным бинарным событием).

При подстановке в формулу (11.8) знаменитого (можно сказать, пресловутого) значения коэффициента валидности r = 0,3 (известный предел прогностической эффективности для многих тестов, основанных на концепции черт личности), мы получаем точность прогноза р = 0,65, т. е. превышение над уровнем случайного угадывания 0,5 составляет 15%.

Еще раз рассмотрим четырехклеточную таблицу сопряженности в ее самой обычной конфигурации (с точки зрения размещения клеточек А, В, С и D) (табл. 11.7).

Таблица 11.7

Гипотетическая четырехклеточная таблица совместной частотности (сопряженности) двух бинарных переменных — тестовой группы и критериальной группы (но уровню профессиональной успешности)

Источник: [5, с. 261].

По широко известной в литературе формуле (11.9) рассчитаем фи-коэффициент корреляции Phi между переменной по столбцам и переменной по строкам в табл. 11.7.

(11.9).

Подставим в формулу (11.9) числовые значения из табл. 11.7.

После этого по упрощенной формуле (11.7) получаем точность прогноза.

Чтобы понять, насколько велика или мала точность прогноза в 70%, давайте вспомним, что такое «конституционное большинство» в парламенте Российской Федерации, позволяющее изменить путем голосования основной закон страны — Конституцию Российской Федерации. Это вовсе не 95% депутатов, а только две трети — примерно 67% депутатов. Таким образом, коэффициент валидности 0,4 для теста, направленного на прогноз итогов голосования в Госдуме по Конституции Российской Федерации, дает нам на самом деле примерно такую же точность прогноза в отношении голосования, какую дает само голосование в плане его репрезентативности (представительности) в отношении населения страны — в районе 70% (ведь примерно треть населения, представленная третью депутатов в Госдуме, оказывается в этом случае против изменений в Конституции).

Соотношение меры корреляции и меры вероятности можно попытаться иллюстрировать на лекциях для студентов-гуманитариев с помощью следующего простейшего графика (рис. 11.2). Опыт показывает, что многие просто «забывают», что корреляция, в отличие от вероятности, изменяется на более широком интервале — от минус единицы, поэтому нулевой корреляции соответствует точность угадывания равновероятной бинарной переменной в 50% (фифти-фифти). Поэтому любая корреляция, значимо отличающаяся от нуля, приводит к значимому приросту над точкой случайного угадывания в 0,5.

Рис. 11.2. Графическая иллюстрация соотношения между мерой корреляции и мерой вероятности.