Валидность исследования. 
Управление персоналом

Исследование может быть многомерным в двух отношениях. План эксперимента может содержать более чем одну независимую переменную (пол, год обучения, метод работы, место в помещении цеха и т. п.) и/или более чем одну зависимую переменную (число ошибок, скорость, количество принятых клиентов, объемы заключенных контрактов). Процедуры, введенные Фишером, многомерны в первом отношении, но одномерны во втором. Разработаны и процедуры, объединяющие многомерности первого и второго типа.

Эксперименты являются средством проверки каузальных гипотез. По традиции предполагается, что существует три необходимых условия для утверждения с определенной долей уверенности о том, что отношение между двумя переменными А и В является каузальным и что направление причинности от, А к В.

Первое условие относится к временной последовательности и формулируется следующим образом: причина должна предшествовать по времени эффекту. Обычно это условие соблюсти нетрудно, если исследователь знает, когда испытуемые подверглись экспериментальному воздействию.

Второе необходимое условие состоит в том, что воздействие должно быть статистически связано с эффектом, так как если возможные причина и эффект не связаны друг с другом, то одно не может быть причиной другого.

Третье необходимое условие каузального вывода состоит в том, что не должно быть альтернативного объяснения появления В помимо А. Это условие не всегда легко соблюсти. Дело в том, что кажущаяся каузальная связь А и В фактически может быть обусловлена действием третьей переменной. К примеру, если установить на фабрике новую машину, то изменение производительности может быть связано не только с ней, но и с сезонными изменениями производительности труда.

Суммируя перечисленные условия, можно заключить, что правильно организованный эксперимент:

• а) делает ясной временную последовательность;
• б) достаточно чувствителен и действенен, чтобы показать, что вероятные причина и эффект взаимосвязаны (ковариантны);
• в) исключает возможность влияния третьих переменных, которыми можно было бы объяснить связь между причиной и эффектом;
• г) исключает альтернативные гипотезы о конструктах, включенных в эту связь.

Определение валидности Одно из определений валидности (обоснованности) метода исследования — это «…степень соответствия между тем, что методу приписывается, и тем, что этот метод собой представляет» .

Классификация типов валидности

Классификация типов валидности приведена в табл. 6.1.

Таблица 6.1

Типы валидности

Содержательно-познавательная валидность

А1. Внешняя валидность — возможность обобщения вывода; на какие популяции, ситуации, другие независимые переменные, параметры воздействия и переменные измерения могут быть распространены результаты эксперимента.

А2. Имманентная (внутренняя) валидность — уверенность в том, что именно экспериментальное воздействие привело к изменению в данном эксперименте.

А3. Оценочная валидность — корреляция между оценками по методу и показателями оценочных суждений (рейтинга) экспертов.

А4. Конструктная валидность — степень обоснованности утверждения о том, что данный метод измеряет социальное или психическое свойство, отображаемое в данном конструкте.

А5. Валидность по объему — степень, в которой объем метода измерения представляет класс ситуаций, относительно которых должен быть сделан вывод.

Практическая валидность

Б6. Прогностическая валидность — степень соответствия полученных результатов задаче прогнозирования состояния объекта исследования в последствии.

Б7. Совпадающая валидность — классификация испытуемых по эталонам.

Смысл надежности метода заключается «в степени устойчивости, повторяемости оценок, полученных с помощью данной методики при повторных измерениях, осуществляемых на тех же людях». Или «…точность измерений в диапазоне рассеяния оценок, полученных в повторных измерениях» .

Основной процедурой, измеряющей надежность методики, является повторение измерений по данной выборке. В качестве показателя надежности может использоваться коэффициент корреляции результатов по двум или более измерениям.

Источники невалидности исследования

Полезно сделать еще один шаг.

Заключение

о каузальной связи в какой-то промежуток времени, в одной обстановке и при одной выборке испытуемых дает мало уверенности в том, что обнаруженная каузальная связь является устойчивой. Вопрос о возможности обобщения результатов для различных периодов времени, различных условий и разных групп может рассматриваться как вопрос о внешней валидности.

Восемь классов внешних переменных, которые могут нарушить качество вывода:

• 1) фон (history) — конкретные события, происходящие между первым и вторым измерением наряду с экспериментальным воздействием;
• 2) естественное развитие (maturation) — изменение испытуемых, являющиеся следствием течения времени (взросление, голод, усталость, рост квалификации);
• 3) эффект тестирования (testing) — влияние выполнения задания на результат повторного испытания (см. рис. 6.1);
• 4) инструментальная погрешность, нестабильность измерительного инструмента (instrumentation) — изменения в методе, в состоянии наблюдателя и оценочных показателях;
• 5) статистическая регрессия (statistical regression) — наблюдается, если группы отобраны на основе крайних показателей и оценок;
• 6) отбор испытуемых (selection) — неэквивалентность групп по составу приводит к появлению систематической ошибки;
• 7) отсев в ходе эксперимента (experimental mortality) — неравномерность выбывания испытуемых из оцениваемых групп;
• 8) взаимодействие фактора отбора с естественным развитием, который может ошибочно приниматься за влияние экспериментальной переменной.

Факторы, угрожающие внешней валидности, или репрезентативности эксперимента:

• 9) реактивный эффект или эффект взаимодействия тестирования — уменьшение или увеличение чувствительности испытуемых, прошедших предварительное тестирование, к эксперименту по сравнению с членами генеральной совокупности;
• 10) эффекты взаимодействия фактора отбора и экспериментального воздействия;
• 11) условия организации эксперимента, вызывающие реакцию испытуемых на эксперимент, которая не позволяет распространить полученные данные на людей, подвергнутых такому же воздействию, но в неэкспериментальных условиях;
• 12) взаимная интерференция экспериментальных воздействий — возникает, если одни и те же испытуемые подверглись нескольким воздействиям и влияние более ранних воздействий не исчезло.

Рис. 6.1. Связь между частотой простого предъявления рекламного матери? ала и отношением испытуемого к этому материалу (Zajonc, 1968а, цит. по Fisnbein & Ajzen, 1975).