Взаимосвязь уровня значимости, мощности, размера эффекта и размера выборки при проверке статистических гипотез

Логика статистических решений на основе тестирования нуль-гипотезы, к которой мы вернемся в разделе 8.3.1, включает указание на риск ее неверного отвержения, что обсуждаюсь нами ранее (в разделе 6.2.1). Описанная в главе 6 схема статистических выводов получила в литературе название проверки значимости, или тестирования нуль-гипотезы (ПЗНГ; null hypothesis significance testing, или NHST).

Однако статистические решения включают и другой риск, связанный с неотвержением нуль-гипотезы в случае ее ложности (в традиции нейманпирсоновского подхода это ошибка 2-го рода, вероятность которой обозначается р). Наличие популяционного эффекта (разницы средних ЗП для условий с отсутствием и наличием Х-воздействия) не означает его безусловное обнаружение в рамках конкретного исследования, что связано с вопросами мощности (power) исследования и статистического критерия. Поскольку вероятность «пропуска» существующего эффекта обозначается Р, вероятность его обнаружения принимает значение 1- р, что, по сути, является формулой мощности, которая определяется как вероятность правильного отвержения нуль-гипотезы в пользу альтернативной гипотезы (т.е. обнаружения статистически «значимого» эффекта).

Мощность исследования зависит от трех ключевых факторов:

• 1) уровня а, устанавливаемого исследователем, направленности гипотезы и уровня значимости р;
• 2) размера эффекта и его вариативности в популяции;
• 3) количества испытуемых, т. е. размера выборки.

Математическая взаимозависимость указанных факторов ведет к следующей ключевой для ПЗПГ закономерности: в конкретном исследовании уровень значимости р определяется размером эффекта, размером выборки и степенью вариативности данных.

Если рассматривать популяционный эффект как «сигнал» на фоне «шума» общей вариативности, становится интуитивно понятно, что обнаружение маленьких эффектов требует от исследователя больше усилий и большего количества испытуемых, что увеличивает вероятность обнаружения «сигнала» (эффекта, действительно присутствующего как ОРД). Понижение вариативности данных (через использование интраиндивидуальных схем, более топких процедур контроля и более надежных методов и методик) также ведет к повышению мощности.

Не вдаваясь в технические детали указанной зависимости, приведем пример, иллюстрирующий зависимость мощности исследования и его результатов от указанных факторов. Представим, что в нашем гипотетическом исследовании принимают участие две группы испытуемых (в сумме 60 человек), которые сравниваются по уровню тревожности после осуществления экспериментального воздействия. Проведя ?-тест для двух независимых выборок, мы получили р = .09, что при установленном, а = .05 не позволяет нам отвергнуть нуль-гипотезу об отсутствии различий в средних в двух популяциях, поскольку полученный уровень значимости (р) не достиг критического значения (а), установленного априори. Однако если бы мы провели это исследование уже на материале 82 человек, при той же самой разнице в средних и дисперсии р приняло бы значение меньше .05, свидетельствуя в пользу отвержения нуль-гипотезы, значимые же результаты были бы получены и при дальнейшем увеличении выборки [Bernstein, 2008].

Подобно конвенциональным значениям вероятности совершения ошибки 1-го рода, устанавливаемых исследователем априори, существует и конвенция в отношении мощности исследования. Поскольку мощность нелинейно возрастает как функция размера эффекта, традиционным является установление значения мощности на уровне 1 — Р = .80, т. е. 80% вероятность обнаружения значимого эффекта в случае его наличия.

Таким образом, оценка исследований может проводиться с точки зрения оценки их сензитивности по отношению к выявляемому эффекту, что позволяет оценить валидность утверждений об «отсутствии эффекта» в конкретном исследовании исходя из его характеристик: так, если исследователи стремились обнаружить маленький эффект и использовали ненадежные методики или маленькую выборку, вероятность его обнаружения изначально была маленькой, тогда как в схожем исследовании с большим количеством испытуемых этот эффект мог бы быть обнаружен. Логика оценки мощности прямо связана с таким аспектом планирования исследования, как определение количества испытуемых, которое проводится исходя из используемых ученым статистических процедур, схемы исследования и гипотетического размера эффекта. Математический аппарат анализа мощности прямо указывает на необходимый для обеспечения должной сензитивности исследования размер выборки (табл. 8.1). Такое планирование, однако, требует от психолога и указания величины интересующего его эффекта, что является отдельной проблемой, особенно в новых областях знания, где отсутствие развитых теорий не позволяет проверять сильные утверждения о величине искомых эффектов. В клинических исследованиях размер

Таблица 8.1. Величина выборки, необходимая для достижения 80% мощности при, а = .05 в зависимости от размера эффекта

эффекта при анализе мощности и планировании размера выборки устанавливается исходя из клинической значимости эффекта, т. е. формулировки о минимальном значении эффекта, имеющем клиническую значимость. В других случаях исследователю необходимо обратиться к эффектам, типично наблюдаемым в его области.