Внутренняя и внешняя достоверность результатов эксперимента

Достоверность с точки зрения математической статистики означает обязательное наступление событий и характеризует существенность в различии тех или иных показателей. Для оценки достоверности эксперимента используются критерии внешней и внутренней валидности [74, с. 208−209] (внешней и внутренней достоверности [26, с. 127]).

Внутренняя валидность определяет границы, в которых изменение зависимой переменной действительно обусловлено изменением независимой переменной. Внешняя валидность показывает, до какой степени результаты эксперимента могут быть распространены на другие обстоятельства, в первую очередь на условия генеральной совокупности.

Для достижения внутренней валидности следует учесть и максимально нейтрализовать следующие факторы.

• 1. Внешний фон (исторические факторы): события, происходящие между первым и вторым измерениями наряду с экспериментальным воздействием; эти события, являясь внешними по отношению к эксперименту, влияют на реакции вовлеченных в него людей.
• 2. Естественные изменения (факторы зрелости): влияние, которое оказывает на участников эксперимента течение времени, например, усиление голода или усталости. Данные факторы не связаны с какими-либо событиями — это биологические, социальные или психологические изменения участников эксперимента в процессе его проведения.
• 3. Тестирование (эффект обучения): влияние заданий, связанных с начальным измерением зависимой переменной «до» экспериментального воздействия, на результаты повторного измерения «после» воздействия.
• 4. Инструментарий: погрешность измерений под влиянием технических сбоев аппаратуры или естественных изменений, происходящих с исследователями (например, утомления). Инструмент исследования может измениться, например, если в опросе будут задействованы различные интервьюеры.
• 5. Искажение в процессе отбора: систематическое отличие экспериментальной группы от контрольной по какому-либо релевантному признаку.
• 6. Смертность (отсев)', потеря респондентов в процессе исследования.
• 7. Взаимодействие процедуры отбора и факторов зрелости.
• 8. Статистический регресс наблюдается в случае, если участники группы с крайними значениями показателей при повторном измерении приближаются к средним оценкам.

Факторы, ставящие под угрозу внешнюю валидность, репрезентативность эксперимента:

• • Эффект реакции на тестирование, или интерактивный эффект тестирования (взаимное влияние процедуры измерения и экспериментального воздействия) — предварительное измерение может повысить или понизить чувствительность респондентов к экспериментальному воздействию и, таким образом, сделать результаты, полученные от этой выборки, нерепрезентативными по отношению к реакции на экспериментальное воздействие представителей совокупности, не прошедших процедуру подобного измерения.
• • Эффект взаимодействия искажения вследствие отбора и экспериментальной переменной (эффект взаимного влияния процедуры отбора участников эксперимента и характера экспериментального воздействия) — наблюдаемый результат может быть свойственен только данной группе и не проявляться в других представителях совокупности.
• • Эффект реакции на экспериментальные условия не позволяет обобщить выводы об эффекте воздействия на других людей, которые подвергнутся такому же воздействию за пределами среды эксперимента. Полученный результат может быть вызван не только экспериментальным фактором, но и, например, знанием, что проводится эксперимент, отличиями «реальной жизни» от заявленных условий эксперимента и пр. Поэтому некорректно распространять полученные данные на лиц, подвергающихся аналогичному воздействию в неэкспериментальных условиях.
• • Эффект множественных воздействий может иметь место в случае, если одни и те же респонденты подвергаются нескольким экспериментальным воздействиям, поскольку эффекты предыдущих влияний обычно устранить не удается.

Наиболее проблематичны эксперименты по изучению зависимости выбора товара от цены. В процессе исследования люди могут вести себя более рационально, акцентируясь на цене в большей степени, чем обычно; в такой ситуации практически исключены импульсивные покупки. С другой стороны, «экспериментальные» покупатели зачастую не тратят свои реальные деньги, что также снижает внешнюю валидность эксперимента.

Для нейтрализации этих факторов необходимо оценить влияние условий и ограничений эксперимента на его характерные черты.

Для раскрытия существенных черт были систематизированы и обобщены в табл. 15.2 точки зрения разных авторов на сущность эксперимента.

Таблица 15.2

Представления о сущности ^эксперимента" и классификация

Общность взглядов специалистов на суть и формы эксперимента объясняется единой теоретической базой причинно-следственного исследования. Причина и следствие рассматриваются как философские категории, которые раскрывают особый тип отношений, определяющий взаимодействие между явлениями. Подобные категории применимы в любой области науки. Логика анализа по выявлению различных типов связей между факторами была предложена еще в 1843 году Дж. Ст. Миллем, который сформулировал способы доказательства и типы причинных связей. Методы обоснования причинноследственных отношений послужили базой для разработки различных моделей эксперимента, что отразилось и на используемой классификации на предварительные, истинные (действительные) и псевдо-(квази-)эксперименты. В естественных науках для доказательства причинно-следственной связи могут использоваться только истинные эксперименты. С точки зрения рыночного субъекта могут применяться и другие модели с известными ограничениями при обосновании достоверности результатов, так как в этом случае достигается некоторый компромисс между экономичностью и сроками получения информации, а также ее пригодностью для принятия маркетинговых решений. Всевозможные формы проведения экспериментов отражают многообразие практических условий исследования. С учетом ресурсов, времени и обстоятельств, в которых действует рыночный субъект, можно выбрать адекватную форму эксперимента, учитывая ее преимущества и ограничения.

Разнообразие форм эксперимента представлено в табл. 15.3.

Формы эксперимента

Таблица 15.3

Продолжение табл. 163