Методы экспертных оценок и модели организации сложных экспертиз

Методы организации сложных экспертиз разрабатывают для повышения объективности получения оценок путем использования основной идеи системного анализа — расчленения большой первоначальной неопределенности проблемы на более обозримые, лучше поддающиеся осмыслению.

Эти методы можно разделить па несколько групп: методы, основанные на усложненной экспертной процедуре, предложенной в методике ПАТТЕРН (параграф 7.2); метод парных (попарных) сравнений Т. Саати (параграф 7.3); метод решающих матриц Г. С. Поспелова и его модификации (параграф 7.5); модели (методы) организации сложных экспертиз, основанные на использовании информационного подхода (параграф 7.6). В их числе — модели оценки нововведений, сравнительного анализа проектов и хода их внедрения, методы анализа ситуаций в статике и динамике, в том числе рыночных. Существуют также комплексные модели, объединяющие несколько методов.

Методы экспертных оценок

Экспертными оценками называют группу методов, используемых для оценивания сложных систем на качественном уровне. Термин «эксперт» происходит от латинского слова expert (опытный).

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. Поэтому важно при организации экспертных опросов вводить определенные правила и использовать соответствующие методы получения и обработки экспертных оценок.

Алгоритм организации экспертных опросов и обработки оценок

Изучению особенностей и возможностей применения экспертных оценок посвящено много работ.

В них рассматриваются (рис. 7.1):

• • проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;
• • формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые игры и т. п.);
• • подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.);
• • методы обработки экспертных оценок;
• • способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, вероятности для заданного диапазона изменений оценок, ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т. п.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса.

Рис. 7.1.

С обзором форм и методов получения и обработки экспертных оценок можно познакомиться, например, в [15], [18] и др.

В частности, Б. Г. Литвак на основе обобщения и исследования видов шкал измерений и отношений рассматривает особенности мер близости разного рода (на неметризованных и векторных отношениях, структурные, Евклидовы); характеризует принципы и методы, основанные на выборе различных способов упорядочения и отношений предпочтения (в том числе методы ранжирования и гиперупорядочения, методы парных сравнений Черчмена — Акоффа, Терстоуна, метод «смешанной альтернативы» НейманаМоргенштерна, принцип отбрасывания альтернатив Эрроу, алгоритмы отыскания медианы Кемени, метризованные ранжирования, алгоритмы выбора по принципу Парето, методы определения предпочтений на множествах многомерных альтернатив и т. п.).

Целесообразность применения того или иного метода определяется характером анализируемой проблемы, используемой информации.

Если оправданы лишь качественные оценки объектов по тем или иным качественным признакам, то используются методы ранжирования, парного и множественного сравнения. Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать тот или иной метод, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и Неймана — Моргенштерна.

Методы экспертных оценок обладают различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных методов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность сделанных выводов. При этом следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким — метод последовательного сравнения (Черчмена — Акоффа). Метод парного сравнения без дополнительной обработки не дает полного упорядочения объектов.

При проведении социологических измерений, которые можно рассматривать как разновидность экспертных оценок (особенно в случае организации выборочного социологического исследования), используют обычно качественные шкалы разного рода, которым ставятся в соответствие количественные оценки степени значимости («очень важно», «важно», «скорее важно, чем нет» и т. д.) или оценивается введенный в вопросе качественный признак (в форме «полностью согласен», «согласен», «не согласен», «категорически не согласен» или «да», «скорее да, чем нет», «скорее нет, чем да», «нет» и т. д.).

При этом могут применяться соответствующие методы обработки результатов. Например, при использовании шкалы Р. Лайкерта, в которой задаваемые группе лиц вопросы должны оцениваться по пятибалльной шкале (5 -" полностью согласен", 4 — «согласен», 3 — «нейтрален», 2 — «не согласен», 1 — «полностью не согласен»), при обработке рекомендуется применять метод суммарных оценок. Шкалограммный анализ Л. Гуттмана сводится к построению шкал порядкового уровня измерения, представляющих собой одноместные шкалы, формируемые на основе первоначально используемой иерархизированной шкалы путем исключения вопросов или факторов, посторонних по отношению к измеряемой характеристике. При применении метода «семантического» дифференциала (СД), разработанного Ч. Осгудом для измерения смысла понятий и слов и дифференциации эмоциональной стороны значения оцениваемого понятия, в качестве промежуточных методов обработки применяются графические, помогающие определить профиль распределения установок.