Методы экспертных оценок

Эти методы получили наибольшее распространение на практике.

В общем случае под экспертизой понимают проведение группой компетентных специалистов оценки некоторых характеристик соответствующих объектов или явлений для подготовки принятия решения.

Выделяют следующие этапы проведения экспертизы:

• 1) формулировка цели;
• 2) выделение анализируемых объектов или их характеристик;
• 3) формирование экспертной группы;
• 4) определение способов оценивания и выражения экспертами своих мнений;
• 5) проведение экспертизы;
• 6) обработка и анализ результатов экспертизы;
• 7) повторные туры экспертизы, если есть необходимость уточнить или сблизить мнения экспертов;
• 8) формирование вариантов рекомендаций.

В отличие от количественных показателей, соответствующих, как правило, объективным измерениям некоторых характеристик объектов или явлений, для отражения субъективных мнений экспертов обычно применяются балльные оценки, которые бывают различных видов.

В наиболее простом случае такие оценки производятся по объективному критерию или общепринятому эталону, в соответствии с их градациями. Чем точнее охарактеризованы и оценены отклонения от эталона, тем больше доверия к ним. Наиболее простыми примерами таких оценок являются баллы в спортивном судействе, аттестации знаний учащихся, присвоении квалификации и т. п.

При отсутствии общепринятых эталонов или некоего объективного критерия применяются порядковые {ранговые) шкалы. Оценки, произведенные по ранговой шкале, имеет смысл сравнивать только в рамках «больше — меньше».

Еще один популярный вид оценки — ранжирование. Под ранжированием понимают упорядочивание объектов в соответствии с убыванием их предпочтительности (допускается указание на равноценность некоторых объектов). Примером ранжирования является определение наиболее предпочтительных инвестиционных проектов с точки зрения их эффективности. Рейтинги широко применяются в инвестиционной деятельности для оценки рисков кредитоспособности, привлекательности вложений, деловой репутации участников и т. д.

Наконец, необходимо отметить такой вид оценок, как попарное сравнение. Этот способ состоит в указании предпочтительного объекта в каждой паре объектов (иногда допускается объявление обоих объектов равноценными или несравнимыми).

Для получения и обработки качественной экспертной информации могут использоваться так называемые вербально-числовые шкалы, в состав которых входят содержательно описываемые наименования ее градаций и соответствующие им численные значения или диапазоны численных значений. Наиболее широкое распространение получила вербально-числовая шкала Харрингтона (табл. 14.1).

Таблица 14.1

Шкала интенсивности критериального свойства.

Безусловно, приведенное описание типов экспертных оценок не является исчерпывающим. Их детальное описание можно найти в соответствующей литературе.

Экспертизы бывают индивидуальные и коллективные, одноэтапные и многоэтапные, с обменом информации между экспертами и без, анонимные и открытые, причем далеко не всегда можно уложиться в какую-либо широко известную и часто используемую схему.

К наиболее распространенным на практике методам экспертных оценок следует отнести: интервью, метод комиссии, метод суда, метод Дельфи и др.

Метод комиссии состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения. Коллективное мнение определяется в результате открытого или тайного голосования (или в процессе обсуждения). Достоинствами метода являются рост информированности экспертов в ходе обсуждения и наличие обратной связи (получив новую информацию, эксперт может изменить точку зрения). К недостаткам следует отнести отсутствие анонимности (из-за этого возможны соглашательские настроения у экспертов, «затирание» маститыми экспертами своих менее именитых коллег, упорство эксперта в отстаивании ранее высказанного мнения) и различную активность экспертов — далеко не всегда самые активные эксперты являются наиболее компетентными.

Метод суда. Сущность его отражается в названии. Эксперты здесь могут поочередно выступать в одном из трех качеств: защитников какоголибо предложения, его противников или судей.

Метод Дельфи. Название получил от греческого города Дельфы, чьи мудрецы славились умением предсказывать будущее. Метод характеризуется тремя основными чертами: анонимностью, регулируемой обратной связью, коллективностью. Анонимность достигается применением специальных анкет или другими способами индивидуального опроса. Регулируемая обратная связь осуществляется за счет проведения нескольких этапов опроса. Результаты каждого этапа обрабатываются с помощью статистических методов и сообщаются экспертам. Итогом обработки индивидуальных оценок являются групповые оценки.

В основу метода Дельфи положены следующие предпосылки:

• • поставленные вопросы должны допускать ответы в виде чисел;
• • эксперты должны быть достаточно компетентными и информированными;
• • каждый ответ эксперта должен быть им обоснован.

Применительно к оценке рисков инвестиционных проектов использование метода Дельфи может осуществляться в четыре этапа.

• 1. Формулировка и заполнение экспертами начальной анкеты. Целью этой анкеты является составление перечня возможных рисков и оценки уровня их последствий. Руководитель или организатор экспертизы объединяет результаты, и полученный перечень рисков и их последствий становится основой второй анкеты.
• 2. Эксперты оценивают вероятности реализации выделенных типов рисков и приводят суждения, по которым они считают свои выводы верными. Руководитель экспертизы проводит статистическую обработку полученных данных, группирует мнения экспертов, изучает крайние точки зрения. Результаты этой работы сообщаются экспертам, и они могут изменить свое мнение (причем работа экспертов протекает анонимно).
• 3. Третья анкета содержит перечень рисков, их последствий и статистических характеристик, сводных данных (аргументов) о причинах более высоких или низких оценок. Эксперты рассматривают представленную информацию, формулируют новые оценки уровней рисков, обосновывают свою точку зрения при ее значительном отклонении от групповой, комментируют (анонимно) противоположные мнения. Пересмотренные оценки и новые аргументы возвращаются к руководителю, который вновь их обрабатывает, суммирует полученные результаты и подготавливает на этой основе новый прогноз.
• 4. Эксперты знакомятся с новым групповым прогнозом, аргументами, критикой и составляют новый прогноз. Если группа не может прийти к единому мнению, организатор может собрать экспертов для очного обсуждения.

Как и другие экспертные оценки, метод Дельфи имеет определенные недостатки, обсуждение которых можно найти в специальной литературе.

Экспертный анализ рисков, как правило, применяют на начальных этапах работы с проектом (на предынвестиционной фазе), когда объем исходной информации недостаточен для количественной оценки.

Достоинствами экспертного анализа рисков являются: отсутствие необходимости в точных исходных данных и специализированных программных средствах, возможность проводить оценку до расчета эффективности проекта, а также сравнительная простота расчетов. К основным недостаткам следует отнести сложность привлечения независимых экспертов и субъективность получаемых оценок.