Экспертные оценки в процессе принятия решений

В процессе принятия решений большая роль отводится экспертным оценкам — количественным или порядковым оценкам объектов, процессов или явлений, характеристики которых не поддаются непосредственному измерению¹.

Экспертные оценки используются для определения вероятностей возникновения проблемных ситуаций, оценки коэффициентов относительной значимости признаков, с позиций которых оцениваются варианты решения (альтернативы), определения коэффициентов компетентности экспертов, оценивающих эти альтернативы, а главное — для формирования оценок рассматриваемых альтернатив по различным признакам. При формировании экспертных оценок, по сути, осуществляется субъективное оценивание объектов, характеристики которых не поддаются непосредственному измерению.

Для оценки свойств какого-либо явления или процесса прежде всего необходимо определить типы шкал, в которых будут оцениваться те или иные переменные^[1][2].

Порядковая шкала и номинальная шкала (шкала наименований) — основные шкалы, используемые при оценке объектов по качественным признакам. Шкалы, в которых оценка объектов осуществляется по количественным признакам — это шкалы интервалов, отношений, разностей, или абсолютные шкалы.

Номинальная шкала допускает все взаимно однозначные преобразования, при этом числа используются только в качестве меток.

Порядковая шкала предусматривает использование чисел не только для идентификации объектов, но и для их упорядочения. Числа здесь присваиваются объектам для обозначения относительной степени, в которой определенные характеристики присущи тому или иному объекту. Такая шкала позволяет упорядочить объекты по конкретной характеристике, но не дает представления о степени ее выраженности: у объекта, расположенного на первом месте, рассматриваемая характеристика выражена более сильно, но сравнению с объектом, занимающим второе место, но при этом неизвестно, насколько значительно различие между ними. Таким образом, порядковая шкала отображает соотношение объектов, но не значимость разницы между ними. Упорядочение объектов в порядковой шкале основывается на суждениях типа «более чем» и «менее чем».

Свойство мыслительного процесса таково, что человеку легче отвечать на вопросы качественного, а не количественного характера (например, сравнивать несколько объектов между собой). Однако он далеко не всегда способен оценить, на сколько (или во сколько раз) характеристика одного объекта превышает аналогичную характеристику другого.

Экспертные оценки часто носят заведомо субъективный характер. В этих случаях используют особый тип порядковых шкал — вербальночисловые¹. В их состав входят содержательное (словесное) описание выделенных градаций и соответствующие числовые значения.

Среди основных целей теории измерений^[3][4] — противодействие субъективизму исследователя при присваивании численных значений реальным объектам. Поэтому одно из основных требований к анализу данных гласит: выводы, сделанные на основе данных, представленных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных. Иначе говоря, выводы должны быть инвариантны по отношению к допустимым преобразованиям шкалы.

Есть несколько методов формирования экспертных оценок.

Метод экспертной классификации целесообразно использовать в том случае, когда необходимо определить принадлежность оцениваемых объектов к установленным или предварительно определенным классам. Он также может быть использован в случаях, когда ни сами классы, ни даже их количество заранее (т.е. перед началом процедуры классификации) не определены.

Если эксперту необходимо отнести каждую из альтернатив к одному из заранее определенных классов, то наиболее часто используется процедура последовательного предъявления эксперту альтернативных вариантов. После ее завершения эксперту может быть представлен полученный результат классификации с возможностью (если это целесообразно) его корректировки. В случае групповой экспертизы результаты классификации, сформированные каждым из экспертов, подлежат дополнительной обработке с целью получения итоговой коллективной экспертной оценки.

В некоторых случаях может возникнуть необходимость отнесения альтернатив к упорядоченным классам. Тогда более предпочтительные варианты будут отнесены к более предпочтительным классам.

Если число классов заранее не установлено, то в ходе экспертизы может быть использована следующая процедура. Эксперту предъявляются два варианта и предлагается ответить на вопрос, можно ли отнести оба варианта к одному и тому же классу. В случае отрицательного ответа на поставленный вопрос для каждой из альтернатив формируется свой класс. Затем эксперту последовательно предлагаются остальные альтернативы и на каждом шаге предлагается ответить на вопрос, можно ли отнести очередной объект к одному из уже имеющихся классов, или для него следует сформировать новый класс. Процедура завершается тогда, когда все альтернативы оказываются рассмотренными.

Метод парных сравнений довольно часто используется для оценки относительной значимости признаков, степени компетентности экспертов и альтернативных вариантов решения. Применение данного метода похоже на проведение спортивного чемпионата в один круг, когда каждая команда встречается с каждой из остальных один раз. В этом случае эксперту последовательно предлагаются пары альтернатив, в каждой из которых он должен определить «победителя» (предпочтительный вариант). При сравнении любой пары объектов возможно либо отношение строгого порядка (победа одного из участников и, соответственно, поражение другого), либо отношение эквивалентности (ничья). Результаты попарного сравнения собираются в таблицу (аналог турнирной таблицы в спорте), в строках и столбцах которой указываются рассматриваемые альтернативы, а на их пересечении — результат сравнения. Чаще всего результат выражается в виде бинарного представления: если i-й объект не хуже k-ro, то на пересечении г'-й строки и k-ro столбца ставится 1, в противном случае — 0. Если эксперт последователен в своих оценках, то в результате парных сравнений все оцениваемые объекты оказываются упорядоченными по соответствующему признаку (критерию).

Если эксперт затрудняется выразить предпочтение относительно какойлибо пары объектов, то он вправе считать альтернативные варианты решения несравнимыми. В этом случае в результате экспертизы будет получено лишь частичное упорядочение альтернатив.

Если экспертные оценки страдают непоследовательностью или противоречивостью (что часто случается на практике), то необходим специальный анализ результатов экспертизы. Наиболее часто непоследовательность оценок имеет место при достаточно большом количестве рассматриваемых альтернатив. В таких случаях применяются некоторые модификации метода парных сравнений.

Довольно распространенным методом является ранжирование вариантов. В этом случае эксперту одновременно предъявляются все объекты, предназначенные для сравнения, с целью их упорядочения по заданному критерию (спортивный аналог — забег с групповым стартом). Желательно, чтобы количество рассматриваемых вариантов было «обозримым» (порядка 20—30 объектов). Если объектов больше, то можно применить модификации метода ранжирования, например перед ранжированием разбить множество объектов на упорядоченные классы (при помощи метода экспертной классификации) с последующим ранжированием отдельно внутри каждого класса.

Ранжирование может осуществляться равными способами. Рассмотрим два из них.

При первом способе эксперт анализирует все множество оцениваемых объектов и выбирает наиболее предпочтительный ив них. Затем аналогичный выбор применяется по отношению к оставшимся объектам и т. д.

При втором способе эксперту ивначально предъявляются всего несколько объектов, которые ему предлагается упорядочить (так же, как при первом способе). Затем эксперту последовательно предлагаются новые объекты, с просьбой указать место каждого нового объекта среди объектов, которые уже были упорядочены ранее. Экспертиза завершается после того, как все объекты оказываются проанализированными и упорядоченными.

В любом случае ранжирование обеспечивает упорядочение объектов в порядке их предпочтения, руководствуясь одним или несколькими признаками (критериями). В зависимости от вида отношений между оцениваемыми объектами возможны различные варианты их упорядочения. Если среди объектов нет равноценных, то между ними существуют отношения только строгого порядка (один объект лучше другого). Как доказывается в теории измерений, этому упорядочению можно поставить в соответствие числовую систему, элементами которой являются действительные числа, связанные между собой отношением строгого неравенства. На практике чаще всего применяется числовое представление порядка следования объектов в виде натуральных чисел — рангов (наиболее предпочтительный объект имеет ранг 1, второй по предпочтительности — ранг 2 и т. д.).

Если среди объектов есть эквивалентные (т.е. помимо отношений строгого порядка допускаются отношения эквивалентности), то такому порядку объектов также можно поставить в соответствие числовую систему с отношениями неравенства и равенства между числами. Чаще всего для этих целей используют ранги, при этом эквивалентным объектам присваиваются одинаковые ранги.

Метод непосредственной оценки предусматривает присвоение оцениваемым объектам числовых значений, выраженных в количественной шкале. Экспертным путем каждому объекту сопоставляется точка на определенном отрезке числовой оси, при этом эквивалентным объектам ставятся в соответствие одинаковые числа.

Для оценки объектов в количественной шкале, как правило, используются субъективные балльные оценки. При этом вместо всей числовой оси рассматривают только отдельные ее участки, каждому из которых ставится в соответствие свой балл. Чаще всего применяются целочисленные балльные шкалы, в которых оценки могут иметь значения от нуля до единицы, пяти, десяти или ста.

Метод последовательного сравнения представляет собой комплексную процедуру оценки рассматриваемых вариантов, которая включает как ранжирование, так и непосредственную оценку.

Метод векторов предпочтений используется при групповом экспертном ранжировании. В данном случае информация представляется в виде вектора, первый элемент которого представляет собой количество объектов, превосходящих первый объект, второй элемент — число объектов, превосходящих второй объект и т. д. Если каждое число встречается в векторе предпочтений только один раз, то возможно строгое ранжирование объектов, иначе полученный результат нс является строгим ранжированием и отражает затруднения эксперта при сравнении отдельных объектов.

При групповой экспертизе с применением метода векторов предпочтений необходим расчет консолидированного коллективного ранжирования, отражающего мнения всех экспертов.

Если целью является прогнозирование или анализ динамики изменения показателей, характеризующих объект принятия решения, то могут применяться дискретные экспертные кривые.

При построении дискретной экспертной кривой определяется набор характерных точек, в которых наблюдается (или ожидается) смена тенденции изменения значений анализируемого показателя, а также определяются значения показателя в этих точках. На участках между характерными точками предполагается, что значения показателя изменяются линейно, т. е. две соседние характерные точки соединяются линейными отрезками. Если имеются основания для того, чтобы изменения значений показателя на участках между соседними характерными точками рассматривались как нелинейные, то могут быть использованы непрерывные экспертные кривые. Заметим, что далеко не всегда имеется информация, позволяющая высказывать суждения о поведении кривой на участках между характерными точками.

Для анализа оценок, выставленных экспертами в порядковой шкале, можно рассчитывать средние значения по каждому из объектов сравнения. В частности, в качестве среднего значения для данных, измеренных в порядковой шкале при нечетном объеме выборки, можно использовать медиану. Если объем выборки четный, то целесообразно использовать один из двух центральных членов вариационного ряда — левую или правую медиану. Также можно использовать моду, максимум, минимум и квартили, которые всегда могут быть определены для вариационного ряда. Однако не следует сравнивать объекты на основе среднего арифметического или среднего геометрического значений.

• [1] Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок.М.: Статистика, 1980; Евланов Л. Г., Кутузов В. А. Экспертные оценки в управлении. М. :Экономика, 1978; Кравченко Т. К. Процесс принятия плановых решений (информационныемодели); Ее же. Экспертные оценки в процессе принятия решений // Актуальные проблемыгуманитарных и естественных наук. 2010. № 3. С. 88—90; Литвак Б. Г. Экспертные оценкии принятие решений. М.: Патент, 1996.
• [2] Пфанцаглъ И. Теория измерений. М.: Мир, 1976.
• [3] Литвак Б. Г. Разработка управленческого решения. М.: Дело, 2002.
• [4] Пфапцаглъ И. Теория измерений.