Обработка результатов групповых экспертных оценок

Ранее уже отмечалось, что статистической обработке подлежат экспертные оценки, полученные на задачах первого рода, то есть там, где эксперты используются как «измерительные приборы».

В таком случае размер выборки (количество опрошенных экспертов) прямо влияет на достоверность получаемых результатов. Чем выборка представительнее, то есть чем больше экспертов приняло участие в экспертизе, тем точнее результаты.

Рассмотрим основные методы обработки результатов экспертизы.

Усреднение непосредственных оценок. Предполагается, что экспертизы сведены в матрицу балльных оценок из шкалы одного масштаба. Например, оценки проведены в 100-, 10- или 5-балльной шкале. Пример балльной экспертной оценки приведен в табл. 7.

Таблица 7.

Результаты экспертной оценки

На первом этапе вычисляются относительные веса j-го объекта в оценке /-го эксперта:

Например:

На втором этапе вычисляется итоговая оценка каждого объекта:

Например:

Следует отметить, что непосредственная оценка объектов для экспертов является весьма трудной задачей. Статистическая же обработка результатов достаточно тривиальна.

Метод парных сравнений. Для облегчения задачи экспертам им предлагается не непосредственная оценка значений каких-либо качественных характеристик, а возможность последовательного сравнения всех пар этих значений. На парах значений высказывается отношение предпочтения:

Каждый эксперт заполняет матрицу следующего вида (рис 13).

Рис. 13. Матрица парных сравнений эксперта

Здесь а — экспертная оценка, высказанная на паре значений оцениваемой характеристики;

к_(/ и к_р —значения оцениваемой характеристики;

>- — символ «предпочтения»;

~ — символ «безразличия».

В отличие от математических символов > и <, которые уместны только для количественных характеристик, предпочтение и безразличие может быть высказано на любых наборах объектов.

На первом этапе вычисляется средняя частота предпочтений q-ro значения характеристики перед р-м значением, высказанных у-м экспертом:

Здесь С — число процедур сравнения, проведенных каждым экспертом с не повторяющимися парами значений оцениваемой характеристики.

На втором этапе вычисляется интегрированная оценка q-го значения оцениваемой характеристики по высказываниям всех экспертов:

Объем вычислений в данном методе больше, чем в предыдущем. Но упрощение задачи сравнения, решаемой экспертом, позволяет получить более достоверные результаты экспертизы.

Усреднение ранговых оценок. В данном методе по умолчанию предполагается, что ранговые оценки соответствуют числам натурального ряда, и поэтому над ними проводятся обычные для чисел математические операции. Каждый эксперт заполняет таблицу следующего вида (табл. 8).

Таблица 8.

Ранговая экспертная таблица

Вычисление интегрированной по высказываниям всех экспертов оценки /-го значения оцениваемой характеристики производится по следующей формуле:

где V. — интегрированная по высказываниям всех экспертов оценка /-го значения оцениваемой характеристики; п — число значений оцениваемой характеристики или оцениваемых объектов;

т — число экспертов, принимавших участие в оценке; г — ранговая оценка (место), присвоенная у'-м экспертом /-му значению оцениваемой величины или /-му объекту.

Метод усреднения ранговых оценок наиболее прост и для экспертов, и при вычислениях интегрированных оценок.