Д. Анализ и обработка экспертных оценок

При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо определить согласованность действий экспертов и достоверность экспертных оценок.

В настоящее время для оценки степени согласованности мнений экспертов наиболее часто используются следующие показатели: дисперсия, коэффициенты вариации, корреляции рядов и конкордации.

Дисперсия Dj оценок, данных j-му событию, вычисляется по формуле.

где Су— оценки, назначенные i-м экспертом j-му событию; т — количество экспертов;

Mj (х) — среднестатистические значения, определяемые как.

Коэффициент вариации Vj оценок, данных j-му событию, вычисляется по формуле.

где; — среднеквадратическое отклонение оценок, данных j-му событию;

Коэффициент корреляции рядов рассчитывается по формуле.

для оценки степени согласованности экспертов при оценке двух событий (1 и 2) (коэффициент парной корреляция). Он изменяется в диапазоне —1 < г_х 2 — 1-В случае оценки N > 2 событий следует пользоваться коэффициентом множественной корреляции, в основе применения которого лежит поочередное определение коэффициентов парной корреляции для всех пар оценок с последующей интеграцией полученных значений коэффициентов парной корреляции.

Коэффициент конкордации рассчитывается по формуле (см. [7]):

где.

tj — число повторений каждого ранга в i-м ряду;

к₍ — число повторяющихся рангов в i-м ряду.

Величина W изменяется в пределах от 0 до 1. При W = 0 согласованности совершенно нет, то есть связь между оценками различных экспертов отсутствует. Наоборот, при W= 1 согласованность мнений экспертов полная. (В работе относительно коэффициента W приводится более подробная информация.).

Расчет коэффициента W при учете компетентности экспертов приводится в работе [2].

Первые два показателя (D₍ и vj) характеризуют степень согласованности экспертов только при оценке одного события (при определенной трансформации приведенных формул — двух событий), но не дают возможности получить интегральную оценку степени согласованности, когда N > 2. Кроме того, поскольку неясен диапазон изменения этих показателей, то трудно выбрать критерии оценки приемлемости степени согласованности полученных оценок, т. е. ответить на вопрос: удовлетворяет нас или нет полученная степень согласованности мнений экспертов?

С помощью показателей Dj и v_;— также возможно проводить попарное сравнение всех оцениваемых событий с последующей интеграцией полученных значений для отдельных пар. Для этого можно воспользоваться следующими формулами:

где) — число оцениваемых событий.

К указанным трудностям в этом случае также добавляется трудность, обусловленная увеличением числа пар по мере роста числа оцениваемых событий.

Показатели Dи v_;— можно применять только тогда, когда оценивается степень согласованности балльных оценок, а не рангов важности, рассчитанных на их основе или полученных прямо из экспертного опроса. В то же время очевидно, что в силу приближенности экспертных оценок во многих случаях ранги важности, полученные на основе определения балльных оценок (или прямым способом), имеют большее практическое значение, чем сами балльные оценки.

Данные показатели (Dj и Vj) неприменимы, когда желательно выявить зависимости между законами, лежащими в основе построения рядов оценок, данных отдельными экспертами различным событиям.

Показатель Vj в отличие от D, усредняет вклад отдельных членов ряда (члены, имеющие большие и малые значения, слабо влияют на среднее значение ряда), т. е. при использовании v_; на его значение большое влияние оказывают относительные отклонения между членами одного номера разных рядов.

Что касается коэффициента корреляции, то он может быть построен и для рангов важности оцениваемых событий. Этот коэффициент позволяет выяснить, построены ли ряды оценок по одному закону. Но при этом понятие закона трактуется весьма жестко (с учетом не только рангов отдельных оценок, но и их абсолютных оценок).

Чтобы получить высокие значения коэффициента ранговой корреляции, совпадение законов должно быть очень высоким. Кроме того, коэффициент корреляции очень сильно реагирует на большие отклонения некоторых членов ряда при высокой степени совпадения оценок всех других членов ряда. В таких случаях можно получить значение коэффициента, близкое к нулю. Но там, где нет доминирующих оценок, коэффициент корреляции лучше всего учитывает зависимость между рядами. В случае когда сравнивается более двух рядов, возникают трудности, обусловленные выведением интегральной оценки согласованности на основе их попарного сравнения.

Коэффициент конкордации учитывает только порядок членов в рядах. Он поэтому применим только тогда, когда даны ранги важности оцениваемых событий, а не их балльные оценки. Его можно использовать для оценки любого количества событий, выполненной любым количеством экспертов.

Таким образом, учитывая значительное количество оцениваемых событий и привлеченных экспертов и то, что ранги важности часто имеют большее практическое значение, чем балльные оценки, из всех рассмотренных показателей степени согласованности экспертов отдать предпочтение следует коэффициенту конкордации. Однако при этом надо учитывать, что показателя определения степени согласованности мнений экспертов, не страдающего теми или иными недостатками, не существует. Поэтому при выборе оценочного показателя и методов его расчета нужно учитывать цель проведения того или иного экспертного опроса и его специфику.