Методы и алгоритмы анализа и агрегирования групповых экспертных оценок

Актуальность работы. Возникновение, развитие и выход на первый план сложных технических систем, таких как АЭС, газопроводы, космодромы, военные объекты, сделали необходимым использование и, следовательно, обучение предельно квалифицированных специалистов, обладающих требуемыми знаниями и навыками по управлению этими системами. Данная необходимость обусловлена тем, что ошибка в управлении подобными системами может вызвать глобальные негативные экономические, экологические и другие последствия, вплоть до катастрофы. Наиболее эффективными и перспективными средствами обучения квалифицированных специалистов являются тренажерные комплексы, являющиеся особым классом автоматизированных обучающих систем. Они позволяют выработать и закрепить необходимые для управления сложными техническими системами навыки. Разработка тренажерных комплексов представляет собой сложный процесс, требующий больших финансовых затрат, поэтому необходим контроль качества на каждом из этапов разработки, включая составление технического задания. Оценка качества таких комплексов и определение требований к ним на стадии разработки осложняется неполнотой и/или неопределенностью имеющейся информации и представляет собой неструктурированную или слабо структурированную задачу, для решения которой целесообразно использовать методы экспертного оценивания, которые в настоящее время широко используются во многих областях человеческой деятельности, требующих принятия сложных решений. Однако изучение практики и теории экспертного оценивания позволило выделить ряд значительных противоречий, существующих в этой области и снижающих эффективность использования и достоверность результатов экспертных методов: 1) задача построения системы критериев оценивания альтернатив является практически неформализованной и ее решение вызывает затруднения у экспертов, особенно при определении относительной важности критериев и связей между ними- 2) недостаточно развит анализ согласованности парных сравнений, в частности отсутствует возможность корректно оценить противоречивость парных сравнений, выполненных с использованием количественных шкал- 3) в существующих подходах к анализу согласованности экспертных мнений не учитывается различие в уровне компетентности экспертов- 4) большинство методов многокритериального выбора не позволяет произвести проверку согласованности мнений группы экспертов- 5) существующие методы и алгоритмы агрегирования экспертных оценок зависят от вида оценок и способа их свертывания- 6) отсутствуют корректные методы и методики, позволяющие оценить объективность экспертов и устранить влияние их необъективности на достоверность результатов экспертизы. Важной проблемой практики применения методов экспертного оценивания является их недостаточная автоматизация ввиду отсутствия единого подхода к решению большинства задач, а также недостаточная формализация ряда процедур и этапов экспертизы. Поэтому актуальными являются разработка и внедрение методов, моделей и алгоритмов, обеспечивающих выявление необъективных экспертов и агрегирование экспертных мнений с учетом компетентности экспертов, а также позволяющих формализовать выполнение основных этапов экспертизы.

Диссертационное исследование посвящено решению научно-технической задачи разработки методов, алгоритмов и процедур анализа и обработки экспертной информации для поддержки принятия решений в различных областях человеческой деятельности и непосредственно базируется на результатах исследований следующих ученых: Анохина А. Н., Бешелева С. Д., Гурвича Ф. Г., Ларичева О. И., Литвака Б. Г., Миркина Б. Г., Ногина В. Д., Орлова А. И., Падерно П. И., Саати Т., Сидельникова Ю. В., Уткина Л. В., Шеховцова О. И. и др.

Объектом исследования является поддержка принятия решений на основе принципов и методов экспертного оценивания. Предметом исследования является анализ и обработка экспертной информации.

Целью диссертационной работы является разработка методов и алгоритмов анализа и обработки экспертной информации, позволяющих повысить достоверность результатов и эффективность процесса проведения групповых экспертиз, направленных на решение задач многокритериального выбора.

Методы исследования. В диссертационной работе использованы методы системного анализа и теории принятия решений, теории вероятностей и математической статистики, а также теории нечетких множеств. Научные положения, выносимые на защиту:

1. Критерий согласованности парных сравнений.

2. Модификация метода анализа иерархий для решения задач группового выбора.

3. Унифицированный алгоритм агрегирования экспертных оценок.

4. Метод выявления аффилированных экспертов, основанный на предложенной вероятностно-статистической модели экспертных оценок.

5. Способ оценки субъективности экспертов и формирования экспертной группы с использованием показателей субъективности экспертов.

6. Методика обработки экспертных оценок на основе факторного анализа.

Новизна первого научного результата:

В отличие от известных критериев согласованности парных сравнений предложенный критерий позволяет учесть не только факт и кардинальность расхождения экспертных оценок, но и значимость этого расхождения с учетом различия в уровне компетентности экспертов.

Новизна второго научного результата:

В отличие от известных методов многокритериального выбора разработанная модификация метода анализа иерархий: а) дает возможность учесть при агрегировании матриц парных сравнений экспертов не только общую компетентность каждого эксперта, но и дифференцированную компетентность эксперта по различным показателям, используемым для оценивания альтернативб) позволяет оценить возможность корректного агрегирования матриц парных сравнений с помощью предложенного критерия согласованности экспертных мненийв) содержит процедуру разбиения экспертной группы на коалиции в соответствии с согласованностью мнений экспертовг) позволяет агрегировать частично противоречивые матрицы парных сравнений.

Новизна третьего научного результата:

Унифицированный алгоритм отличается от известных возможностью агрегирования оценок произвольного вида на основе задаваемого способа получения обобщенных оценок, а также итеративным пересчетом коэффициентов компетентности экспертов.

Новизна четвертого научного результата:

Метод выявления аффилированных экспертов основан на вероятностно-статистической модели экспертных оценок, отличающейся возможностью использования произвольных законов распределения погрешности оценивания экспертов и позволяющей выявлять и устранять ее систематическую составляющую. Аналогов данного метода, позволяющих определять необъективных экспертов, на сегодняшний день не обнаружено.

Новизна пятого научного результата:

Способ оценки субъективности экспертов отличается тем, что не зависит от закона распределения погрешностей оценивания экспертов и позволяет формализовать задачу формирования экспертной группы, и представить ее в виде задачи дискретной оптимизации.

Новизна шестого научного результата:

Новизна разработанной методики заключается в использовании для решения задач, связанных с обработкой экспертных оценок, Л-техники факторного анализа, позволяющей выявить корреляционную связь между критериями оценивания альтернатив, а также^{-техники,} позволяющей выявить корреляционную связь между экспертами. Отличительной особенностью предложенной методики является получение оценок альтернатив по второму уровню иерархии критериев в виде численных значений факторов, вычисляемых на основе результатов факторного анализа экспертных оценок.

Достоверность полученных результатов. Достоверность результатов, выводов и рекомендаций диссертационной работы базируется на корректном применении математического аппарата, анализе исследований в рассматриваемой области, а также широком внедрении полученных результатов и их апробации на международных и российских научных конференциях.

Практическая ценность. Разработанные алгоритмы и методы представляют собой инструментальные средства для анализа и обработки экспертной информации, которые предоставляют дополнительные возможности при работе с информацией. Их применение позволяет повысить достоверность результатов и эффективность процесса проведения групповых экспертиз, направленных на решение задач многокритериального выбора. Разработанные алгоритмы и методы могут быть использованы при создании автоматизированной системы экспертного оценивания, реализующей автоматизированную поддержку проведения экспертиз и принятия решений. Ряд результатов диссертационной работы положен в основу программного модуля оценки качества тренажеров, который проходит апробацию в ОАО «Центральное конструкторское бюро аппаратостроения», после чего первая версия программного продукта будет представлена для прохождения государственной регистрации в установленном порядке.

Реализация и внедрение результатов. Результаты диссертационной работы внедрены в: 1) ОАО «Центральное конструкторское бюро аппаратостроения» при экспертной оценке качества тренажерных систем- 2) НИЦ РЭВ ВМФ РФ при разработке и реализации руководящих документов по обеспечению подготовки и проведения экспертиз создаваемых и проектируемых тренажерных комплексов различного назначения- 3) ОАО «Концерн «НПО «Аврора» при экспертной оценке эргономических показателей производимых сложных систем управления корабельным и судовым оборудованием- 4) ОАО «Корпорация «Аэрокосмическое оборудование» при экспертной оценке качества сертифицируемой продукции- 5) ООО «Эр-гоАйТи» при экспертном анализе качества интерфейса программных продуктов- 6) учебный процесс кафедр АСОИУ и АПУ СПбГЭТУ, что подтверждено соответствующими актами внедрения. Также результаты диссертационной работы использованы в фундаментальной НИР «Разработка моделей и методов анализа и синтеза интеллектуальных систем поддержки принятия решений для управления сложными распределенными объектами» (АСОИУ-64).

Апробация работы. Основные результаты работы докладывались и обсуждались на: 1) VII Международной конференции «Психология и эргономика: единство теории и практики», Тверь, 2011 г.- 2) III и II Международных и I Межрегиональной конференциях «Государство и бизнес. Вопросы теории и практики: моделирование, менеджмент, финансы», Санкт-Петербург, 2011, 2010 и 2009 гг.- 3) XXXV и XXXVI Международных молодежных научных конференциях «Гага-ринские чтения», Москва, 2009 и 2010 гг.- 4) XV Международной конференции «Современное образование: материалы, технологии, качество», Санкт-Петербург, 2009 г.- 5) VI Международном аэрокосмическом конгрессе «IAC'09», Москва, 2009 г.- 6) XTV Международной научно-практической конференции «Качество — стратегия XXI века», Томск, 2009 г.- 7) II и III Общероссийских молодежных научно-технических конференциях «Молодежь. Техника. Космос», Санкт-Петербург, 2010 и 2011 гг.- 8) XIII Всероссийской научно-технической конференции «Энергетика: экология, надежность, безопасность», Томск, 2007 г.- 9) VIII Межрегиональной научно-технической конференции студентов и аспирантов «Применение кибернетических методов в решении проблем общества XXI века», Обнинск, 2010 г.- 10) VII научно-технической конференции «Мехатроника, автоматизация, управление», Санкт-Петербург, 2010 г- 11) Ежегодных научно-технических конференциях профессорско-преподавательского состава СПбГЭТУ, Санкт-Петербург, 2008;2011 гг.

Публикации. Основные результаты диссертационной работы изложены в 16 публикациях, в том числе: в 7 статьях, 4 из которых опубликованы в ведущих рецензируемых научных журналах, входящих в перечень ВАКв 5 докладах на международных конференциях и 4 докладах на региональных и всероссийских конференциях, опубликованных в трудах и материалах конференций.

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, 5 глав с выводами, заключения, 7 приложений и списка литературы из 155 наименований. Основная часть диссертации изложена на 152 страницах машинописного текста и содержит 27 рисунков и 16 таблиц.

ЗАКЛЮЧЕНИЕ

.

Целью диссертационной работы являлась разработка методов и алгоритмов анализа и обработки экспертной информации, позволяющих повысить достоверность результатов и эффективность процесса проведения групповых экспертиз, направленных на решение задач многокритериального выбора.

В ходе проведенного исследования были решены поставленные в работе задачи и получены следующие основные научные результаты:

1. Разработан и обоснован критерий согласованности экспертных мнений, представленных в виде матриц парных сравнений.

2. Разработана модификация метода Т. Саати для формализованного получения обобщенного мнения группы экспертов с учетом взаимной согласованности экспертных мнений, а также дифференцированной компетентности экспертов в различных предметных областях.

3. Разработан унифицированный алгоритм агрегирования экспертных оценок, позволяющий выполнять свертку оценок произвольного вида на основе задаваемого способа получения обобщенных оценок.

4. Разработан метод выявления аффилированных экспертов, основывающийся на предложенной вероятностно-статистической модели экспертных оценок.

5. Разработан способ оценки субъективности экспертов и формирования экспертной группы с использованием показателей субъективности экспертов.

6. Разработана методика обработки экспертных оценок, основанная на применении факторного анализа.

Разработанные алгоритмы и методы анализа и обработки экспертной информации позволяют повысить достоверность результатов и эффективность процесса проведения экспертиз, направленных на решение задач многокритериального выбора, и могут являться базой для научно-методического аппарата проектирования АСЭО, реализующих автоматизированную поддержку проведения экспертиз и принятия решений.