Разработка комплексированных нейросетей и исследование возможностей их применения для решения прикладных задач

Актуальность темы

Наряду с развитием персональных ЭВМ, сетей ЭВМ и высокопроизводительных суперЭВМ традиционной архитектуры, в последние годы существенно повысился интерес к разработке и созданию компьютеров нетрадиционного типа. Связано это с тем, что, несмотря на высокую производительность современных суперЭВМ, все еще остается много практически важных проблем, для решения которых нужны более мощные и более гибкие вычислительные средства [1]. Использование нейросетевых технологий, применение которых во всем мире приобретает все большие и большие масштабы, как раз и является одним из основных методов разрешения этих проблем [2−15].

Существует большой круг задач, алгоритмы решения которых практически невозможно представить в строго формализованном виде. Искусственные нейронные сети в каком-то смысле имитируют работу мозга, поэтому с их помощью успешно решаются разнообразные «нечеткие» задачираспознавание зрительных образов, речи, рукописного текста, выявление закономерностей, классификация, прогнозирование, задачи обработки потоков сигналов, преобразование картографической и геодезической информации, задачи адаптивного управления в реальном масштабе времени по большому количеству параметров и другие [16−20]. Даже мозг ребенка может решать задачи, неподвластные современным компьютерам, например, такие как распознавание знакомых лиц в толпе или эффективное управление несколькими десятками мышц при игре в футбол. Уникальность мозга состоит в том, что он способен обучаться решению новых задач — игре в шахматы, вождению автомобиля и т. д. В таких задачах, где традиционные технологии бессильны, нейронные сети часто выступают как единственная эффективная методика решения [21].

Отличиями нейронного подхода от стандартных вычислительных систем являются:

— массовый параллелизм (параллельная работа большого числа простых вычислительных устройств — нейронов);

— способность к обучению и самообучению;

— высокая помехоустойчивость и отказоустойчивость.

Можно выделить три способа моделирования нейронных сетей: полная аппаратная реализация, программно-аппаратная реализация и программные модели нейросетей. Программно-аппаратная реализация происходит за счет дополнительных нейроакселераторных плат вставляемых в слоты расширения стандартных вычислительных комплексов. Наиболее ярко последнее обстоятельство проявилось в структуре шахматного компьютера Deep Blue, который в 1997 году обыграл чемпиона мира Г. Каспарова. Генератор ходов выполняемой им шахматной программы реализован аппаратно на 256 параллельно работающих процессорах. Программные эмуляторы являются на данный момент наиболее употребительным средством моделирования нейросетей.

В настоящее время не существует единой нейросетевой парадигмы, которая была бы способна решать любую предъявляемую ей практическую задачу. Для решения каждой прикладной задачи, в связи с ее спецификой, выбирается одна из известных нейропарадигм. Поэтому развитие нейросетей, вызываемое попытками решения новых, более сложных задач, с решением которых известные нейросетевые парадигмы не в состоянии справиться, в основном идет путем разработки новых архитектур нейросетей, либо путем усложнения используемых нейроэлементов в нейросетевых структурах.

Однако альтернативным путем решения проблем, возникающих при разработке новых архитектур, может служить подход, основанный на объединении уже известных нейропарадигм для достижения искомого результата. Такие нейросетевые структуры, в которых нейропарадигмы объединяются как строительные блоки, могут привести к сетям, более близким к мозгу по архитектуре, чем любые другие однородные структуры. Следовательно, отыскание эффективных способов комплексирования известных нейросетевых парадигм может быть более эффективным и менее трудоемким способом совершенствования нейросетей, чем разработка их новых архитектур. Использование комплексированных нейросетей может существенно расширить область применения искусственных нейросетей. Круг задач, решаемых с их помощью, при этом может существенно возрасти, может увеличиться и сложность таких задач. Следовательно, создание комплексированных нейросетей и комплексов, основанных на различных нейросетевых парадигмах, в настоящее время является весьма актуальной проблемой.

Данная диссертационная работа как раз и посвящена исследованию возможностей построения комплексированных нейросетей и возможностей их использования для решения конкретных прикладных задач. Учитывая то, что в настоящее время еще нет общепринятых теоретических основ, с помощью которых была бы возможна разработка новых нейропарадигм или их комплексирование, исследования в этой области ведутся в основном экспериментальным способом.

Данная работа является дальнейшим развитием результатов исследований, проводимых на кафедре вычислительной техники ТРТУ в области нейрокомпьютеров и искусственного интеллекта под руководством профессора Чернухина Ю.В.

Объект исследований. Объектом исследования являются нейроподобные сети и методы их комплексирования (структура нейросетей, алгоритмы их обучения, функциональные возможности, скорость работы, практические задачи, решаемые на полученных архитектурах).

Цель и задачи работы. Целью диссертационной работы является разработка и исследование методов комплексирования нейросетей для решения задач обработки изображений и решения задачи прогнозирования событий.

Для достижения поставленной цели в работе решаются следующие задачи:

— исследуются возможности совместного использования методов генетического программирования и комплексированных нейроподобных сетей для решения задач составления фоторобота;

— исследуются возможности применения комплексированных нейросетей для сжатия, восстановления и идентификации изображений;

— исследуются возможности применения комплексированных нейросетей для систем прогнозирования событий;

— исследуются возможности комплексированных нейросетей для решения задач классификации речевых сообщений;

— исследуются возможности применения разработанных программных средств на основе комплексированной нейросети для решения задачи прогнозирования геологической информации.

Методы исследований. В работе использованы методы теоретической информатики, теории вычислительных систем, прикладного и системного программирования.

Основные положения, выносимые на защиту. На защиту выносятся следующие положения и результаты:

— обобщенная структура комплекса для решения задачи коллективного составления фоторобота удаленными свидетелями с его последующей идентификацией;

— методика использования генетических алгоритмов для решения задачи составления фоторобота;

— методы использования нейросетей для задач упаковки данных и поиска в базах данных;

— архитектура комплексированной нейросети для систем прогнозирования;

— метод использования комплексированной нейросети для решения задачи прогнозирования.

Научная новизна. Научная новизна заключается в новых архитектурных решениях комплексированных нейросетей и новых методах их использования. Основные научные результаты заключаются в следующем:

— предложен и исследован метод использования генетического программирования для решения задачи коллективного составления фоторобота;

— предложен и исследован метод использования нейросетей для идентификации изображений;

— синтезирована архитектура комплексированной нейросети для систем прогнозирования;

— предложена структура классификатора эмоциональной составляющей информации в речи на основе комплексированной нейросети;

— на программных эмуляторах исследованы функциональные возможности полученных нейросетей.

Практическую ценность работы представляют:

— разработанные программные средства для составления коллективного фоторобота несколькими свидетелями;

— разработанная архитектура комплексированной нейросети для систем прогнозирования;

— разработанная программная модель классификации речевых сообщений по их эмоциональной составляющей;

— разработанный программный нейросетевой комплекс прогнозирования изменения уровня грунтовых вод.

Использование результатов работы. Разработанная программная система прогнозирования уровня грунтовых вод используется в Департаменте Природных Ресурсов по Северо-Кавказскому Региону Министерства.

Природных Ресурсов РФ г. Ессентуки. Разработанная программная модель для изучения свойств нейросетей перцептронного типа используется при проведении практических работ по курсу «Системы искусственного интеллекта и нейрокомпьютеры» на кафедре Вычислительной Техники ТРТУ. Теоретические и практические результаты работы использовались при проведении работ по теме «Разработка центра обработки вызовов ЦАСТ «АЛМАЗ» в ООО НПП «Спецстрой-Связь» г. Таганрог.

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих научно — технических конференциях и семинарах: Международной научно-технической конференции «Интеллектуальные многопроцессорные системы» (Таганрог 1999 г.), 5-ой международной конференции «Теория и техника передачи, приема и обработки информации» (Харьков 1999 г.), Всероссийской научно-технической конференции с международным участием «Компьютерные технологии в инженерной и управленческой деятельности» (Таганрог 1999 г., Таганрог 2000 г.), Международной научно-технической конференции и молодежной научной конференции «Интеллектуальные САПР» (Таганрог 2000 г.), 47-ой научно-технической конференции профессорско-преподавательского состава, аспирантов и сотрудников ТРТУ (Таганрог 2000 г.) — на научных семинарах кафедры ВТ ТРТУ.

Фрагменты работы представлялись: на конкурс научных работ «Нейрокибернетика, Нейроинформатика, Нейрокомпьютеры'98» (Ростов-на-Дону 1998) (призовое место) и на конкурс научно-исследовательских работ в области системных исследований, математического моделирования и геоэкологической безопасности среди молодых ученых Северного Кавказа (Таганрог 2000) (призовое место).

По теме диссертации опубликовано 10 печатных работ.

Структура и объем работы. Данная работа содержит введение, 4 раздела и заключение общим объемом в 116 страниц. В работе приведен графический материал в объеме 41 рисунка, размещено 8 таблиц, 110 наименований библиографий и 31 страница приложений.

В первом разделе работы описаны этапы развития искусственных нейронных сетей. Показана структурная модель биологического нейрона и приведен алгоритм ее функционирования. Описаны основные принципы построения искусственных нейросетей и их основные архитектурные решения. Показана суть процесса обучения нейросетей. Описаны основные парадигмы и правила обучения искусственных нейронных сетей. Показана необходимость комплексирования отдельных нейросетевых парадигм и предложены методы и способы достижения этой цели.

Во втором разделе описывается постановка задачи коллективного составления фоторобота несколькими свидетелями с его последующей идентификацией. Предложена методика ее решения, с использованием комплексированных нейросетей на основе нейросети Хопфилда и нейросети встречного распространения, а также совместно с методикой генетического программирования. Описаны результаты проведенных исследований предложенных нейропарадигм для решения данной задачи.

В третьем разделе предложена архитектура комплексированной нейросети, предназначенной для решения задачи прогнозирования данных. Приведены алгоритмы обучения предложенной нейросетевой архитектуры. Описаны результаты проведенных экспериментов по сравнению результатов прогноза полученных на стандартном многослойном перцептроне и предложенной нейроструктуре.

В четвертом разделе рассматриваются принципы построения классификатора речевых сообщений по их эмоциональной составляющей с использованием нейросетей. Приведены сравнительные характеристики работы такого классификатора с работой неадаптивного классификатора. Дана постановка задачи прогнозирования изменения уровня грунтовых вод. Описана.

11 структура и возможности разработанного программного комплекса для решения задачи прогнозирования изменения уровня грунтовых вод.

В заключении подводятся итоги и делаются выводы об основных научных и практических результатах достигнутых при выполнении данной работы.

4.4 Выводы.

В четвертой главе показана возможность использования разработанной комплексированной нейросети для классификации речевых сообщений по их эмоциональной составляющей. Результаты работы предложенного классификатора на основе нейросети превосходили результаты работы неадаптивного классификатора более чем на 30%.

При исследовании возможностей использования нейросетевого подхода было установлено, что совместное использование в качестве классификатора речевых сообщений нейросетей, классических методов обработки сигналов и алгоритмов неадаптивной классификации позволяют увеличить эффективность данного процесса.

Разработан и реализован программный комплекс «ОеоРогесазГ предназначенный для автоматизации процесса выдачи рекомендаций по использованию грунтовых вод (забор воды из скважин), на основе разработанной комплексированной нейросетевой структуры. Данный комплекс позволяет существенно ускорить процесс анализа результатов прогнозирования изменения уровня грунтовых вод для последующего принятия решений по возможностям их использования.

ЗАКЛЮЧЕНИЕ

.

В диссертационной работе были исследованы вопросы построения комплектированных нейросетевых структур, а также исследованы возможности их применения для решения прикладных задач. В результате проведенных исследований были получены следующие основные научные и практические результаты.

1. Предложена методика решения задачи составления коллективного фоторобота на основе генетических алгоритмов.

2. Исследована возможность использования нейросети встречного распространения для сжатия и восстановления графических данных. На основании проведенных экспериментов получены сравнительные характеристики данного метода относительно стандартных методов сжатия изображений.

3. Исследована возможность использования нейросети Хопфилда для идентификации изображений и выведены формулы для расчета количества выходных векторов в зависимости от вида базисного вектора.

4. Предложена общая структура комплекса средств на основе совместного использования различных нейросетевых парадигм и методов генетического программирования для решения задачи составления фоторобота человеческого лица с его последующей идентификацией из базы данных.

5. Предложена комплексированная нейросетевая структура для решения задач прогнозирования данных, способная улучшить качественные характеристики получаемого прогноза.

6. Полученные результаты экспериментов с синтезированной комплексированной нейросетью показывают, что качество результатов прогнозирования с использованием разработанной нейросетевой структурой улучшаются на треть по отношению к результатам прогнозирования, полученным с использованием стандартного многослойного перцептрона.

7. Предложено для классификатора речевых сообщений по их эмоциональной составляющей использовать комплексированную нейросеть. В ходе экспериментов установлено, что классификатор с использованием такой нейросети улучшает качество верного распознавания более чем на 30%. Также была установлена эффективность совместного использования нейросети и неадаптивного классификатора. Полученные в ходе работы результаты были использованы при проведении работ по теме «Разработка центра обработки вызовов ЦАСТ „“ АЛМАЗ» в ООО НПП «Спецстрой-Связь» города Таганрога.

8. На основе синтезированной комплексированной нейросети разработан программный комплекс прогнозирования изменения уровня грунтовых вод «СтеоРогесаэ!-», применяющийся в качестве одного из штатных средств в Департаменте Природных Ресурсов по Северо-Кавказскому Региону МПР РФ города Ессентуки. Полученные при этом статистические данные показывают положительное отличие скоростных и качественных характеристик прогнозирования при использовании данного пакета по сравнению со стандартными процедурами.