Обучение спайковых нейронных сетей на основе минимизации их энтропийных характеристик в задачах анализа, запоминания и адаптивной обработки пространственно-временной информации

Реальный биологический нейрон — сложнейшая биохимическая система [1], оперирующая с непрерывно поступающим многомерным потоком импульсов напряженияспайков. Последовательности спайков поступают на синапсы нейрона, при этом сам нейрон также генерирует на выходе последовательность спайков, которые распространяются по его выходному отростку — аксону. Если целью моделирования нейрона является изучение его реальной нейрофизиологии, то в модели приходится учитывать множество деталей работы нейрона (в том числе, динамику мембраны нейрона, как возбудимой динамической системы, пространственное устройство отростков нейрона и др.). Однако в рамках кибернетики и компьютерных наук, ориентированных на практические приложения, остро стоит вопрос о том, какие черты биологических нейронов позволяют решать нейронным сетям практически важные задачи (такие как задачи распознавания образов и задачи адаптивного управления), а какими свойствами реального биологического нейрона при моделировании можно пренебречь с целью построения быстрых и эффективных искусственных нейронных сетей. Также в настоящее время ведется множество дискуссий о так называемом вопросе «нейронного кода» [2]: какая характеристика потока спайков действительно несет полезную информацию, а что является лишь вспомогательным механизмом, служащим, например, для увеличения помехоустойчивости каналов связи между нейронами.

Исторически первыми кибернетическими моделями нейронов были упрощенные спайковые нейроны Мак-Каллока — Питса [3], называемые бинарными нейронами. Моделирование сети бинарных нейронов ведется в дискретном времени. На каждом шаге моделирования нейрон выдает бинарный сигнал: «1» — выходной спайк, «О» — нет спайка. Сумма бинарных сигналов от входных нейронов суммируется с некоторыми весами, и если взвешенная сумма преодолеет порог, то нейрон выдает выходной спайк. Одним из первых практическую реализацию алгоритма обучения сети бинарных нейронов предложил Ф. Розенблатт («персептрон») [4].

Дальнейшее развитие алгоритмов обучения нейронов и идеи устройства нейрона как нелинейного интегратора входных сигналов привело к созданию частотных моделей нейронов. Существуют экспериментальные подтверждения точки зрения, что в некоторых задачах, выполняемых реальными нейронами, значение имеет только частота спайков нейрона [5,6,2] (например, при первичной ассоциативной обработке сенсорных сигналов). Популярные частотные модели нейронов, базирующиеся на этой гипотезе, представляют нейрон как элемент, суммирующий частоты входных сигналов. Значение частоты нейрона представляется в виде числа, лежащего на каком-либо ограниченном интервале. Далее нейрон обрабатывает сумму сигналов (обычно с помощью нелинейной активационной функции) и выдает значение 4 своей выходной частоты, которое подается на входы других нейронов сети. Основным постулатом при обучении бинарных и частотных нейросетей считается идея Д. Хэбба [7]: если два события, А и В происходят одновременно, то связь между ними следует усилить, что приведет к созданию смысловой ассоциаций между событиями. Использование данного постулата позволило Дж. Хопфилду создать нейронные сети автоассоциативной памяти [8]. Однако наибольший рывок в теории обучения частотных нейросетей произошел после появления строгих математически обоснованных методов обучения частотных нейронов [9] (например, метода обратного распространения ошибки [10], основанного на минимизации целевой функции сети). Это позволило эффективно применять данные модели в разнообразных практических приложениях [11−13].

Моделирование бинарных и частотных нейронов обычно ведется в дискретном времени, при этом выход модели нейрона не зависит от истории сенсорных входов, а зависит только от текущих параметров модели (например, весов синапсов). Один такт обучения с помощью классической процедуры обратного распространения ошибки также выполняется только на основе сигналов на текущем такте времени. Эта важная особенность предполагает, что для успешного обучения и функционирования данные типы нейронов должны обладать необходимой информацией в каждый момент времени, и в оригинале они предназначены для обработки только пространственной информации. Однако в практических приложениях часто необходимо работать с информацией, имеющей явно выраженную временную составляющую, например, в задачах прогнозирования, распознавания движущихся объектов, адаптивного управления. Данные требования привели к созданию моделей частотных нейронных сетей, использующих различные способы перевода временной информации в пространственную, и в то же время способных обучаться с помощью проверенных методов градиентной минимизации весовых функций. Примером таких сетей является сеть с задержками [14], а также рекурсивные частотные сети, использующие процедуру обратного распространения ошибки во времени [15]. Кроме того, существуют успешные модифицированные модели частотных нейронов, использующие информацию о своем недавнем состоянии и описываемые в виде дифференциальных уравнений. Они также позволяют использовать временную структуру сигнала [16].

Параллельно с развитием частотного подхода в нейрофизиологии накапливались свидетельства, что, по крайней мере, некоторые нейронные структуры живых организмов для кодирования сигнала используют точное время прихода спайков [17,18]. В работах [19,20] показано, что скорость распознавания визуальных образов при обработке в многослойной зрительной системе животных не может быть обоснована в рамках частотных моделейнейроны просто не успеют накопить нужное количество спайков от предыдущих слоев для 5 получения значения входной частоты спайков и надежной обработки визуального стимула. В работе [21] показано, что даже один спайк нейрона может повлиять на дальнейшую работу сети. В работе [22] показано, что в некоторых структурах мозга происходит перекодирование информации из частотного во временной код. Огромный вклад в обоснование важности точных времен прихода спайков дало открытие в конце 90-х годов явления Spike Timing Dependent Plasticity [23] (STDP) — изменения весов синапса в зависимости от точного времени прихода входного спайка и времени генерации выходного спайка. Явление STDP является обобщением правила Хэбба: если событие, А произошло раньше события В, то связь между, А и В нужно усилить. Если же, А произошло позже В, то связь между, А и В нужно ослабить. При этом происходит создание причинно-следственных смысловых ассоциаций с учетом порядка возникновения событий во времени (в отличие от классического правила Хэбба, симметричного к временным взаимоотношениям между событиями). Обычно [1] вариабельностью амплитуды спайков и изменениями их временной продолжительности можно пренебречь и рассматривать поток спайков как последовательность идентичных событий, единственной характеристикой которых служит только время их появления в канале связи. Данные факты позволяют предположить, что обработка последовательностей спайков является одной из основных нейронных операций, выполняющихся в реальных нейронах живых организмов, а реальный нейрон способен выполнять полезные задачи по анализу многомерного входного потока импульсных сигналов. В работах [24, 2] было показано, что плотность кодирования информации (величина, которая характеризует соотношение количества информации в оригинальном сигнале и объема информации в паттерне в единицу времени) с помощью значений времен поступления спайков выше, чем при кодировании только с помощью частоты генерируемых нейроном импульсов.

Спайковый нейрон — это модель нейрона, оперирующая с непрерывно поступающим многомерным потоком спайков как с потоком точечных событий. Простейшей моделью спайкового нейрона является так называемая модель Integrate-and-Fire [25], описываемая дифференциальным уравнением первого порядка. Если напряжение в некоторый момент времени пересекает установленный порог u (tk) = Th, то говорится, что нейрон сгенерировал спайк в момент времени, а значение напряжения сбрасывается до некоторой величины, называемой рефрактерным значением напряжения: и <�— игф. Дифференциальное уравнение для напряжения на мембране нейрона имеет вид: где и — напряжение на мембране нейрона, С — временная константа, — веса входных синапсов нейрона, /у — времена входных спайков на гтом входном канале, I?" 1 -времена выходных спайков нейрона, Тк, игфпорог и рефракторное значение напряжения. Первое слагаемое в правой части уравнения стремится вернуть напряжение на мембране к нулевому значению. Второе слагаемое моделирует ударные воздействия на напряжение на мембране, инициируемые входными спайками. Каждый входной спайк в момент скачком изменяет напряжение на мембране на величину. Для того чтобы значение напряжения после выходного спайка стало равно и,.ф, нужно скачком изменить напряжение на величину игф — и. Значение игф обычно выбирается отрицательным, чтобы затруднить генерацию большого числа повторных спайков (явление «рефрактерности»).

Существует множество модификаций модели Ме§ га1е-апс1-:Пге. Например, квадратичная модель ((^Ш) [26], описываемая уравнением: игся1)(и — ис) + +1{и,.ф — и) д (1 — /?" '), ] к где иге5(, ис — некоторые константы, а остальные обозначения аналогичны применявшимся в уравнении (1).

В общем случае, каждый входной спайк приводит к отклику нейрона как динамической системы на импульсное входное воздействие. Эти отклики называются постсинаптическими потенциалами и меняют потенциал мембраны нейрона во времени. Обозначим набор переменных состояния нейрона, тогда факт генерации выходного спайка в общем случае определяется выполнением некоторого условия 8{у (^У) = 1гие. После генерации выходного спайка состояние нейрона у (1) меняется, что также может быть описано как отклик нейрона на импульсное воздействие (явление «рефрактерности»). Примером более сложной модели спайкового нейрона является так называемая модель Е. М. Ижикевича [27], способная наиболее реалистично моделировать динамику биологического нейрона. Эволюция состояния описывается двумя дифференциальными уравнениями: = 0.04у2 + 5у +140 — и + /({/}}) + £(с ;

Ж к ш к где — параметры состояния, /({/у}) — внешний входной ток от входных времен спайков {Гу} , — времена выходных спайков нейрона, а, Ь, с, с1 — некоторые константы. Условие генерации выходного спайка: V > ЗОмВ. Числовые константы подобраны так, чтобы как можно проще моделировать динамику различных типов биологических нейронов с помощью настройки.

Как и бинарные модели нейронов, спайковый нейрон интегрирует несколько входных сигналов с некоторыми весами и способен генерировать выходные спайки на единственном выходном канале, идущие на входные синапсы других нейронов. Однако, в отличие от бинарных и частотных моделей, в спайковом нейроне ведется интегрирование не только пространственной, но и временной информации: входной спайк, пришедший в момент времени^, может заставить нейрон сгенерировать выходной спайк в момент времени ^ + А/. Таким образом, сама модель спайкового нейрона уже явно учитывает временные соотношения между входными сигналами и не требует создания дополнительных приспособлений для преобразования временной информации в пространственную. Явное использование временных характеристик для представления информации позволяет предположить, что спайковые нейронные сети естественным образом подходят для решения задач с явной временной составляющей. Например, они могут быть использованы для распознавания объектов в нестационарных потоках информации, предсказания, адаптивного управления нестационарными системами (например, виртуальными агентами или роботами). Одним из ярких примеров применения спайковых нейронных сетей в важной практической задаче распознавания лиц служат продукты компании 8р1ке№ 1 Показано, что использование временного кодирования многократно уменьшает требования к объему памяти и вычислительных ресурсов, требуемых для распознавания лиц многослойными сетями.

Заметим, что гипотеза о кодировании с помощью времен спайков не отвергает наличие частотного кодирования в различных отделах мозга (наряду с возможностью других видов кодирования, например, с помощью фазы импульсации нейрона относительно базовых осцилляций в мозге [29, 30]), а исследования в области обработки спайков дополняют исследования в области частотных нейронов. Более того, в работе [31] обосновано утверждение, что различные способы осреднения активности спайковых нейронов приводят к частотным и бинарным моделям нейронов.

Преимущества спайковых нейронов.

Использование спайковых нейронных сетей в практических приложениях приобретает все большую актуальность в связи со следующими их преимуществами. 1. Возможность обработки временной составляющей сигналов одним нейроном.

Использование времен спайков как основной информационной составляющей сигнала позволяет естественным образом обрабатывать временную потоковую информацию в таких задачах, как прогнозирование, распознавание быстро движущихся объектов, управление [32,33]. В «классических» частотных нейронных сетях обычно применяются модели (бинарный нейрон, сигмоидальный нейрон), состояние которых зависит только от текущих значений входов — пространственной составляющей входной информации Рис. 1 (слева). л:

-.

К гЧ" * г (0 = /(У>д-,(0).

Выход — непрерывная величина на основе входов на текущем шаге а.

А / ч ч. ч 1 л v ;

V.: У'. а ск.

ДО = Л ДОН У О).

Состояние у (О определяется историей входов.

Есдп5(у (0) ~ ггие. то выходной спайк в момент г.

Рис. 1. Пространственно временная обработка информации «классическим» частотным нейроном (слева) и спайковым нейроном (справа).

Для обработки временной составляющей информации применяются дополнительные структурные механизмы (рекурсивные связи, линии задержек), которые переводят временную составляющую в пространственную. Напротив, изменение состояния спайкового нейрона описывается дифференциальными уравнениями. Спайковый нейрон реагирует на историю сенсорных входов. Это позволяет использовать кратковременную память отдельных нейронов без введения дополнительных структур обработки временной составляющей. Следовательно, такие задачи могут быть решены более простыми нейронными сетями с меньшим количеством связей.

2. Преимущества реализации на высокопараллельных вычислительных машинах.

Дальнейшее развитие вычислительной техники связывают с ростом степени параллелизма вычислений. В частности, перспективным является создание нейрокомпьютеров [34, 35] -высокопараллельных вычислительных машин, использующих бионические принципы нейросетей живых организмов. Однако с ростом количества вычислительных узлов количество связей между ними экспоненциально возрастает. При использовании моделей частотных нейронов, общающихся с помощью числовых сигналов (например, сигмоидальных нейронов), пропускная способность связи между элементами должна быть достаточной, чтобы с приемлемой точностью передать значение входного сигнала. При этом распространение сигналов происходит на каждом шаге вычислений. При функционировании моделей многослойных частотных сетей требуется пошаговая синхронизация элементов для корректного распространения сигнала и ошибки по слоям сети. Напротив, для передачи спайка между узлами высокопараллельной вычислительной машины (нейрокомпьютера) требуется передать всего 1 бит информации, что не налагает на связи ограничений типа минимальной емкости (Рис. 2). у (0 = /(1>л (0).

Д5Ч0) + У «Д'->-')) г >

Рис. 2. Качественное сравнение реализации нейрокомпьютера на частотных (слева) и спайковых (справа) искусственных нейронах.

Спайки возникают сравнительно редко, и не требуется передавать сигналы каждый шаг вычислений. Для спайковых нейронов не требуется синхронизация. Данные особенности значительно уменьшают сложность архитектуры и размеры нейрокомпьютеров, понижают энергопотребление, необходимое на распространение сигналов [36]. Это позволит использовать нейрокомпьютеры на основе спайковых нейронов в компактных устройствах, в том числе, в микрои нанотехнике.

3. Повышенные вычислительные возможности спайковых нейронов.

Хотя спайковые нейроны напоминают по форме сигнала (есть спайк/нет спайка) бинарные модели нейронов Мак-Каллока — Питса, спайковые нейроны способны обрабатывать непрерывные величины наравне с частотными моделями. При этом непрерывная величина кодируются длиной интервалов между спайками. В работах [2, 24] показано, что спайковые нейроны способны решать задачи частотных и бинарных нейросетей, включая задачи интерполяции непрерывных функций.

Для решения задачи нелинейной классификации (типа «исключающего ИЛИ») требуется более одного слоя бинарных или частотных нейронов. В работе [37] показано, что спайковые нейронные сети только из одного слоя способны решать некоторые задачи нелинейной классификации, тем самым уменьшая количество элементов и связей, требующихся для решения таких задач.

Обучение спайковых нейронов может происходить одновременно с их функционированием (по аналогии с биологическими нейронами). Следовательно, процесс использования спайковых сетей в практических приложениях менее трудоемок — нет нужды разбивать процесс на стадии обучения и непосредственно функционирования.

4. Близость спайковых моделей к реальным нейронам живых организмов.

Большая близость спайковых моделей к биологическим нейронам позволяет напрямую использовать бионические принципы при решении практических задач. И наоборот, становится возможным сверять полученные при исследованиях спайковых искусственных нейронов результатов с явлениями, наблюдающимися в биосистеме, реализующей ту же функцию. Знания, полученные из исследований спайковых моделей, помогают развивать знания о мозге человека.

Однако в настоящее время использование спайковых нейронных сетей ограничено в связи с недостаточно развитым математическим аппаратом их обучения. В основном используются разнообразные эвристические правила обучения спайковых нейронов, не гарантирующие решения поставленных задач. Построение методов обучения спайковых нейронов, унификация описания различных видов обучения нейронов в рамках единого математического аппарата — актуальная теоретическая задача. Ее решение позволит разработать новые и усовершенствовать существующие методы и средства анализа обработки информации и управления сложными системами, повышения эффективности, надежности и качества их работы. Построение самообучающихся спайковых нейронных сетей, способных детектировать и запоминать пространственно-временную информацию, управлять различными нестационарными объектами, в том числе, при возникновении неисправностей в активаторах и сенсорах объекта — актуальная практическая задача. Эта задача отвечает потребностям ряда связанных с информационными технологиями отраслей: робототехники, космической техники, разработки систем безопасности.

Существующие методы обучения спайковых нейронов Сильные отличия моделей спайковых нейронов от частотных моделей, связанные с учетом эволюции внутреннего состояния нейрона во времени и сенсорной истории сигналов при их обработке, осложняют распространение на них проверенных, математически обоснованных методов обучения частотных и бинарных нейронов (например, метода обратного распространения ошибки). Большинство правил обучения основываются на экспериментально полученных нейрофизиологических явлениях (различные вариации STDP) и не имеют строгой математической трактовки (хотя являются достаточно эффективными в приложениях) [38−40]. В некоторых работах спайковые нейронные сети используются только как нестационарные системы управления или распознавания без механизмов обучения [41, 42]. Также популярным является использование генетических алгоритмов [43 — 45], доказавших свою эффективность на других моделях нейронных сетей [46, 47].

Ряд исследователей выражает мнение, что при наличии надежных и эффективных механизмов обучения спайковых нейронных сетей, они найдут широкое применение в практических приложениях [37, 24]. Основным путем получения надежных и математически обоснованных правил обучения в частотных нейронных сетях является постановка практических задач в терминах оптимизации значений некоторых целевых функций от входов и выходов сети. Однако ярко выраженная разрывность процесса работы спайкового нейрона в моменты возникновения спайков затрудняет построение непрерывных оценочных функций активности нейрона, на минимизации которых можно построить надежные методы их обучения. Существуют правила обучения SpikeProp [48], построенные на минимизации разницы времен между выходным и требуемым спайком Integrate-and-Fire нейрона:

— tf)2 —> min. Однако такая целевая функция терпит разрывы при непрерывном к изменении весов. Например, при плавном повышении весов неактивного нейрона он начинает генерировать выходные спайки при превышении порога значением напряжения на мембране, а значение целевой функции скачкообразно меняется. Для решения этой проблемы для данного правила обучения предложены различные эвристики.

Введение

шума [31] в процесс генерации спайков позволяет исследовать зависимость вероятности генерации набора спайков как непрерывной функции весов нейрона. Это свойство используется для построения целевых функций. Шум (стохастическая составляющая) часто вводится в модель нейрона в виде так называемого стохастического порога. При детерминированном механизме генерации спайков считается, что спайк всегда возникает при выполнении каких-либо условий (например, при пересечении напряжением на мембране нейрона некоторой пороговой величины). При стохастическом пороге существует ненулевая вероятность генерации спайка, если данное условие не выполнено. Причем значение вероятности непрерывно меняется от параметров состояния нейронов. Например, вероятность спайка может возрастать по нелинейному закону при приближении напряжения мембраны нейрона к пороговой величине.

Введение

шума в спайковые модели оправдано, так как в.

12 реальном нейроне существует большое количество источников шумовых воздействий, например, тепловой шум, вероятностная передача входных спайков на синапсах и др.

В работе [49] было предложено использовать логарифм вероятности генерации требуемого выходного спайка в качестве оценочной функции для минимизации в задаче обучения с учителем нейрона Spike Response Model [31]. Показано, что правила изменения весов, полученные минимизацией этой оценочной функции с помощью метода градиентного спуска, напоминают явление STDP. Далее в работе [50] было предложено использовать минимизацию полной энтропии нейрона для получения оптимальной формы STDP, однако предложенный точный алгоритм минимизации был слишком трудоемок для реализации в моделях спайковых сетей. В работе [51] предложена процедура самообучения с помощью максимизации передаваемой нейроном информации в процессе сжатия многомерного входного спайкового паттерна в одномерную последовательность спайков. Во всех описанных методах использовалась процедура градиентной минимизации целевых функций работы нейрона. Предложенные методы демонстрируют, что использование информационных характеристик спайкового нейрона в качестве целевых функций для минимизации позволяет математически строго формулировать разнообразные задачи его обучения. В данной работе развивается подход к обучению спайкового нейрона на основе изменения энтропийных характеристик его работы. В частности, делается попытка формализовать три вида обучения для спайкового нейрона (обучение с учителем, самообучение, обучение с подкреплением) с общей точки зрения предлагаемого энтропийного подхода. Вопрос о том, какие черты реальных нейронов действительно важны для практических приложений, все еще остается открытым. В связи с этим формализация процессов обучения в диссертации практически всегда ведется с точки зрения «обобщенной» модели нейрона, то есть без учета внутреннего устройства интегратора входов и механизма генерации спайков. При этом преследуется цель использовать полученные методы обучения не только для простейших моделей спайковых нейронов, но и для биологически правдоподобных моделей различной сложности.

Цель диссертационной работы заключается в создании методов обучения спайковых нейронных сетей, использующихся для адаптивной обработки и запоминания многомерной потоковой пространственно-временной информации и предназначенных для решения задач распознавания и управления различными объектами, в том числе, в меняющейся внешней среде.

Научная новизна работы:

1. На базе известной модели спайкового нейрона Spike Response Model (SRM) со стохастическим порогом создана оригинальная модель нейрона — SMRM, позволяющая гибко реагировать на пространственную и временную структуру входного спайкового потока. Построенная модель отличается специальным набором функций отклика на единичный спайк («альфа-функции»), реализующих настраиваемый по амплитуде и задержке отклик нейрона на входные спайки на каждом синапсе нейрона.

2. Для спайкового нейрона впервые формализован процесс обучения с учителем как процесс снижения частной условной информационной энтропии, при условии, что требуемый учителем паттерн представлен в виде набора обучающих спайков. Практически значимая задача обучения с учителем по обнаружению определенного пространственно-временного спайкового паттерна впервые решена с помощью всего одного нейрона БМИМ и метода снижения частной информационной энтропии. Впервые получены графики снижения частной энтропии.

3. Разработана оригинальная система временной автоассоциативной памяти, состоящая из сети взаимодействующих спайковых нейронов. Эта система использует полученные правила обучения с учителем и способна запомнить несколько спайковых паттернов и в дальнейшем восстановить их, развернув во времени, при предъявлении только начального участка паттерна.

4. Построен оригинальный метод самообучения спайкового нейрона, позволяющий успешно решать в реальном времени задачу увеличения устойчивости процесса генерации наиболее вероятного выходного паттерна путем снижения полной собственной энтропии нейрона. Впервые проведены опыты по самообучению с моделью нейрона БМИМ, получены графики снижения полной энтропии в процессе обучения. Показано, что после обучения процесс генерации наиболее вероятного выходного паттерна достигает большой степени устойчивости, а менее вероятные выходные паттерны перестают генерироваться практически полностью.

5. Впервые показано, что существующий метод обучения с подкреплением спайковых нейронов, основанный на прямой градиентной максимизации получаемого подкрепления, может быть реализован в рамках теоретико-информационного подхода к обучению. Впервые показано, что двухслойная спайковая нейронная сеть способна реализовывать поставленную задачу управления при недостатке пространственной информации, активно используя временную структуру сенсорных спайковых паттернов и внутреннюю активность сети. Произведены эксперименты с меняющейся внешней для сети средой, а также оригинальный эксперимент с подменой управляемого объекта. Показано, что одна и та же спайковая нейронная сеть способна управлять различными объектами, в том числе, при возникновении неисправностей в активаторах и сенсорах объекта и внезапных изменениях во внешней среде объекта.

Основные положения, выносимые на защиту:

1. Созданная модель спайкового нейрона SMRM со стохастическим порогом и несколькими функциями отклика нейрона на входные спайки способна более гибко реагировать на пространственную и временную структуру входного спайкового потока, чем известная модель спайкового нейрона Spike Response Model.

2. Для обобщенного спайкового нейрона формализован процесс обучения с учителем как процесс снижения частной условной информационной энтропии, при условии, что требуемый учителем паттерн представлен в виде набора обучающих спайков.

3. Разработана система временной автоассоциативной памяти, состоящая из сети взаимодействующих спайковых нейронов и использующая полученные правила обучения с учителем. Эта система способна запомнить несколько спайковых паттернов и в дальнейшем восстановить их, развернув во времени, при предъявлении только начального участка паттерна.

4. Построен метод самообучения, увеличивающий устойчивость процесса генерации наиболее вероятного выходного паттерна спайкового нейрона. Метод основан на анализе распределения вероятностей на пространстве выходных паттернов нейрона и учете свойства иерархической аддитивности полной энтропии нейрона.

5. Получены правила обучения спайкового нейрона SMRM с подкреплением. Правила основаны на методе прямой градиентной максимизации получаемого подкрепления.

6. Показано, что одна и та же спайковая нейронная сеть, использующая полученные правила обучения с подкреплением, способна управлять объектами различного типа, в том числе, при возникновении неисправностей в активаторах и сенсорах объекта и внезапных изменениях во внешней среде объекта.

Апробация работы. Основные результаты диссертационной работы докладывались: на 11-ой национальной конференции по искусственному интеллекту с международным участием (КИИ-2008) (Дубна, 2008) — на 2-ой российской мультиконференции по проблемам управления: 5-ой научной конференции «Управление и информационные технологии» (Санкт-Петербург, 2008) — на V-ой международной научно-практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» (Коломна, 2009) — на XI и XII всероссийских научно-технических конференциях «Нейроинформатика» (Москва, 2009, 2010) — на Тайваньско-Российском двухстороннем симпозиуме по проблемам современной механики 2010, МГУ им. М. В. Ломоносова (Москва, 2010) — на 12-ом заседании Московского семинара под рук. академика А. Л. Микаэляна «Нейроинформатика и когнитивные исследования» (Москва, 2010) — на 21-ом заседании семинара отдела программирования и объединенного семинара по робототехническим системам ИПМ им. М. В. Келдыша РАН, МГУ им. М. В. Ломоносова, МГТУ им. Н. Э. Баумана, ИНОТиИ РГГУ (Москва, 2010) — на семинаре «Динамика относительного движения» МГУ им. М. В. Ломоносова (Москва, 2010) — на семинаре ЦОНТ НИИСИ РАН (Москва, 2011).

Структура и объём диссертации. Диссертация состоит из введения, четырех глав, двух приложений и заключения 149 страниц машинописного текста, включая 55 иллюстраций и список литературы из 115-х наименований.

Заключение

.

Для достижения поставленных целей были проанализированы существующие модели спайковых нейронов и правила их обучения. В результате выделения основных черт существующих моделей была введена обобщенная стохастическая модель нейрона, оперирующая с многомерными спайковыми паттернами. Предложено ставить задачи обучения в терминах теории информации. В частности, на основе общего подхода минимизации различных энтропийных характеристик функционирования спайкового нейрона были разработаны правила изменения весов в задаче обучения с учителем, самообучения и обучения с подкреплением.

Работоспособность полученных правил обучения была проверена на ряде тестовых задач с использованием разработанной модели спайкового нейрона Spike Multi Responses Model (SMRM) со специальным. набором альфа-функций на каждом входном синапсе и стохастическим порогом. Данная модель позволяет гибко реагировать на пространственную и временную структуру входного спайкового потока. Эксперименты проводились с использованием разработанного диссертантом программного обеспечения.

Процесс обучения с учителем формализован как задача минимизации частной информационной энтропии нейрона. Полученные правила обучения протестированы в задаче детектирования пространственно-временного спайкового паттерна. После обучения нейрон способен детектировать конкретный паттерн в зашумленном импульсном потоке, реагируя не только на количество спайков в паттерне, но и на их взаимное расположение во времени. Построены графики снижения частной энтропии, произведен выбор оптимальных параметров альфа-функций нейрона SMRM для задачи детектирования паттерна. Выбор полученных параметров способствует высокой средней скорости обучения детектирования паттернов с различной временной структурой.

В рамках цели данной работы на основе полученных правил обучения нейрона были разработаны динамические спайковые нейронные сети автоассоциативной памяти, служащие для обработки и запоминания многомерной потоковой информации. Работа автоассоциативной памяти протестирована в нескольких тестовых задачах запоминания, в частности в задаче запоминания процесса рисования двух тестовых картинок на экране 8×15 пикселей. В результате сеть обучилась предсказывать (восстанавливать) движение виртуального карандаша художника на основе первого штриха из всего двух-трех пикселей.

Процесс самообучения нейрона с целью увеличения устойчивости процесса генерации наиболее вероятного выходного паттерна (или снижения неопределенности генерации.

126 выходного паттерна) поставлен в виде задачи минимизации полной информационной энтропии нейрона на всем пространстве выходных паттернов. Получен оригинальный алгоритм самообучения, позволяющий успешно решать поставленную задачу только на основе информации о собственных входах и выходах нейрона в процессе работы в реальном времени. Проведены опыты с моделью нейрона БМЯМ, построены графики снижения полной энтропии в процессе обучения. Показано, что после обучения процесс генерации наиболее вероятного выходного паттерна достигает большой степени устойчивости, а менее вероятные выходные паттерны перестают генерироваться практически полностью. Разработан оригинальный комплексный подход для ускорения обучения спайкового нейрона с учителем, использующий полученный алгоритм самообучения. Рассмотрен пример использования комплексного подхода для модели спайкового нейрона в тестовой задаче соблюдения задержки между входным и выходным спайком.

Процесс обучения с подкреплением для спайкового нейрона формализован в виде модулированного подкреплением изменения весов по направлению свертки плотности градиента информационной энтропии с экспоненциальным фильтром, реализующим забывание сенсорной истории. При положительном подкреплении происходит уменьшение частной энтропии недавно сгенерированного выходного паттерна (максимизация его вероятности), а при отрицательном подкреплении — увеличение его частной энтропии.

В рамках цели данной работы на основе полученных правил обучения нейрона были разработаны универсальные сети для управления динамическими объектами. Управляющие спайковые нейронные сети протестированы в нескольких модельных задачах управления. С помощью одной и той же сети реализовано управление интеллектуальным агентом в дискретной среде и управление моделью робота-футболиста. Исследованы различные конфигурации управляющих сетей. В частности, впервые показано, что при недостатке пространственной информации двухслойная спайковая нейронная сеть способна реализовывать поставленную задачу управления, активно используя временную структуру сенсорных спайковых паттернов. Показано, что одна и та же спайковая нейронная сеть, использующая полученные правила обучения с подкреплением, способна управлять объектами различного типа, в том числе, при возникновении неисправностей в активаторах и сенсорах объекта и внезапных изменениях во внешней среде объекта.