Обучение динамического нейрона

В процессе обучения биологические нейроны изменяют свою чувствительность к входящим спайкам на разных синапсах, в большей степени реагируя (т.е. испуская спайки) на одну совокупность входов и в меньшей на другую. Было замечено, что количество выпускаемого медиатора в синапсе, а также чувствительность постсинаптического участка изменяется в зависимости от истории спайков преи постсинаптического объектов [3], [8]. В моделировании нейронов принято сводить процессы обучения нейрона к изменению весов синапсов .

В нашей модели примем, что каждый медиатор, выделяющийся в j-том синапсе, имеет свой вес, тогда вклад отдельного медиатора в изменение потенциала в момент времени t можно представить в виде. Вклад отдельного спайка на синапсе равен сумме вкладов всех медиаторов синапса.

.

где — количество медиаторов в дендрите. Дендрит, содержащий синапсы с динамическими медиаторами будем называть динамическим дендритом. Процесс дендритной обработки сигнала динамическим дендритом заключается в суммировании вкладов в потенциал от всех синапсов.

Поставим задачу обучения нейрона с учителем. Пусть на синапсы нейрона приходит совокупность входных последовательностей. Задачей нейрона будет в процессе поступления последовательностигенерировать последовательность .

Для оценки исполнения задачи обучения и влияния входа на выход нейрона будем использовать понятие информационной энтропии по мере Хартли. Дифференциальная энтропия отдельной непрерывной случайной величины определяется через логарифм распределения плотности вероятностей данной величины.

.

Условная дифференциальная энтропия основана на условном распределении вероятности случайной величины при условии, что событие произошло.

Для успешно обученного динамического нейрона поступление на вход последовательности спайков должно запускать генерацию последовательности спайков, т. е. неопределенность и произвольность выхода нейрона должна сниматься приходом сигнала. Условная дифференциальная энтропия служит мерой остаточной неопределенности после прихода. Таким образом, в нашем случае:

(3.1).

На основе этих рассуждений введем следующий постулат: «Динамический нейрон должен минимизировать условную дифференциальную энтропию в точке при условии прихода сигнала «:

(3.2).

Для вывода правила изменения весов рассмотрим упрощенную задачу обучения. Пусть нейрон имеет один динамический дендрит. Пусть также на этом дендрите содержится всего один синапс, на который в нулевой момент времени поступает входной спайк. Тогда.

.

Задача нейрона — выстрелить в заданный момент времени и не выстреливать в моменты времени, т. е.

.

Пусть нейрон не выдавал спайков до момента обучения и членами в уравнении (1.1) для потенциала нейрона можно пренебречь. Функцию потенциала в таком случае можно представить в виде:

(3.3).

Плотность вероятности генерации спайка в нужный момент времени выражается из (2.2):

(3.4).

Будем минимизировать энтропию, изменяя значения веса синапса. Для этого воспользуемся градиентным методом наискорейшего спуска. Найдем производную функции по весам медиаторов в синапсе, используя (3.3) и свойства производной сигмоида:

(3.5).

Степень стохастичности нейрона можно изменить, меняя параметр в функции для стохастического порога. Если рассматривать нейрон с малой зашумленностью порога при близком к нулю, можно значительно упростить итоговое выражение для изменения весов. Действительно, пусть, где — малая величина. Обучение продолжается, если нейрон не выдает спайк в нужное время, т. е. меньше порогового значения. Следовательно, приблизительно можно считать, что.

.

Допустим, нейрон выдал спайки в нежелательный промежуток времени. Назовем эти спайки ложными и обозначим их времена.

.

где — количество ложных спайков. При малом параметре производная сигмоида становится близкой по поведению к дельта-функции. Таким образом, во втором слагаемом (3.5) интегрирование по отрезку приблизительно можно заменить суммой значений функции во время ложных спайков. Используя эти рассуждения, получим:

(3.6).

А итоговое правило для изменения весаго медиатора методом градиентного спуска примет вид:

. (3.7).

где — коэффициент, характеризующий скорость обучения.

Таким образом, логика работы обучающего алгоритма будет следующей. В момент на синапс подается входной спайк. Далее, если нейрон сам выдаст спайк до времени, этот спайк будет ложным, и веса будут изменены по правилу.

.

То же самое выполнится и при следующем ложном спайке, если он произойдет. В момент времени нейрон может выдать спайк. В этом случае обучение не нужно, нейрон справляется с поставленной задачей. Если же его потенциал будет ниже порога в желаемый момент времени, то веса будут изменены по правилу.

.

Во время ложных спайков нейрон «разобучается» только на основе локально доступной ему информации (информации о своем спайке). В момент времени нейрон не способен понять, что требуется изменить веса, т.к. не владеет информацией учителя о желаемом моменте времени. Поэтому можно сказать, что при учитель заставляет нейрон изменить веса. На основе данного наблюдения расширим модель динамического нейрона и введем новый тип дендрита, который назовем «обучающим дендритом». При упрощенном опыте по обучению нейрона реагировать на одиночный спайк своим одиночным спайком введенный обучающий дендрит нейрона будет соединен одним синапсом с учителем. Учитель будет выдавать спайк в желаемый момент времени .

Описанные выше правила можно обобщить на непрерывный процесс обучения и функционирования динамического нейрона. При разбиении процесса обучения на последовательность условных тактов входной спайк на динамическом синапсе приходит в начале каждого такта — в момент, а правила обучения основаны на разности времен прихода входного и ложного (или обучающего) спайка. Тогда, если входные спайки приходят в произвольные моменты времени,.

(3.8).

где — количество всех входящих спайков на динамическом синапсе, — количество всех обучающих спайков на обучающем дендрите, — количество спайков, сгенерированных нейроном самостоятельно.

Графики изменения весов в зависимости от разницы времен одного входящего и одного исходящего спайка представлены на рисунке Рис. 3a. Заметим, что правило изменения было выведено, только исходя из модели динамического нейрона и поставленной задачи обучения. Своеобразным доказательством правильности выбранного пути рассуждений служат результаты опытов на реальных нейронах. Было замечено, что изменения количества выбрасываемого медиатора в синапсе (аналогично изменению веса синапса) зависит от разницы во времени между моментами появления входного спайка на синапсе и исходящего спайка нейрона.

Это явление было названо Spike Timing Dependent Plasticity (STDP) [9]. На Рис. 3bприведено графическое изображение результатов этих опытов, на котором можно отметить их значительное сходство с полученной нами графической зависимостью изменения весов по правилу (3.8).

.

Рис. 3 a) Экспериментально полученная кривая STDP [9],

b) Смоделированные функции синаптической пластичности для разных медиаторов.