Условно-рефлекторное управление. К вопросу об управлении мобильным роботом в условиях общей постановки задачи

Одной из наиболее эффективных и простых моделей условно-рефлекторного поведения является вероятностный автомат [13]. Суть модели заключается в том, что оценивается реакция автомата на некоторое входной воздействие. Если реакция адекватна, то автомат «поощряется», иначе — «наказывается». Сигналы поощрения/наказания приводят к изменению структуры или параметров автомата.

Положим, что имеется устройство с N датчиками и M эффекторами (исполнительными механизмами). Таким образом, входной алфавит составляет X=2N сигналов, а выходной — Y=2M (при условии независимой отработки устройством каждого управляющего воздействия). При этом в отличие от [13], рассмотрим автомат с детерминированной матрицей переходов по всем 2N сигналам.

Действия автомат совершает в соответствии со стохастической матрицей P размером QЧXЧY, где Q — число состояний; X, Y — размерность входного и выходного алфавитов. Таким образом, находясь в некотором состоянии q (t) и приняв на входе сигнал x (t), автомат переходит в состояние q (t+1). При этом он совершает действие y, выбираемое из соответствующего вектора вероятностей — строки матрицы P:

y (t + 1) = F (x (t), q (t), P (t)),.

q (t + 1) = Q (x (t), q (t)).

Рис. 3. Стохастическая матрица действий

мобильный робот моделирование рефлекторный Реакция автомата на входное воздействие оценивается — автомат наказывается либо поощряется. Смысл реакции на сигнал наказания/поощрения заключается в изменении значений вероятностей выполняемых действий. Изменение вероятностей при поощрении (s = 0) и наказании (s = 1) выглядит так:

pij (t + 1, s (t)) = pij (t, s (t)) + (-1)s (t+1)gpij (t, s (t))[1 — pij (t, s (t))], (1).

pik (t + 1, s (t)) = pik (t, s (t)) — (-1)s (t+1)gpik (t, s (t))pij (t, s (t)), k j, 0g1,.

где g — параметр, определяющий скорость обучения. В этой связи с течением времени в ходе «дрессировки» автомат должен сформировать необходимые значения вероятностей действий.

Робот, управляемый вероятностным автоматом, считывает состояние датчиков и совершает очередное действие. Далее происходит проверка выполнения «слабого критерия» — видит ли он линию (например, хотя бы одним датчиком). Если робот после совершения движения по-прежнему находится на линии, то робот поощряется (вероятность этого действия для предыдущего состояния увеличивается), иначе — наказывается (вероятность уменьшается).

Эта весьма простая схема показывает достаточно устойчивые положительные результаты.

Особенностью применения слабых критериев является зависимость качества обучения от «чистоты» начальных обучающих условий. Здесь особенно важно начинать обучение в «комфортных» условиях, двигаясь от простого к сложному.

Рис. 4. Начальное положение робота на полигоне

На рис. 4, а показана ситуация наличия неудобного для обучения участка — развилки. В этом случае предпочтительнее начальная ориентация, указанная на рис. 4, б.

В дальнейшем по окончании обучения робот показывает стабильную работу и в реальных «загрязненных» условиях. Эти модельные «загрязненные» условия представлены на рис. 5.

Рис. 5. Один из обучающих «реальных» полигонов

На рисунке видно, что полоса полигона сильно изрезана. Это сделано специально в целях ускорения обучения, чтобы робот быстрее набрал представительную выборку обучающих примеров. При движении по такому сложному полигону комбинации входных сигналов от датчиков набираются достаточно быстро.

Подобный режим функционирования представляет собой процедуру обучения, в которой используется только наказание.

Обратим внимание на вопрос о поощрении/наказании в автоматной модели. Естественно, что при дрессировке обычно используется как наказание, так и поощрение. Рассмотренная схема обучения с подкреплением (модель «стимул-реакция») обладает рядом требований к балансу между актами поощрения/наказания.

В [5] показано, что теоретически при выработке условных рефлексов можно обойтись одними наказаниями (отсутствие наказания может и должно рассматриваться как поощрение). Однако отсутствие сигнала поощрения значительно увеличивает время обучения автомата.

Максимальная скорость обучения достигается при поощрении. Фактически, при определенных параметрах достаточно одного акта поощрения для окончания обучения. Но и без наказаний обойтись нельзя. Если только поощрять, то систему нельзя будет переучить (из-за вырождения векторов). Либо придется вводить функцию забывания (угасания рефлекса).

На рис. 6 приведен пример поведения вектора вероятностей из 4-х элементов. При поощрении за действие 2 значение соответствующей вероятности увеличивается за счет уменьшения вероятностей других действий, рис. 6, б. При наказании происходит обратный процесс, рис. 6, в.

а) б) в) Рис. 6. Реакция элементов вектора на сигналы поощрения-наказания.

а) — исходный вектор; б) распределение вероятностей при поощрении за действие 2; б) распределение вероятностей при наказании за действие 3;

Очевидно, что максимальная эффективность обучения достигается при комбинировании сигналов поощрения-наказания.