Построение функционального оператора как задача распознавания образов

Распознавание образов является одной из форм обработки информации, поступающей от системы или объекта. Задача распознавания состоит в сравнении признаков изучаемого объекта с ранее известными и отнесении объекта к одному из классов (т. е. в классификации). Классы характеризуются тем, что принадлежащие им объекты обладают некоторой общностью (сходством), папример характеризуются одинаковой структурой функционального оператора. То общее, что объединяет объекты в класс, принято называть образом. К задаче построения математического описания объекта или системы с точки зрения проблемы распознавания образов можно подходить двояко. Один из подходов заключается в том, что в качестве образа, который необходимо опознать, выступает сам функциональный оператор ФХС. С другой стороны, вместо функционального оператора Ф строится кибернетическое распознающее устройство, которое прогнозирует поведение системы так же, как это делал бы соответствующий функциональный оператор.

Эффективность решения задачи распознавания в конечном счете определяется тем, насколько эффективно организовано обучение распознающего устройства процедуре классификации. Поэтому основное внимание в проблеме распознавания образов уделяется задаче обучения распознаванию.

Постановка задачи. Формулируя задачу обучения, обычно полагают, что существует идеальное правило классификации, согласно которому объекты делятся на классы. Иногда его называют правилом учителя. Необходимо построить такое правило, с помощью которого после наблюдения над действиями учителя можно было бы классифицировать объекты примерно так же, как и учитель (6).

При формализации этой задачи каждому из объектов ставится в соответствие точка или вектор х=(ж₁, х₂,.. ., я_я) в я-мерном евклидовом пространстве Е_п. Векторы х, поступающие для распознавания, возникают случайно и независимо согласно некоторому распределению с плотностью вероятностей р (я) и делятся на К классов. Идеальное правило классификации формализуется в виде оператора учителя Ф₀, осуществляющего вырожденное отображение Ф₀: Е_п -+ К. Задача состоит в том, чтобы, наблюдая некоторое число пар «объект х — его классификация Ф₀х» построить оператор Ф*, близкий в определенном смысле к идеальному оператору Ф₀. Поясним понятие близости. Оператор Ф* ищется в некотором классе операторов G, причем оператор учителя Ф₀ может принадлежать или не принадлежать классу G. Определим ошибку классификации как норму разности Д=||Ф*х—Ф₀х11. Будем полагать, что на множестве {х, Фх} существует вероятностная мера и ошибка классификации Д, определенная на этом множестве, является измеримой функцией. Понятие близости Ф₀ и Ф* определяется в узком и широком смысле.

1. Пусть Ф₀ 6 G- Говорят, что оператор Ф* близок к оператору Ф₀ в узком смысле, если.

2. Пусть Ф₀?(г. В этом случае определяется проекция оператора Ф₀ на G как оператор Ф*=ПрФ₀, па котором достигается нижняя грань меры уклонения.

Говорят, что оператор Ф близок к оператору Ф₀ в широком смысле, если.

Задача обучения распознаванию образов близка к задачам экстраполяции и аппроксимации: строится оператор, который после некоторого числа показов вектора х правильно опознает новые объекты, не появлявшиеся ранее в процессе обучения.

Важным фактором, определяющим реализуемость обучающегося устройства, является емкость класса операторов G. Устройства с ограниченной емкостью класса операторов выбирают нужный оператор независимо от вида р (х), и для них заранее можно оценить длину обучающей последовательности (61. При неограниченной емкости класса G нужный оператор найдется только при благоприятной функции р (х). В этом случае до начала обучения нельзя определить ни длины обучающей последовательности, пи вероятности выбора нужного оператора. .

Конкретизируем постановку задачи и сформулируем алгоритм ее решения для случая, когда множество векторов х делится на два класса А и В (случай дихотомии). К дихотомии последовательно сводится и общий случай, когда число классов превышает два. Оператор классификации Ф₀ задается с помощью разделяющей функции / (х), принимающей значения противоположных знаков А и В (7),.

В вероятностной постановке задачи под / (х) можно понимать вероятность или степень достоверности принадлежности образа к классу А, а под (1—/) — степень достоверности принадлежности образа к классу В. Класс аппроксимирующих функций зададим в виде Фх=/ (х, а), где, а — вектор неизвестных коэффициентов. Согласно структуре выражении (2.11) п (2.12), построим функционал, минимизацией которого достигается решение задачи в виде математического ожидания меры уклонения:

Здесь F (•) — некоторая выпуклая функция; минимум функционала достигается при оптимальном наборе коэффициентов а=а*.

Рассматривается ситуация, когда плотность вероятности р (х), а следовательно, и математическое ожидание (2.14) заранее неизвестны. Поэтому для определения а=а* остается воспользоваться отдельными реализациями, получаемыми при показе векторов х, и соответствующими алгоритмами адаптации. Класс аппроксимирующих функций / (х, а) обычно задается в виде конечной суммы [4]:

где ф (х)=(• • •" уи)^т a=(ai" а₂,.. ., a_N)^T. С учетом (2.15) функционал (2.14) примет вид.

Заметим, что в данной постановке задачи функционал (2.16) в явной форме неизвестен. Поэтому его минимум приходится искать по измеряемым градиентах! реализаций:

Таким образом, задача приведена к виду, когда можно использовать рассмотренный ранее алгоритм адаптации (2.7), в котором надо положить Q (х, a)=F (у—a^Tqp (х)). В результате имеем.

или.

где /* (х)=9^т (х) а (к); К (х, х (*))=<�р^т (х) <�р (х (к)).

Рис. 2.3. Блок-схема псрсептрона, соответствующая алгоритму обучения (2.17).

Построенный алгоритм естественно назвать алгоритмом обучения. В пределе при к -> со он определяет оптимальный вектор а=а* и оптимальную разделяющую функцию (2.13). Алгоритм обучения в форме (2.17) или (2.18) носит достаточно общий характер: из пего как частные случаи следуют многие другие алгоритмы, отличающиеся друг от друга конкретным выбором функций F (•) и у (А:) 14).

Кибернетическая система, реализующая алгоритм обучения (2.17), соответствует персептропу. В отличие от классических схем персептронов, основанных на пороговых элементах, здесь использованы элементы, описываемые произвольными линейно независимыми функциями (х) (4). Блок-схема персептрона с алгоритмом обучения (2.17) показана на рис. 2.3.

Блок-схема состоит из входного (рецепторного) устройства, функциональных преобразователей ср (х) и F (•)> векторного множительного устройства, на котором формируется скалярное произведение а⁷ (А:—1)ср (х (к))_у усилителей с переменными коэффициентами усиления у (к) и диграторов Д.

Распознавание образа — дифференциального оператора объекта. В качестве примера применения изложенного подхода рассмотрим задачу восстановления дифференциального оператора технологического объекта в режиме его нормальной эксплуатация. Предполагается, что в. процессе эксплуатации дифференциальный оператор объекта меняется медленно и порядок его сохраняется.

Дифферепциальпый оператор имеет вид.

где и (<) — вход, у (t) — выход объекта, — заранее неизвестная функция.

Восстанавливая функцию сТ, Судом полагать, что ее Можно представить в виде линейной комбинации по конечной системе известных функций г:

где а_ь а₂…а_А.— неизвестные коэффициенты, подлежащие определению.

В процессе эксплуатации техпологическго объекта в последовательные моменты времени.. ., t_k,. .. измеряются величины y (t_k),.. ., y^ln)(t_k),

и (/*),.. u^(m,(t_k)_f следовательно, в этих точках можно вычислить значения функций 2,. Проблема состоит в отыскании коэффициентов а,. Такая постановка задачи близка к общей задаче обучения распознаванию образов, хотя и существует известное отличие. Бели в общей задаче обучения предполагалось, что распознаваемые объекты или ситуации появляются случайно и независимо с некоторой плотностью вероятностей, то в данном случае они определяются случайным процессом на входе и (I) и дифференциальным уравнением технологического объекта, которое само подлежит определению. Том не мепее для решения задачи в такой постановке возможно применение общих алгоритмов обучения типа (2.17), (2.18) (8]. Пользуясь методикой работы [8], покажем это па примере восстановления линейного дифференциального оператора вида.

где пит заранее неизвестны.

Введем новые обозначения.

с учетом которых уравнение (2.19) запишется в виде.

Для построения рекуррентной процедуры поиска коэффициентов aj можно воспользоваться общим алгоритмом обучения в форме (2.17), незначительно его модифицируя:

Отсюда следует, что.

где в силу леммы, доказанной в работе [91, справедливо.

Последнее еще не значит, что построенная итерационная процедура сходитсй к искомому решению, т. е. Пт Да (А)-«0. Например, функция.

к-* со и (f) может быть такова, что вектор 9 (/) всегда лежит в одной плоскости. Тогда соотношение (2.20) может быть выполнено в том случае, когда Да (к) приближается к нормали этой плоскости. Соотношение (2.20) может выполняться и тогда, когда вектор невязки Да (Аг) вообще не имеет предела по направлению (например, если ориентация плоскости, в которой лежит 9 (*), непрерывно меняется). Однако для весьма широкого класса воздействий и (/) из условия (2.20) следует стремление Да (к) к нулю, что обеспечивает решение поставленной задачи. Соответствующие достаточные условия этого факта сформулированы в работе [8|.

Пример описания ФХС путем построения обучающегося распознающего устройства, оптимально прогнозирующего поведение системы, будет дан ниже (см. стр. 121) при рассмотрении важного класса динамических систем — конечных автоматов.