Слияние информации и распознавание образов

Первый этап обработки информации — восприятие, которое включает слияние информации от гетерогенных источников и распознавание образов.

Слияние информации предполагает комплексирование (интегрирование) информации от разных источников для эффективного принятия решений. Различаются несколько видов слияния информации.

Сенсорное слияние — несколько гетерогенных сенсоров объединяются и дают интегрированную информацию об объекте. Примером является двумодальное распознавание речи (речевой сигнал и изображение движущихся губ на лице).

Слияние данных — несколько источников данных об объектах, например из разных баз данных, объединяются через атрибуты этих объектов. Например, для объекта типа робота, наблюдающего за окружением, атрибутами могут быть разные признаки, используемые для распознавания компонентов сцены, получаемые от видеокамеры, лазерного дальномера, ультразвуковых датчиков и ир.

Слияние знаний — несколько источников знаний из разных баз знаний объединяются, дополняя друг друга, что позволяет вырабатывать новые знания об объектах, ситуациях, процессах.

Пример сенсорного слияния при распознавании речи

Рассмотрим в качестве примера вариант сенсорного слияния в рамках задачи распознавания речи с использованием звуковой и визуальной информации. Здесь могут быть использованы разные модели слияния информации, схема которых представлена на рис. 18.3.

Рис. 18.3. Модели слияния акустической и визуальной информации

Модель прямой идентификации основана на слиянии акустической (Л) и визуальной (V) информации. Входные сигналы поступают от экстракторов признаков Jа (Л) и fv (V) прямо в общий идентификатор qav (i).

Модель раздельной идентификации основана на распознавании слова отдельно по акустической (qa (i)) и визуальной (qv (i)) информации и формировании по их результатам гипотезы о слове (qav (i)).

Модель с акустической доминантой предполагает главенство акустической информации, а визуальная информация используется для улучшения результатов распознавания. Модель с моторной доминантой предполагает главенство визуальной информации и вспомогательную роль акустической информации.

Интегрированная информация, полученная в результате слияния, может быть использована для распознавания объектов, ситуаций или сцен, действий или процессов.

Рассмотрим общую постановку задачи распознавания образов в следующей интерпретации.

Дано М — множество образов w_f которые могут быть разбиты на множество классов ?>. На этом множестве существует разбиение на конечное.

т

подмножество классов (/ = 1,…, ш), т. е. М = (JQ,-. Разбиение определено.

7=1.

частично: задана лишь некоторая информация /₀ о классах Q_f. Образы w задаются значениями признаков х_} (j = 1,N). Набор этих признаков одинаков для всех образов множества М. Совокупность значений признаков определяет описание I (w) образа. Описание образа I (w) = (x_x(w),…, х/w), …, %(®0) стандартное, если Xj (w) принимает значения из допустимого множества значений. Стандартная эталонная информация /₀(n_t,…, П,") является совокупностью множества описаний {I (w_x), …, I (w_m)} и множества информационных векторов {a.

Тогда задача распознавания образов состоит в вычислении значений распознающих предикатов P^w е Q_;), i= 1,…, т для данного образа w_y набора классов {П₁₅ …, П_ш}, информации о классах /₀(Пj, …, С1_т) и описании I (w). Информация о вхождении образа w в класс ?2, кодируется символом «1», если w е ?2, «О» — если w? ?2, А — если класс неизвестен. Это записывается в виде информационного вектора а (г^) = …, OL_m(zv)), где, а е {0, 1, А}.

На практике образы могут иметь разную сущность, например выделенные сегменты частотного сигнала речи, изображения лиц или других двуили даже трехмерных объектов. Признаки могут быть простыми (числа) и сложными (функции, распределения и др.). Классы образов определяются шаблонами, в которых зафиксированы значения признаков данного класса, полученные при обучении.

В соответствии с приведенной общей постановкой задачи распознавания образов могут быть сформулированы конкретные задачи распознавания: акустических образов (голосов, речи); визуальных образов (двуили трехмерных объектов на изображениях); интегральных образов (сцен или ситуаций, процессов или действий).

Задача распознавания речи подробно обсуждалась в предыдущей главе, поэтому далее будут рассмотрены задачи распознавания визуальных образов с акцентом на распознавание лиц и трехмерных объектов.