Модели и методы распознавания динамических образов на основе пространственно-временного анализа последовательностей изображений

Существует класс задач, в которых особую важность приобретает информация^ структуре и движении объектов сложной сцены (видеонаблюдение в закрытых помещениях, в местах большого скопления людей, управление движением робототехнических комплексов, наблюдение за движением транспортных средств и т. д.). Последовательности изображений являются сложным информационным ресурсом, структурированным в пространстве и во времени и объединяющим исходную информацию в виде многомерных сигналов, форму ее представления в компьютере и физические модели динамических объектов, явлений, процессов. Новые технические возможности цифровой обработки изображений позволяют частично учитывать такую специфику изображений, используя одновременно достижения когнитивной теории человеческого восприятия зрительных образов.

Анализ пространственно-временного объема данных позволяет выявлять не только статические, но и динамические признаки объектов наблюдения. В этом случае задачу распознавания можно определить как классификацию совокупностей состояний или как классификацию траекторий, решение которой не может быть найдено классическими методами распознавания, т.к. временные переходы^ могут порождать, преобразования изображений, не описываемые известными аналитическими зависимостямиТакже наряду с задачей распознавания динамических объектов возникают задачи распознавания активных действий и событий, например, для выявления несанкционированных действий в местах скопления людей или определении жанра сцены для индексации в мультимедийных базах данных. Если рассматривать задачу распознавания объектов и событий по последовательностям изображений в виде единого процесса, то наиболее целесообразным является иерархический подход с элементами параллельной обработки на каждом уровне.

Совершенствование технических средств сбора и воспроизведение информации в виде статических изображений (фотографий) и видеопоследовательностей требует дальнейшего развития методов и алгоритмов их обработки, анализа ситуаций и распознавания изображенных объектов. Начальная теоретическая постановка задачи распознавания изображений относится к 1960;1970 гг. и отражена в ряде работ известных авторов [1, 6, 11, 12, 13, 23, 38, 42, 104, 106, 111]. Постановка задачи распознавания изображений может варьироваться от собственно задачи распознавания объектов, задач анализа сцен до задач понимания изображений и проблем машинного зрения. При этом системы принятия интеллектуальных решений, основанные на методах распознавания образов и изображений, используют входную информацию комплексного типа. К ней относятся как изображения, полученные в широком волновом диапазоне электромагнитного спектра (ультрафиолетовом, видимом, инфракрасном и др.), так и информация в виде звуковых образов и локационных данных. Несмотря на различную физическую природу, такую информацию можно представить в виде реальных изображений объектов и специфических изображений. Радиометрические данные — это плоские изображения сцены, представленные в перспективной или ортогональной проекции. Они формируются путем измерения интенсивности электромагнитных волн определенного спектрального диапазона, отраженных или излучаемых объектами сцены. Обычно используют фотометрические данные, измеренные в видимом спектральном диапазоне, — монохроматические (яркостные)* или цветные изображения: Локационные данные — это пространственные координаты наблюдаемых точек сцены. Если координаты измерены для всех точек сцены, то такой массив локационных данных можно назвать изображением глубины сцены. Существуют упрощенные модели изображений (например, модели аффинной проекции, представленные слабоперспективными, пара-перспективными, ортогональными и параллельными проекциями), в которых глубина сцены считается постоянной величиной, и локационное изображение сцены не несет полезной информации [105]. Звуковая информация носит в данном случае вспомогательный событийный характер.

Наиболее оперативно измеряются фотометрические данные. Локационная информация, как правило, вычисляется по данным, получаемым от специальных устройств (например, лазерного дальномера, радиолокатора) или с использованием стереоскопического метода анализа яркостных изображений. Вследствие трудностей оперативного получения локационных данных (особенно для сцен с быстро изменяющейся формой визуальных объектов) преобладают задачи описания сцены по одному визуальному изображению, т. е. задачи монокулярного зрительного восприятия сцены. В общем случае полностью определить геометрию сцены по одному изображению невозможно. Только при определенных ограничениях для достаточно простых модельных сцен и наличии априорных сведений о пространственном расположении объектов удается построить полное трехмерное описание по одному изображению [14]. Одним из способов выхода из данной ситуации является обработка и анализ видеопоследовательностей, полученных от одной или нескольких видеокамер, установленных неподвижно или перемещающихся в пространстве.

Таким образом, изображения являются основной формой представления информации о реальном мире, и требуется дальнейшее развитие методов преобразования и семантического анализа как отдельных изображений, так и видеопоследовательностей. Одним из важнейших направлений разработки таких интеллектуальных систем является автоматизация выбора методов описания и преобразования изображений с учетом их информационной природы и целей распознавания уже на начальных этапах обработки изображений.

Первые работы исследователей из США {Louisiana State University, Carnegie Mellon University, Pittsburgh), Швеции ('Computational Vision and Active Perception Laboratory {CVAP), Department of Numerical Analysis and Computer Science), Франции {INRIA), Великобритании (University of Leeds), ФРГ (University of Karlsruhe), Австрии {University of Queensland), Японии, Китая {School of Computer Science, Fudan University) по обработке последовательностей изображений и распознаванию динамических объектов были опубликованы в конце 1980;х гг. Позже аналогичные работы стали появляться и в России: в Москве (МГУ, МАИ (ГТУ), МФТИ, ГосНИИ АС), С. Петербурге (СПбГУ, ГУАП, ФГУП ГОИ, ЛОМО), Рязани (РГРТУ), Самаре (СГАУ), Воронеже (ВГУ), Ярославле (ЯрГУ), Кирове (ВГУ), Таганроге (ТТИ ЮФУ), Новосибирске (НГУ), Томске (ТГПУ), Иркутске (ИрГУ), Улан-Удэ (ВСГТУ) и др. городах. Следует отметить особый вклад таких выдающихся российских ученых, занимающихся в данной области, как академик РАН, д.т.н. Ю. И. Журавлев, член-корреспондент РАН, д.т.н. В. А. Сойфер, д.т.н. Н. Г. Загоруйко, д.т.н. Л. М. Местецкий, д.т.н. Б. А. Алпатов и др. На сегодняшний день достигнуты значительные успехи при построении систем видеонаблюдения, систем аутентификации личности по изображениям и т. д. Однако существуют нерешенные проблемы при распознавании динамических образов из-за сложности и многообразия поведения объектов реального мира. Таким образом, данное направление нуждается в совершенствовании моделей, методов и алгоритмов распознавания динамических объектов и событий по последовательностям изображений в различных диапазонах электромагнитного излучения, что позволит разрабатывать системы видеоиаблю-дения на качественно новом уровне.

Целью диссертационной работы является повышение эффективности распознавания динамических объектов, их активных действий и событий в сложных сценах по последовательностям изображений для систем наружного и внутреннего видеонаблюдения.

Поставленная цель определила необходимость решения следующих задач:

— Провести анализ методов оценки движения и нахождения признаков движения объектов по набору последовательных изображений, методов сегментации динамических объектов и семантического анализа сложных сцен, а также подходов к построению систем распознавания и слежения за динамическими объектами различного целевого назначения.

— Разработать модели распознавания статических и динамических образов, основываясь на иерархической процедуре обработки временных рядов, в частности, последовательностей изображений.

— Разработать метод оценки движения динамических структур по пространственно-временной информации, полученной в различных диапазонах электромагнитного излучения, позволяющий выбирать методы сегментации в зависимости от характера движения и, тем самым, выполнять адаптивное распознавание динамических образов.

Создать модель многоуровневого движения динамических структур в сложной сцене, позволяющую на основе полученных одометрических данных строить траектории движения динамических структур и выдвигать гипотезы о существовании визуальных объектов на основе анализа предыстории движений.

Разработать комплексный алгоритм сегментации, учитывающий совокупность выявленных признаков динамических структур при произвольных направлениях перемещений и перекрытий проекций объектов, основываясь на модели многоуровневого движения в сложных сценах.

Разработать метод распознавания динамических образов, представленных в терминах формальной грамматики и видеографа сцены, на основе метода коллективного принятия решений, а также методы распознавания активных действий и событий в сложной сцене, использующие графы активных действий и событий (расширяющие видеограф сложной сцены), и байесовскую сеть.

На основе разработанных методов и моделей спроектировать экспериментальные системы различного назначенияпредназначенные для обработки последовательностей изображений объектов, характеризующихся фиксированным и произвольным набором 2£>-проекций, и-распознавания динамических образов в. сложных сценах.

Методы, исследований. При выполнении диссертационной работы использовались методы теории распознавания образов, дескриптивной теории распознавания изображений, теории обработки сигналов, методы векторного анализа и тензорного исчисления, а также теория групп, теория формальных грамматик.

Научная новизна диссертационной работы состоит в следующем:

1. Построена новая модель преобразования динамических изображений, отличающаяся расширенными иерархическими уровнями сегментации (по локальным и глобальным векторам движения) и распознавания (объектов и их активных действий), позволяющая находить целевые признаки для статических сцен с движущимися объектами и динамических сцен на, основе понятия максимального динамического инварианта.

2. Расширена дескриптивная теория распознавания изображений введением четырех новых принципов: учет цели распознавания на начальных стадиях анализа, распознавание поведения динамических объектов, оценка предыстории, переменное количество объектов наблюдения, что позволяет повысить качество распознавания движущихся объектов за счет повышения информативности исходных данных.

3. Впервые разработан адаптивный пространственно-временной метод оценки движения в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения, позволяющий извлекать признаки движения на различных иерархических уровнях, сочетая достоинства обоих типов последовательностей изображений.

4. Разработана новая модель многоуровневого движенияпозволяющая проводить декомпозицию сцены на отдельные уровнине > ограничивающаясяобщепринятым разделением на передний план и фон, что позволяет выполнять более достоверную сегментацию изображений объектов всложных перспективных сценах.

5: Обоснован? и построенновыйобобщенный алгоритм сегментации динамических объектовс, применением, множества признаков^ включающих предыстории поведенияи позволяющий отслеживать как динамику отдельных визуальных объектов, так и взаимодействия объектов в сцене (перекрытия проекцийпоявление/исчезновение объектов из поля зрения видеодатчика) на основе групповых преобразованийи впервые предложенном анализе общей части проекций объекта (из двух соседних кадров) с применением интегральных и инвариантных оценок.

6. Модифицирован метод коллективного принятия решений, отличающийся нахождением признаков межкадровых проекций объекта и позволяющий учитывать предысторию наблюдений для распознавания активных действий и событий на основе байесовской сети, а также предложены четыре вида псевдо-расстояний для нахождения меры сходства v динамических образов с эталонными динамическими образами в зависимости от представления динамических признаков.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения при’мониторинге автотранспортных средств при многополосном движении в рамках государственного проекта «Безопасный город», в системах автоматизированного контроля за различными технологическими производственными процессами по видеопоследовательностям, в системах наружного видеонаблюдения и видеонаблюдения в закрытых помещениях, а также в системах иденл тификации объектов на аэрофотоснимках и распознавании ландшафтных изображений. На основе диссертационных исследований разработаны программные комплексы обработки и распознавания динамических объектов, применяемые в различных сферах деятельности.

Реализация результатов работы. Разработанные программы зареги-• стрированы в Российском реестре программ для ЭВМ: программа «Сегментация изображений рукописного текста (SegPic)» (свидетельство № 2 008 614 243, г. Москва, 5 сентября 2008 г.) — программа «Определение движения (MotionEstimation)» (свидетельство № 2 009 611 014, г. Москва, 16 февраля- 2009 г.) — программа «Локализация лица (FaceDetection)» (свидетельство № 2 009 611 010, г. Москва, 16 февраля-2009 г.) — программа «Система наложения визуальных природных эффектов на статическое изображение (Natural effects imitation)» (свидетельство № 2 009 612 794, г. Москва, 30 июля 2009 г.) — программа «Визуальное детектирование дыма (SmokeDetection)» (свидетельство № 2 009 612 795, г. Москва, 30 июля 2009 г.) — «Программа визуальной регистрации государственных номерных знаков автотранспортных средств при многопоточном движении (FNX CTRAnalyzer)» (свидетельство № 2 010 612 795, г. Москва, 23 марта 2010 г.), программа «Нелинейное улучшение изображений (Nonlinear image enhancement)» (свидетельство № 2 010 610 658, г. Москва, 31 марта 2010 г.

Получены акты о передаче и использовании алгоритмического и программного обеспечения для распознавания корпусов холодильников на сборочной линии (ОАО КЗХ «Бирюса», г. Красноярск), для идентификации изо бражений объектов на ландшафтных изображениях (Концерн радиостроения «Вега», ОАО КБ «Луч», г. Рыбинск Ярославской области), для сегментации лесной растительности по набору последовательных аэрофотоснимков (ООО «Альтекс Геоматика», г. Москва), для обнаружения пластин государственных регистрационных знаков автотранспортных средств в видеопоследовательностях при многопоточном движении и повышении качества их отображения^ (УГИБДД ГУВД по Красноярскому краю, г. Красноярск).

Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении занятий по дисциплинам «Интеллектуальная обработка данных», «Компьютерные технологии в науке и образовании», «Теоретические основы цифровой обработки изображений», «Распознавание образов», «Нейронные сети», «Алгоритмы обработки изображений», «Алгоритмы обработки видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете имени академика М. Ф. Решетнева (СибГАУ).

Достоверность полученных в диссертационной работе результатов обеспечивается корректностью используемых методов исследования^ математической строгостью выполненных преобразований, а также соответствием сформулированных положенийи выводов результатам их экспериментальной проверки.

Основные положения, выносимые на защиту:

1. Модель обработки и распознавания динамических образов в сложных сценах, существенно расширенная' иерархическими уровнями сегментации и распознавания не только объектов, но и их активных действий.

2. Расширение дескриптивной теории распознавания изображений для временных рядов (последовательностей изображений) за счет повышения информативности анализируемых данных не только в пространственной области, но и по временной составляющей.

3. Адаптивный пространственно-временной метод оценки движения на. основе тензорных представлений локальных ЗИ объемов в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения.

4. Модель многоуровневого движения в сложных сценах, расширяющая декомпозицию перспективных сцен на отдельные уровни для более достоверного анализа траекторий движения объектов.

5. Обобщенный алгоритм сегментации динамических объектов, позволяющий на основе групповых преобразований и предложенных интегральных и инвариантных оценок выявлять перекрытия проекций объектов, появление/исчезновение объектов из поля зрения видеодатчика.

6. Методы распознавания динамических образов на основе модифицированного метода коллективного принятия решений и нахождения псевдорасстояний в метрических пространствах, а также активных действий и событий в сложных сценах.

Апробация работы. Основные положения и результаты диссертационных исследований докладывались и обсуждались на 10 международной конференции «Pattern Recognition and Image Analysis: Modern Information Technologies», (S.-Petersburg, 2010), международном конгрессе «Ultra Modern Telecommunications and Control Systems ICUMT2010» (Moscow, 2010) — XII международном симпозиума по непараметрическим методам в кибернетике и системному анализу (Красноярск, 2010), II международном симпозиуме «Intelligent Decision-Technologies — IDT 2010» (Baltimore, 2010), III международной конференции. «Automation, Control? and Information Technology — AOIT— ICT'2010» (Novosibirsk, 2010), 10-й, 11-й и 12-й международных конференциях и выставках «Цифровая обработка сигналов и ее применение» (Москва, 2008 — 2010 гг.), X международной научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2009 г.), IX международной научно-технической конференции «Кибернетика и высокие технологии XXI века» (Воронеж, 2008), всероссийской конференции «Модели и методы обработки изображений» (Красноярск, 2007 г.), на X, XI и XIII международных научных конференциях «Ре-шетневские чтения» (Красноярск, 2006, 2007, 2009 гг.), а также на научных семинарах Государственного университета аэрокосмического приборостроения (С.-Петербург, 2009 г.), Института вычислительного моделирования СО.

РАН (Красноярск, 2009 г.), Института систем обработки изображений РАН (Самара, 2010).

Публикации. По результатам диссертационного исследования опубликовано 53 печатных работы, из них 1 монография, 26 статей (из них 14 статей — в изданиях, включенных в список ВАК, 2 статьи — в изданиях, перечисленных в «Thomson Reuters: Science Citation Index Expanded / Conference Proceedings Citation Index»), 19 тезисов докладов, 7 свидетельств, зарегистрированных в Российском реестре программ для ЭВМ, а также 3 отчета по НИР.

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановку задач и их математические и алгоритмические решения, получены автором лично, или выполнены под его научным руководством и при непосредственном участии. По материалам работы были защищены две диссертации на соискание ученой степени кандидата технических наук, при выполнении которых автор был официальным научным руководителем.

Структура работы. Работа состоит из введения, шести глав, заключения, библиографического списка. Основной текст диссертации содержит 326 страниц, изложение иллюстрируется 63 рисунками и 23 таблицами. Библиографический список включает 232 наименования.

6.7 Выводы по главе.

В' данной главе подробно рассмотрена структура и основные функции экспериментального программного комплекса «ЗРОЕЛ», у.1.02, которыйвыполняет системную иерархическую обработку последовательностей изображений вплоть до высших уровней распознавания объектов и событий. Он является автоматизированной системой, требующей участия человека для обучения и настройки графов, сетей и классификаторов. Ряд низкоуровневых модулей системы работает в автоматическом режиме. Структура программного комплекса такова, что возможна модификация модулей без оказания влияния на другие модули системы. Представлены функциональные схемы основных модулей системы: модуля, предварительной обработки, модуля оценки движения, модуля сегментации, модуля распознавания объектов и модуля распознавания активных действий.

Экспериментальные исследования на основе данного программного комплекса проводились на нескольких видеопоследовательностях и инфракрасных последовательностях из тестовой базы «OTCBVS⁰⁷», на тестовых видеопоследовательностях «Hamburg taxi», «Rubik cube». «Silent», а также на собственном видеоматериале. Тестировались пять методов оценки движения. Экспериментально было показано, что метод сопоставления блоков и предложенный метод для инфракрасной последовательности показывают близкие значения и являются наименее точными. Предложенный метод для видеопоследовательности и метод слежения за точечными особенностями демонстрируют близкие результаты. При этом разработанный тензорный подход требует меньшего объема компьютерных вычислений по сравнению с методом слежения за точечными особенностями. Совместное использование синхронизированных видеопоследовательности и инфракрасной последовательности целесообразно использовать для нахождения модуля вектора скорости и в условиях пониженного освещения сцены.

Для распознавании визуальных объектов применялись четыре вида псевдо-расстояний (псевдо-расстояния Хаусдорффа, Громова-Хаусдорффа, Фреше, естественное псевдо-расстояние) для нахождения меры сходства входных динамических образов с эталонными динамическими образами (в зависимости от представления динамического признака — множества числовых характеристик, множества векторов, множества функций). Они показали свою состоятельность для образов с допустимыми морфологическими преобразованиями. Использовались интегрированные нормализованные оценки формы контура Кс общей части проекции объекта между условно соседними кадрами и площадь общей части 5е и инвариантная оценка — корреляционная функция общих частей проекций Fcor. Применение модифицированного метода коллективного принятия решений позволяет «отбросить» неудачные наблюдения входных образов (случаи перекрытия проекций объектов, искажения сцены от источников освещения и т. д.) и выбрать наиболее подходящие наблюдения. Эксперименты показали, что применение модифицированного метода коллективного принятия решения повышает точность распознавания в среднем на 2,4−2,9%.

Экспериментальные результаты оценки движения, сегментации и распознавания объектов были получены на тестовых последовательностях изображений («Hamburg taxi», «Rubik cube». «Silent», видеопоследовательности и инфракрасные последовательности из тестовой базы «ОТСВVS'07»). Для распознавания активных действий людей использовались примеры из тестовых баз «PETS», «CAVIAR», «VACE». Характер тестовой визуальной последовательности влияет на показатели. Хуже распознаются объекты, осуществляющие вращательное движение («Rubik cube»), лучше — техногенные объекты небольших размеров («Hamburg taxi», «Видео 1»). Наилучшие результаты показывает распознавание по двум последовательностям. Также лучшие экспериментальные результаты достигались при распознавании периодических активных действий людей, не находящихся в группах (хождение, бег, поднятие рук). Ложные срабатывания обусловлены засветкойш наличием теней, в ряде мест сцены.

В ^завершении* шестой главы были рассмотрены такие прикладные’проекты, как «Визуальная регистрация государственных номерных знаков автотранспортных средств при многопоточном движении», «Система идентификации моделей корпусов холодильников по изображениям», «Алгоритмы.обработки и-сегментации, ландшафтных изображений. Идентификация объектов». Алгоритмическое и. программное обеспечение передано заинтересованным, организациям: Результаты тестовой эксплуатации показали работоспособность программного обеспечения, разработанного на основе предложенных в диссертационной работе моделей и методов.

ЗАКЛЮЧЕНИЕ

.

В диссертационной работе была поставлена и решена важная научно-техническая проблема обработки пространственно-временных данных, полученных из последовательностей видимого и инфракрасного диапазонов электромагнитного излучения, и распознавания динамических образов в сложных сценах. Система иерархических методов обработки и извлечения признаков из пространственно-временных данных представляет собой методологическую основу решения прикладных задач в области видеонаблюдения.

Во введении обоснована актуальность диссертационной работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практическая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе показано, что визуальные объекты в видеопоследовательностях характеризуются более многомерным вектором признаков, чем" образы в классической постановке задачи распознавания статических изображений. В диссертационной работе вводятся уточняющие этапы на среднем и высшем уровнях обработки, которые имеют существенное значение для динамических изображений.

Построена классификация основных типов задач распознавания для статических изображений, статических сцен с элементами движения и последовательностей изображений, которая отражает исторический характер развития математических методов в данной области. Проведен подробный анализ методов оценки движения, алгоритмов сегментации движущихся объектов, методов интерпретации событий в сложных сценах.

Рассмотрены существующие коммерческие аппаратно-программные комплексы в таких областях, как мониторинг транспортных средств различного назначения, обработка спортивных видеоматериалов, обеспечение безопасности (распознавание лиц, несанкционированное проникновения людей на охраняемую территорию), Также анализируются исследовательские разработки для систем видеонаблюдения.

В завершении главы 1 приведена постановка задачи пространственно-временной обработки последовательностей изображений, представленная в виде трех уровней и пяти этапов обработки и распознавания визуальной информации по последовательностям изображений.

Во второй главе диссертации разработаны формальные модели обработки и распознавания объектов по их статическим изображениям и последовательностям изображений. Построены допустимые отображения в пространстве изображений и пространстве признаков для прямой задачи и обратной задачи. Приведены правила построения инвариантных решающих функций и обобщенного максимального динамического инварианта. При распознавании траектории различных образов в многомерном пространстве признаков могут пересекаться. При пересечении проекций объектов нахождение обобщенного максимального динамического инварианта становится еще более трудной, а в некоторых случаях и невозможной задачей.

Рассмотрены основные принципы дескриптивной теории распознавания изображений, в основу которой легли регулярные методы выбора и синтеза алгоритмических процедур обработки информации при распознавании изображений. Предложены дополнительные принципы, расширяющие дескриптивную теорию для динамических изображений: учет цели распознавания на начальных стадиях обработки последовательности изображений, распознавание поведенческих ситуаций динамических объектов, оценка предыстории динамических объектов, переменное количество объектов наблюдения в сложных сценах.

Подробно рассмотрена проблема поиска целевых признаков для анализа последовательностей изображений в зависимости от типа съемки (в случае одноракурсной съемки), движения видеодатчика и наличия движущихся объектов в зоне видимости. Приведены описания четырех ситуаций в пространстве признаков по мере усложнения задачи.

В третьей главе сформулированы этапы обработки последовательностей изображений и распознавания объектов, активных действий, событий и жанра сцены. Этапы отражают последовательный иерархический характер обработки визуальной информации. Также представлены условия и ограничения иерархических методов пространственно-временной обработки последовательностей изображений.

Классификация динамических регионов изображения производится путем анализа собственных значений 31) структурного тензора, собственные векторы которого определяются по локальным смещениям интенсивностей изображений соседних кадров и используются для оценки локальных ориен-таций динамических регионов. Обоснован новый метод оценки движения в пространственно-временном объеме данных видимого и инфракрасного диапазонов излучения на основе тензорного подхода. Рассмотрена возможность применения пространственно изменяемого ядра, адаптивного к размерам и ориентации окружения точки. Адаптация окружения, вначале имеющего форму круга, а затем превращающегося после 2−3 итераций в форму ориентированного эллипса позволяет улучшить оценку ориентированных структур на изображении. Такая стратегия улучшает оценки градиентов в пространственно-временном наборе данных.

Оценка локальных параметров движения производится путем вычисления геометрических примитивов и особенных точек локального региона. Таким образом, оценка локальных признаков движения регионов является основой выдвижения последующих гипотез принадлежности визуальных объектов к тому или иному классу. Использование синхронных видеопоследовательности и инфракрасной последовательности позволяет улучшить результаты сегментации движущихся регионов на изображении и нахождения локальных векторов движения.

Показано, что оценить границы в цветных изображениях можно на основе многомерных градиентных методов, построенных по всем направлениям в каждой точке границы, векторными методами с использованием порядковых статистиках о цветном изображении, а также применением тензорного подхода в рамках многомерных градиентных методов. Способы уточнения контурной информации имеют существенное значение для регионов с произвольным количеством допустимых проекций.

В четвертой главе построена многоуровневая модель движения на основе структур движения, отражающая динамику объектов реальных сцен и расширяющая двухуровневое представление сцены, разделяемой на объекты интереса и неподвижный фон.

Исследуются модели движения объектов на плоскости, основанные на теории компактных групп Ли. Представлены модели для проективного преобразования и разновидностей моделей аффинного преобразования. Такие преобразования хорошо описывают структуры движения с ограниченным количеством проекций (техногенные объекты). Представление структур с неограниченным количеством проекций (антропогенные объекты) аффинными или проективными преобразованиями сопровождается рядом дополнительных условий (в частности, требование удаленности объектов от видеодатчика, малоразмерные объекты и т. д.). Приводятся определения и теорема, доказанная Л. С. Понтрягиным, на основании которых удалось найти внутренний автоморфизм групповых координат, описывающих некоторый объект с точностью до сдвигов между соседними кадрами. Величина сдвигов опреде1 ляется по методу оценки движения межкадровой разницы, разработанному в 3″ главе.

Построено расширение допустимых переходов между группами преобразований всилу двойственности природы 2£)-изображений (отображение изменений проекции отдельного объекта и визуальное пересечение нескольких объектов: (взаимодействие объектов)). Найдены, критерии, которые при изменении групп преобразований фиксируют активные действия и события, в сцене, а именно, интегрированные оценки формы контура Кс общей части проекции между условно соседними кадрами и площадь общей части 5е и инвариантные оценки — корреляционная функция общих частей проекций Рсог и структурные константы группы Ли с’д, которые позволяют оценить степень изменчивости и выявить характер движения наблюдаемых объектов.

Также построена модель предыстории движения объектов в последовательностях изображений, включающая временные ряды траекторий перемещения, изменения формы объекта при его движении в 3£>-пространстве, а также изменения формы объекта, связанные с взаимодействием объектов в сцене и появлением/исчезновением объекта из поля зрения датчика (используется для распознавания активных действий и событий в сцене). 1.

Разработан обобщенный алгоритм сегментации объектов в сложных сценах, учитывающий сложные случаи сегментации (перекрытия изображений, появление и исчезновение объектов из поля зрения камеры, движение на камеру), который включает три подэтапа: предсегментацию, сегментацию и пост-сегментацию. Для каждого подэтапа сформулированы задачи, исходные и выходные данные, разработаны блок-схемы алгоритмов, позволяющие проводить сегментацию сложных сцен, используя преимущества синхронных последовательностей из различных диапазонов излучения.

В пятой главе рассматривается процесс распознавания динамических образов, использующий формальную грамматику, видеограф сцены и модифицированный метод коллективного принятия решений. Динамическая сцена с многоуровневым движением обладает изменяющейся во времени структурой, поэтому целесообразно использовать структурные методы распознавания. Предложенная трехуровневая контекстная грамматика распознавания сложных сцен с многоуровневым движением объектов реализует две задачи: задачу синтаксического анализа последовательности изображений и задачу синтаксического анализа сцены.

Более наглядным средством семантического описания сцены является видеограф, построенный по методу иерархического группирования. На основе комплексных признаков низшего уровня формируются локальные пространственные структуры, устойчивые во времени, локальные пространственные объекты и строится видеограф сцены, включающий распознанные пространственные объекты, совокупность присущих им действий, а также пространственно-временные связи между ними.

Модифицированный метод коллективного принятия решений основан на двухуровневой процедуре распознавания. На первом уровне осуществляется распознавание принадлежности изображения той или иной области компетентности. На втором уровне вступает в силу решающее правило, компетентность которого максимальна в заданной области. Построены выражения для псевдо-расстояний при нахождении меры сходства входных динамических образов с эталонными динамическими образами в зависимости от представления динамических признаков — множества числовых характеристик, множества векторов, множества функций.

При распознавании событий видеограф сложной сцены расширяется до видеографа событий: Построена объектно-зависимая модель динамического объекта. В качестве функции соответствия используются простейшие классификаторы в пространстве признаков (например, по методу ^-средних), т. к. сопоставление осуществляется по ограниченному множеству шаблонов, ассоциированных с ранее опознанным объектом. Рассмотрены способы формирования шаблонов проекций визуальных объектов.

Видеограф событий строится на основе сетей Маркова. Рассмотрены способы выявления активных действий агентов, а также порядок построения и разрезания видеографа событий для распознавания, событий в сцене. При этом для каждого события строится своя модель, которая обучается на тестовых примерах. Обнаружение событий сводится к кластеризации последовательно выполняемых активных действий на основе байесовского подхода. Выполняется рекурсивное разрезаниематрицы весовых коэффициентов во входной видеопоследовательности и сравнение с эталонными, событиями, полученными на этапе обучения. Данная информация является* исходной для определения жанра сцены и при необходимости индексирования видеопоследовательности в базе данных. Разработана схема понимания и интерпретации изображений и видеоматериалов для индексирования в мультимедийных Интернет-базах.

В шестой главе представлено описание экспериментального программного комплекса «SPOER», v.l.02 по обработке последовательностей изображений и распознаванию движущихся объектов и событий. Он выполняет системную иерархическую обработку последовательностей изображений вплоть до высших уровней распознавания объектов и событий. Он является автоматизированной системой, требующей участия человека для обучения и настройки графов, сетей и классификаторов. Ряд низкоуровневых модулей системы работает в автоматическом режиме.

В экспериментальных исследованиях, проведенных с помощью программного комплекса «SPOER», v.l.02, использовались видеопоследовательности и инфракрасные последовательности изображений из тестовой базы «OTCBVS'07», тестовые видеопоследовательности «Hamburg taxi», «Rubik cube». «Silent» и собственные видеоматериалы. Тестировались пять методов оценки движения. Предложенный метод для видеопоследовательности демонстрирует наиболее точные результаты и требует меньшего объема компьютерных вычислений по сравнению с другими методами. Совместное использование синхронизированных видеопоследовательности и инфракрасной последовательности целесообразно при нахождении модулей векторов скоростей в условиях пониженного освещения сцены.

Для распознавании визуальных объектов с допустимыми морфологическими преобразованиями проекций использовались интегрированные нормализованные оценки формы контура Кс общей части проекции объекта между условно соседними кадрами и площадь общей части 5е и инвариантная оценка — корреляционная функция общих частей проекций Fcor. Применение модифицированного метода коллективного принятия решений позволяет «отбросить» неудачные наблюдения входных образов (случаи перекрытия проекций объектов, визуальные искажения сцены от источников освещения и т. д.) и выбрать наиболее подходящие наблюдения. Эксперименты показали, что применение модифицированного метода коллективного принятия решения повышает точность распознавания в среднем на 2,4—2,9%.

Экспериментальные результаты оценкидвижениясегментации и распознавания объектов были получены на тестовых последовательностях изображений («Hamburg taxi», «Rubik cube». «Silent», видеопоследовательности и инфракрасные последовательности из тестовой базы «OTCBVS*07»). Для распознавания активных действий людей использовались примеры из тестовых баз «PETS», «CAVIAR», «VACE». Наилучшие результаты показывает распознавание по двум последовательностям. Также лучшие экспериментальные результаты достигались при распознавании периодических активных действий людей, не находящихся в группах (хождение, бег, поднятие рук). Ложные срабатывания обусловлены засветкой и наличием теней в ряде мест сцены.

На базе экспериментального комплекса «ЗРОЕЯ», V. 1.02 были разработаны системы обработки видеоинформации различного целевого назначения: «Визуальная регистрация государственных номерных знаков автотранспортных средств при многопоточном движении», «Система идентификации моделей корпусов холодильников по изображениям», «Алгоритмы обработки и сегментации ландшафтных изображений. Идентификация объектов». Алгоритмическое и программное обеспечение передано заинтересованным организациям. Результаты тестовой эксплуатации показали работоспособность программного обеспечения, разработанного на основе предложенных в диссертационной работе моделей и методов.

Таким образом, в диссертационной работе были получены следующие результаты:

1. Построены формальные модели обработки и распознавания пространственно-временных структур на основе адаптивной иерархической процедуры. обработки последовательностей изображений, отличающиеся тем, что в них учтены изоморфные и гомоморфные преобразования и выведены обобщенные функции статических и динамических инвариантов. Также построены модели поиска статических и динамических признаков объектов для четырех задач анализа последовательностей изображений в зависимости от наличия движущегося1 видеодатчика и движущихся объектов в сцене.

2. Расширеныосновные положения дескриптивного подхода к распознаванию последовательностей изображений, позволяющие учитывать цели распознавания на начальных стадиях обработки последовательности изображений с последующей сегментацией областей интереса, строить траектории движения и распознавать поведение динамических объектов, учитывать предысторию движения объектов при пересечении их проекций, сопровождать переменное количество объектов наблюдения.

3. Разработан иерархический метод обработки и распознавания пространственно-временных структур, состоящий из трех уровней и пяти этапов и предполагающий нормализацию проекций объектов, что позволяет сократить количество эталонов для одного класса при распознавании сложных динамических объектов.

4. Разработан метод оценки движения для последовательностей изображений из видимого и инфракрасного диапазонов электромагнитного излучения отличающийся тем, что используются пространственно-временные наборы данных, представленные в виде 3?> структурных тензоров и ЪВ тензоров. потока соответственно. Полученная оценка движения позволяет выбрать наиболее эффективный метод сегментации динамических визуальных объектов, отличающихся количеством допустимых проекций.

5. Построена модель многоуровневого движения регионов изображения на основе локальных векторов скорости, отличающаяся тем, что позволяет разделять сцену не только на объекты переднего плана и фон, но и на уровни движения объектов, удаленных от наблюдателя. Это особенно актуально для сложных сцен, регистрируемых подвижным видеодатчиком, когда все объекты сцены находятся в относительном движении.

6. Разработан адаптивный алгоритм-сегментации динамических объектов: а) для объектов с ограниченным количеством проекций, на основе анализа предыстории движения локальных динамических регионов, отличающийся тем, что при перекрытиях изображений достраивается форма, региона по текущему шаблону и при условии применения фильтра Калмана прогнозируется, текущая, траекторияб) для объектов с произвольным количеством проекций на основе комплексного анализа, цветовых, текстурных, статистических, топологических признаков и признаков движения, отличающийся тем, что при перекрытиях изображений^форма региона достраивается с использованием метода активных контуров.

7. Предложен способ построения динамического видеографа сложной сцены по методу иерархического группирования комплексных признаков низшего уровня в локальные пространственные структуры, устойчивые во времени, и далее в локальные пространственные объекты. Сформированный видеограф устанавливает временные отношения между объектами и сохраняет все обобщенные признаки для распознавания событий в сцене. Расширена двумерная грамматика М. И. Шлезингера в рамках структурного метода распознавания до трехуровневой контекстной грамматики.

8: Для распознавания динамических объектов модифицирован коллективный метод принятия решений, вначале осуществляющий распознавание принадлежности изображения области компетентности, а затем выбирающий то решающее правило, компетентность которого максимальна в заданной области. Построены четыре вида псевдо-расстояний для нахождения меры сходства входных динамических образов с эталонами в зависимости от представления динамических признаков.

9. Разработан метод распознавания событий на основе байесовской сети, выполняющий рекурсивное разрезание матрицы весовых коэффициентов во входной видеопоследовательности и сравнение с эталонными событиями, полученными на этапе обучения. Данная информация является исходной для определения жанра сцены и индексирования видеопоследовательностей в мультимедийных Интернет-базах.

10. Практические задачи обработки и распознавания последовательностей изображений решены с помощью адаптивно-иерархического метода пространственно-временной обработки, показана работоспособность метода, продемонстрирована эффективность применения системы иерархических методов обработки и. распознавания визуальной информации с возможностью адаптивного выбора признаков в. процессе решения задачи. Полученные результаты в виде спроектированных экспериментальных систем, переданы заинтересованным организациям.

Таким образом, в данной диссертационной, работе решена важная научно-техническая проблема информационного обеспечения систем видеонаблюдения и разработано новое направление в области пространственно-временной обработки и распознавания динамических изображений.