Информационно-измерительная система видеослежения за подвижными объектами на основе пространственных дескрипторов

Актуальность исследования.

В настоящее время информационно-измерительных системы (ИИС) применяются в довольно широком спектре деятельностей человека таких, как медицина, машиностроение и т. п. В ИИС рассматривается решение различных аппаратно-программных задач таких, как сбор, переработка, передача и хранение информации, а так же поиск, распознавание образов и выдача разнообразной информации человеку или машине [1]. В настоящее время построение информационно-измерительных систем видеослежения, обрабатывающих визуальную информацию видеокамер (ВК) для измерения угловых координат и местоположения подвижных объектов имеет большой интерес в широком спектре деятельности человека таких, как медицина, машиностроение, аэрокосмическая область, в сфере игровых развлечений и т. п.

Сложность и многоаспектность данной задачи возрастет из-за непрерывного повышения требований к динамике объекта, к точности измерения и инвариантности от внешних факторов, и подтверждается наличием значительного количества научных работ, центров и лабораторий, занимающих разработкой систем компьютерного зрения для различных применений. Среди работ, посвященных вопросам видеослежения и оценке параметров подвижных объектов, выделяются работы таких ученых, как Б. А. Алпатов, A.M. Бочкарев, Д. А Форсайт, В. А. Сойфер, С. А. Прохоров, D. Comaniciu, S. Wang, W. Pratt. Среди предприятий на территории Российской федерации, занимающих вопросами компьютерного зрения и видеослежения, перечисляются компании ЗАО «Институт информационных технологий» и ЗАО «Научно-технический центр» «Модуль». Среди научных учреждений: кафедра автоматики и информационных технологий в управлении Рязанского государственного радиотехнического университета и кафедра технической кибернетики.

Самарского государственного аэрокосмического университета им. С. П. Королева (национальный исследовательский университет).

Одна из наиболее сложных и актуальных задач в области компьютерного зрения заключается в автоматическом обнаружении наличия объекта интереса на изображениях видеопоследовательности со сложной динамической сценой, и оценка таких параметров объекта, как местоположение, скорость, направление, в реальном масштабе времени. Сложность этих задач значительно увеличивается при рассмотрении объектов, движущихся в значительном пространстве наблюдения, вынуждающих автоматическое слежение за ними по изображениям видеопоследовательностей (видеослежение) и в пространстве перемещения (сопровождение).

Среди причин сложности задач автоматического видеослежения за движущимися объектами встречаются: проективное преобразованиеизменение освещенности сцены наблюденияотсутствие априорной информации о модели объекта и о модели его движения. Несмотря на наличие чрезвычайно большого количества работ, посвященного задачам области компьютерного зрения таким, как обнаружение наличия объектов, и их распознавание, большинство известных методов рассматривают неподвижные объекты на статических изображениях и показывают высокую вычислительную сложность и недостаточную робастность к геометрическим преобразованиям. Исследование возможности применения таких методов для обнаружения подвижных объектов на изображениях видеопоследовательности является актуальной задачей при разработке систем видеослежения.

В последнее десятилетие были разработаны методы обнаружения и распознавания на основе внешности объектов (appearance-based), использующие для описания объектов их локальные ключевые точки (key points) в аналогии с подходами распознавания, встроенными в системе человеческого восприятии [2, 3]. Эти методы показали беспрецедентно удовлетворительные робастность и инвариантность к геометрическим преобразованиям и изменению освещенности. Однако основным недостатком этих методов является их вычислительная сложность, что мешает их применение в задачах слежения за объектами в реальном масштабе времени.

Вследствие выше рассмотренных обстоятельств разработка эффективных методов обнаружения объектов на изображениях видеопоследовательности и увеличение робастности существующих методов с целью проектирования информационно-измерительных систем видеослежения за движущимися объектами являются важными и необходимыми задачами для развития человеческого общества, и представляют собой актуальные научно-исследовательские задачи.

Объект исследования — автоматизированные системы сопровождения и видеослежения за движущимися объектами с использованием поворотной видеокамеры.

Предмет исследования — методы и алгоритмы обнаружения, видеослежения и измерения параметров движущихся объектов на изображениях видеопоследовательности, показывающие инвариантность и робастность к геометрическим преобразованиям.

Целью диссертационной работы является разработка методов, моделей и алгоритмов видеослежения за движущимися объектами с повышенными быстродействием и робастностью к геометрическим преобразованиям.

Научная задача диссертации — совершенствование существующих и разработка новых элементов информационно-измерительной системы видеослежения за подвижными объектами, функционирующей в реальном масштабе времени, улучшение ее метрологических, эксплуатационных и экономических характеристик.

Поставленная научная задача исследования решается в следующих основных направлениях:

Анализ существующих методов обнаружения и определения параметров движущихся объектов на изображениях.

Исследование и разработка инвариантных и робастных к аффинному преобразованию методов и алгоритмов, позволяющих устойчиво обнаружить объекты и оценивать их параметры на статических изображениях и в кадрах видеопоследовательности;

Исследование способов осуществления этих алгоритмов в режиме реального времени;

Разработка алгоритмов управления движением наклонно-поворотной платформы, обеспечивающих автоматическое слежение за движущимся объектом;

Компьютерное моделирование процесса обнаружения и слежения за движущимся объектом и процесса вычисления его параметровРазработка инструментальных средств построения автоматизированной системы слежения, работающей в реальном масштабе времени.

Методы исследования. Для достижения поставленной цели в диссертационной работе используются теория вероятностей, теория случайных процессов, теория распознавания образов, теория вычислительной математики, параллельное программирование, теория оценки параметров, теория компьютерного зрения, теория систем автоматического управления, а также методы имитационного компьютерного моделирования, физического эксперимента и оптимальной фильтрации.

При выполнении диссертационной работы используются следующие программные обеспечения:

Среда разработки и имитационного моделирования динамических систем Simulink-Matlabпакеты обработки изображения и видеосигнала в среде Matlab;

Среда разработки Microsoft Visual Studio С++;

Библиотеки алгоритмов компьютерного зрения OpenCV;

Библиотеки выделения ключевых точек SIFT-алгоритма на центральном процессоре «VLFeat» и на графическом процессоре «SIFTGPU»;

Библиотека параллельного вычисления на графических процессорах на основе языка CUDA.

Научная новизна работы. В процессе проведения исследования получены следующие новые научные результаты:

1. Разработан метод сопоставления изображений на основе пространственных дескрипторов ключевых точек известного SIFTалгоритма, позволяющих ускорить этап вычисления в 40 раз и уменьшить размерность от 128 до 60 по сравнению с SIFT-дескриптором, при этом увеличивается его производительность;

2. Впервые разработан и исследован метод выделения областей изображения на основе пирамиды разностей Гауссианов и нормализации участков изображения, увеличивающий робастность сопоставления изображений к изменению ракурса до 80 градусов, и позволяющий разделить однородные области изображения на несколькие с определенными геометрическими характеристиками;

3. Разработана методика видеослежения на основе сопоставления пространственных дескрипторов SIFT-KT, которая адаптирует множество КТ объекта слежения с учетом результатов сопоставления в предыдущих кадрах видеопоследовательности;

4. На основе предложенного метода сопоставления изображения с использованием пространственных дескрипторов разработаны программные комплексы сопоставления изображений и слежения за объектами в среде Matlab и в среде Microsoft Visual Studio С++;

5. Предложена модификация для обновления вектора состояния объекта слежения на этапе коррекции в фильтре Калмана, обеспечивающая уменьшение погрешностей оценивания местоположения объекта слежения;

6. Разработан вариант метода сопоставления пространственных дескрипторов в программном обеспечении, исполняемый ' на графическом процессоре. Получен коэффициент ускорения вычисления в пределах 20 по сравнению с исполнением на центральном процессоре компьютера.

Основные положения, выносимые на защиту.

1. Метод сопоставления изображений на основе пространственных дескрипторов ключевых точек SIFT-алгоритма;

2. Метод выделения областей изображения, опирающийся на пирамиду разностей Гауссианов и нормализацию участков изображения.

3. Аналитические выражения для погрешностей измерения координат объекта в системе слежения;

4. Методика видеослежения за объектами на основе пространственных дескрипторов и обновления модели объекта слежения;

5. Результаты компьютерного моделирования и экспериментального исследования системы сопровождения подвижных объектов.

Практическая ценность новых научных результатов.

Работа доведена до разработки инженерных методик систем слежения и сопровождения, которые охватывают методологические, информационные, математические, технические и программные обеспечения.

Практическая ценность работы состоит в том, что разработанный метод сопоставления изображений на основе пространственных дескрипторов улучшает быстродействие алгоритма видеослежения и позволяет адаптировать модель объекта в ходе слежения без значительных временных затрат.

Практическая особенность разработанных программных обеспечений в средах разработки Matlab и Microsoft Visual Studio С++ заключается в возможности их использования для слежения за разными объектами, выполняющих некоторые условия обнаружения.

Результаты исследования диссертационной работы могут послужить основой для развития новых систем компьютерного зрения таких, как системы распознавания объектов и стабилизации изображения.

Апробация результатов.

Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях:

• Всероссийская научно-практическая конференция «Проблемы перехода к устойчивому развитию многопрофильных городов», г. Нижнекамск, 2010 г.;

• XXII всероссийская межвузовская научно-техническая конференция, Казанское высшее военное командное училище «Электромеханические и внутрикамерные процессы в энергетических установках, струйная акустика и диагностика, приборы и методы контроля природной среды, веществ, материалов и изделий», г. Казань, 2010 г.;

• XVIII, XIX, XX Международные молодежные научные конференции «Туполевские чтения», г. Казань, 2010, 2011, 2012 гг.;

• Региональная научно-техническая конференция «Информационные технологии и их приложения», Казань, 2011;

• X Международная Четаевская конференция «Аналитическая механика, устойчивость и управление», г. Казань, 2012 г.

Реализация результатов работы:

Разработанные в данной работе методы, алгоритмы и программные обеспечения подходят для организации, занимающихся разработкой систем компьютерного зрения. Основные результаты диссертационной работы используются в учебном процессе на кафедре «Автоматизированные системы обработки информации и управления» ФГБОУ ВПО «Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ».

Публикации. Основные результаты диссертационной работы опубликованы в 13 печатных работах, в том числе в 5 статьях, из них 2 статьи в периодических изданиях, рекомендованных ВАК, и в 8 тезисах докладов.

Структура и объем работы. Диссертация состоит из введения, четырех глав с выводами, заключения, списка использованной литературы из 113 наименований и приложения. Основная часть диссертации изложена на 176 страницах машинописного текста, содержит 59 рисунков и 8 таблиц.

Заключение

.

В данной диссертационной работе были рассмотрены самые известные методы обнаружения объектов на изображениях видимого диапазона спектра излучения. Проведенный анализ существующих подходов к построению информационно-измерительных систем, предназначенных для видеослежения за подвижными объектами, определил преимущество использования метода обнаружения объектов на основе сопоставления изображений с использованием ключевых точек известного SIFT-алгоритма, обеспечивающего инвариантность сопоставления к геометрическим преобразованиям, и робастность к изменениям ракурса и освещенности.

На основе ключевых точек известного SIFT-алгоритма разработан в данной диссертационной работе новый метод сопоставления изображений на основе пространственных дескрипторов, позволяющих ускорить этап вычисления дескрипторов и уменьшить его размерность от 128 до 50 по сравнению с SIFT-дескриптором, в то же время увеличивается его информативность. В результате этого увеличивается быстродействие задачи сопоставления изображений на 25% по сравнению с SIFT-дескриптором.

Этот метод сопоставления изображений служит основой для разработки методики видеослежения за объектами с целью измерения параметров объектов на изображениях видеопоследовательности таких, как местоположение в плоскости изображения, угол ориентации и коэффициент масштабирования. Производительность разработанной системы видеослежения исследовалась в среде разработки Matlab и Microsoft Visual Studio С++. Объектом видеослежения является объект, обладающий богатой текстурой, позволяющей выделить достаточное количество ключевых точек. В качестве такого объекта была выбрана машина (автомобиль), движущаяся на горизонтальной плоскости.

В данной диссертации представлены математическая формулировка задачи сопоставления изображений, математические модели вычисления координат объекта слежения в плоскости изображения и на горизонтальной плоскости мировой системы координат при предположении, что объект слежения движется по горизонтальной плоскости земли. На основе этих моделей получены аналитические зависимости расчета их погрешностей от технических характеристик выбранной видеокамеры и алгоритма обнаружения объекта. Результаты моделирования в среде Matlab позволяют определить зоны надежной работы системы видеослежения.

Для проведения экспериментального исследования сопровождения объектов используется поворотная видеокамера SONY EVI-D100P, которая обеспечивает все требования к применению в задаче видеосопровождения, за исключением скорости передачи данных с компьютером. Для данной видеокамеры проводились задачи моделирования и идентификации системы движения по осям панорамирования и наклона. На основе этого разработана компьютерная модель в среде Simulink с целью исследования и уточнения параметров контроллеров управления движением видеокамеры. Следовательно, эти контроллеры использовались в замкнутом контуре управления реальной видеокамеры в режиме моделирования движения объекта и процесса видеослежения в среде Matlab, и также в режиме видеосопровождения за реальным объектом в среде MS VS.

В результате видеослежения, сопровождающегося ошибками измерения местоположения в плоскости изображения, вычисляются зашумленные углы рассогласования между направлением на объект и направлением оптической оси ВК. Следовательно, вычисляется местоположение объекта в горизонтальной плоскости. Исходя из этих зашумленных измерений, оценивается местоположение объекта с использованием фильтра Калмана и модели прямолинейного движения с равномерной скоростью с учетом предложенной модификации на этапе обновления фильтра Калмана, которая позволяет быстрее корректировать направление вектора скорости движения и уменьшить среднеквадратическую ошибку оценивания.

В процессе проведения исследования получены следующие новые научные результаты:

1. Разработанный метод сопоставления изображений, опирающийся на разработку пространственных дескрипторов ЗШТ-ключевых точек, позволяет по сравнению с 81РТ-дескриптором увеличить быстродействие этапа построения дескрипторов в 40 раз и уменьшить их размерность от 128 до 60. В итоге увеличивается быстродействие сопоставления на 25%, а малая размерность пространственного дескриптора позволяет уменьшить объем требуемой памяти для их сохранения и время их передачи;

2. Разработанный метод выделения участков изображения на основе пирамиды разностей Гауссианов увеличивает робастность сопоставления изображений к изменению ракурса до 80 градусов. Он также позволяет разделить однородные области изображения на несколькие с определенными геометрическими характеристиками;

3. Разработанная методика видеослежения на основе сопоставления пространственных дескрипторов 8ШТ-ключевых точек уменьшает вычислительную сложность на 30% по сравнению с ЗШТ-дескриптором и исполняется в реальном масштабе времени при количестве ключевых точек, не превышающем 100;

4. Предложенная адаптация множества ключевых точек объекта слежения на основе результатов их сопоставления в предыдущем кадре улучшит производительность слежения. Низкая вычислительная сложность пространственных дескрипторов позволяет при адаптации перестроить модель объекта повторно в ходе слежения без значительных временных затрат;

5. Предложенная модификация на модель прямолинейного движения с равномерной скоростью обеспечивает уменьшение погрешностей оценивания местоположения объекта слежения, особенно при больших периодах обновления измерений;

6. Разработанное программное обеспечение, исполняющее метод сопоставления изображений на графическом процессоре обеспечивает коэффициент ускорения вычисления выше 20 по сравнению с вариантом, исполняемый на центральном процессоре компьютера. Этот вариант является необходимым для того, чтобы исполнить задачу видеослежения за объектами в реальном масштабе времени при обнаружении на полном изображении.

В связи с разработанными в данной диссертационной работе методами, алгоритмами и программными комплексами можно перечислить следующие перспективные задачи исследования:

1. Так как SIFT-алгоритм выделения ключевых точек имеет ограничение при рассмотрении мало текстурированных объектов, то в дальнейшем целесообразно включить с предложенной методикой видеослежения другой простой метод такой, как оптический поток.

2. Так как разработанный пространственный дескриптор строится на основе полутоновых изображений, совершенствовать этот дескриптор для описания цветных изображений можно с использования SIFT-детектора на каждом из RGB-каналов [111, 112];

3. Появились другие варианты SIFT-детектора с низкой вычислительной сложностью такие, как «fast SIFT», с помощью которых можно уменьшить вычислительную сложность задачи слежения [113].

4. Среди проблем связанных с приобретенной поворотной видеокамерой SONY EVI-D100P при экспериментальном исследовании можно перечислить: низкая скорость передача данныхразмытие изображения при небольших скоростях вращения, и ограничение угла наклона ВК на ±25 градусов;

5. Оптимизировать исполнение на графическом процессоре с учетом новых инструментальных средств разработчика от компании NVidia, которые позволяют конкурентно исполнить несколько ядер вычисления одновременно с передачей данных между центральным и графическим процессором.