Разработка алгоритмов стабилизации и компрессии изображений для систем видеонаблюдения мобильных робототехнических комплексов

Перспективным направлением автоматизации в различных областях человеческой деятельности, включая транспортную, промышленную и военную отрасли, является создание мобильных робототехнических комплексов (МРК). Существенным преимуществом МРК является их способность функционировать в экстремальных и опасных для жизни человека условиях: они позволяют без риска для человека перевозить радиоактивные и другие вредные вещества, контролировать обстановку в районах экологических катастроф, проводить аварийно-спасательные работы в атомной энергетике, химической, нефтегазовой и горнодобывающих отраслях, операции по борьбе с терроризмом и действия в условиях военных конфликтов.

Ряд программ, проводимых в США, Западной Европе, Израиле, Японии и России, направлен на разработку и внедрение в промышленных масштабах комплексов, которые дистанционно управляются человеком, находящимся на командном пункте и получающим видеоинформацию от бортовых источников МРК по радиоканалам телекодовой связи. Среди российских разработок в этой области можно отметить следующие комплексы [1]:

— РТК РД — робототехнический комплекс разведки и дезактивации, предназначенный для проведения первоочередных работ при ликвидации последствий радиационных аварий и включающий мобильное транспортное средство с манипулятором, телевизионное и осветительное оборудование, а также передвижной пункт управления;

— КРТ-100М—- робототехнический комплекс, предназначенный для проведения работ при ликвидации последствий аварий преимущественно на открытых площадках и крышах атомных электростанций (АЭС), предприятий ядерного топливного цикла. Мобильный аппарат КРТ-100М снабжен отвалом, осветительным и телевизионным оборудованием, состоящим из двух обзорных полноповоротных видеокамер;

— МРК-27МА.00 — робототехнический комплекс для ликвидации последствий аварий преимущественно в помещениях, с помощью которого можно перемещать предметы и проводить осмотр пространства в аварийной зоне. Подвижный аппарат оснащен тремя телевизионными камерами.

Другим видом дистанционно управляемых комплексов являются беспилотные летательные аппараты (БПЛА), активно используемые для оперативного получения разведывательных данных (в том числе в зоне конфликта), а также точечного уничтожения наземных целей. Из современных российских разработок можно отметить БПЛА ZALA 421−06 и ZALA 421−12 компании «Беспилотные системы» [28]. ZALA 421−06— это БПЛА вертолетного типа, позволяющий проводить разведывательные операции в труднодоступных и опасных для человека местах. Его основными преимуществами являются вертикальный взлет и возможность зависания над объектом. БПЛА ZALA 421−12 с увеличенной продолжительностью полета был разработан для решения задач пограничных подразделений. На его борту размещена стабилизированная в двух осях цветная видеокамера с обзором любой точки нижней полусферы.

Дистанционное управление МРК осуществляется с помощью человеко-машинного интерфейса на основе визуальной информации, поступающей от собственной телевизионной системы подвижного аппарата или установленного навесного оборудования. Получаемая видеоинформация используется как для оценки окружающей обстановки, навигации и формирования управляющих команд оператором, так и для автоматической интерпретации видеоданных, полученных от телевизионных камер, с последующей идентификацией или классификацией объектов, наблюдаемых в контролируемом пространстве. Освобождение оператора от выполнения рутинных действий существенно повышает эффективность управления, однако при использовании автоматизированного (а не автономного) комплекса остается возможность вмешательства специалиста в экстренных или неоднозначных ситуациях. Этим объясняются повышенные требования, предъявляемые к качеству видеоизображения: система передачи видеоданных должна обеспечивать максимально достоверную и полную визуальную информацию при минимальных вносимых искажениях.

Ограниченная пропускная способность существующих радиоканалов связи не позволяет передавать без компрессии большие потоки видеоданных от камер наблюдения. установленных на борту аппаратно-программных комплексов. Это объясняет необходимость синтеза новых методов обработки и кодирования динамически меняющихся изображений, позволяющих адаптироваться к изменению радиоэлектронной обстановки и объему передаваемой информации.

При проектировании МРК выбор того или иного метода компрессии определяется не только его характеристиками сжатия, но и вычислительной сложностью реализации. Часто останавливаются на простейших алгоритмах видеокодирования, подразумевающих независимую покадровую обработку поступающей видеоинформации. Очевидно, что добиться высокой степени сжатия в этом случае не представляется возможным, однако подобный метод компрессии не требует больших вычислительных ресурсов и обеспечивает надежность передачи видеоданных: ошибка, возникшая при трансляции одного кадра, не влияет на корректность восстановления последующих кадров, что минимизирует задержку, возникающую в процессе декодирования при наличии помех в радиоканале. Примером такого подхода является метод Motion JPEG, в котором каждый кадр сжимается алгоритмом JPEG [72].

Распространенные стандарты видеокодирования, такие как MPEG-2 [73], MPEG-4 [74] и Н.264 [79], позволяют добиться лучшего соотношения качество/сжатие, используя хмеханизм компенсации движения, но построение прогнозных кадров, как правило, занимает более половины процессорного времени, затрачиваемого на обработку текущего кадра. Кроме того, данные алгоритмы основаны на дискретном косинусном преобразовании (ДКП), что при малых битовых затратах приводит к появлению на восстановленных видеоизображениях характерных блочных искажений, затрудняющих их визуальное восприятие и, следовательно, не позволяющих человеку-оператору адекватно оценить обстановку. Еще одним недостатком является невозможность изменения битовой скорости закодированного потока в режиме реального времени.

Специалисты в области прикладной теории передачи данных уделяют повышенное внимание увеличению эффективности существующих методов компрессии, стандарты которых определяют лишь формат битового потока и способ его декодирования, а не сами вычислительные процедуры. Кроме того, активно разрабатываются новые алгоритмы сжатия видеоинформации на базе вейвлет-преобразования: примерами исследований в этом направлении могут служить работы таких ученых как John W. Woods [141−143], Deepak S. Turaga и Mihaela van der Schaar [131—133]. Очевидно, что использование вейвлет-кодирования является перспективным направлением и со временем ляжет в основу новых стандартов видеокомпрессии.

Большинство из многочисленных публикаций по теме сжатия видеоданных, однако. либо содержат лишь общее описание методов кодирования, либо в них, наоборот, рассматривается только некоторая часть алгоритма компрессии (например, компенсация межкадрового движения), либо результаты соответствующих исследований на текущий момент не могут быть использованы на практике из-за слишком большой вычислительной сложности.

В связи с вышесказанным крайне актуальными являются как исследования, позволяющие повысить эффективность известных методов компрессии статических и динамических изображений, так п разработка новых алгоритмов кодирования, обладающих невысокой программной и аппаратной сложностью, которые могут быть успешно использованы в различных системах видеонаблюдения.

Способы кодирования, используемые для сжатия видеопотока в реальном времени, отличаются от тех, которые используются для архивного хранения видеоданных. Во-первых, такие алгоритмы должны обеспечивать возможность их реализации с быстродействием, достаточным для обработки видеокадров с нужной частотой. Также желательно, чтобы при необходимости они могли быть легко адаптированы под конкретную архитектуру вычислительного устройства (в том числе многопроцессорного или многоядерного), которое будет использовано в составе программно-аппаратного комплекса. Во-вторых, алгоритм компрессии должен учитывать особенности передачи видеопотока по каналам с переменной и/или ограниченной пропускной способностью, в частности, иметь возможность быстро и гибко регулировать объем генерируемого битового кода.

Другой актуальной задачей обработки данных, поступающих от телевизионной системы МРК, является компенсация перемещения видеодатчика для подавления нежелательного дрожания и последующего анализа видеоинформации на предмет наличия в кадре различных объектов, например, движущихся целей.

Целью диссертационной работы является разработка методов стабилизации и компрессии изображений, ориентированных на применение в системах видеонаблюдения мобильных робототехнических комплексов при различных характеристиках используемых в них вычислительных элементов и каналов передачи данных.

Основные задачи, решение которых требуется для достижения поставленной цели, следующие:

— исследование существующих подходов к сжатию динамических и статических изображений на основе различных декоррелирующих преобразований и анализ методов стабилизации видеоизображений;

— разработка JPEG-подобного алгоритма контекстного кодирования изображения на основе межблочных статистических связей между коэффициентами ДКП соседних блоков для использования в системах видеонаблюдения с невысокими вычислительными ресурсами;

— синтез алгоритма определения сдвига источника видеосигнала на основе блочного ДКП;

— разработка метода масштабируемого кодирования векторов перемещения блоков видеокадра;

— разработка алгоритма видеокомпрессии на основе иерархического кодирования коэффициентов ДВП и блочной компенсации движения в пространственной области для систем видеонаблюдения МРК, обладающих высокими вычислительными ресурсами;

— реализация предложенных методов и их оптимизация, создание программных средств для тестирования, оценка эффективности разработанных алгоритмов с помощью тестовых изображений и видеопоследовательностей;

— выработка рекомендаций по практической реализации разработанного видеокодера с использованием мультимедийных цифровых сигнальных процессоров и многопроцессорных элементов.

В процессе работы над диссертацией в качестве методов исследования использовались методы линейной алгебры, теории вероятностей и математической статистики, теории цифровой обработки и кодирования данных. Экспериментальные исследования проводились с помощью численного моделирования на персональном компьютере в средах разработки Microsoft Visual Studio и MATLAB. Научная новизна диссертации заключается в:

— создании нового метода контекстного кодирования на базе межблочной корреляции между модулями коэффициентов ДКП для использования в JPEG-подобной схеме компрессии, позволяющего повысить характеристики сжатия за счет несущественного повышения вычислительной сложности;

— разработке нового алгоритма определения сдвига видеоизображения, основанного на выделении в кадре характерных блоков с помощью анализа коэффициентов ДКП, который обеспечивает высокую точность даже при небольшом числе рассматриваемых блоков;

— разработке нового алгоритма видеокомпрессии на базе ДВП, который включает метод трехслойной обработки векторов движения, повышающий эффективность кодирования на низких битовых скоростях.

Практическая значимость результатов, полученных в диссертационной работе, заключается в том, что разработанные алгоритмы стабилизации и компрессии статических и динамических изображений позволяют повысить эффективность обработки видеоданных как в рамках специализированных систем управления МРК, так и в комплексах видеонаблюдения более широкого профиля.

Алгоритм видеокомпрессии [2] был разработан в рамках научно-исследовательской работы [5−7]. основанием для проведения которой являлся Государственный контракт от 18 мая 2007 г. № 02.514.11.4024, заключенный Роснаукой с МИЭТ — победителем конкурса на право заключения государственных контрактов на выполнение НИР для государственных нужд в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007;2012 годы» (мероприятие 1.4 Программы, II очередь) по лоту 2.2007;4−1.4−00−03 «Кодирование и передача динамически меняющихся изображений».

Разработанные алгоритмы видеокомпрессии внедрены в макетных образцах систем видеонаблюдения в НИИ ВСиСУ МИЭТ.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на 11-й, 12-й, 13-й и 14-й Всероссийских межвузовских научно-технических конференциях студентов и аспирантов «Микроэлектроника и информатика» (Москва, МИЭТ, 2004, 2005, 2006 и 2007 гг.), а также на 4-й Российско-Баварской конференции по биомедицинской инженерии (Москва, МИЭТ, 2008 г.).

Публикации. По теме диссертации опубликовано девять работ [2, 5−8, 16−20, 4143, 134] (среди них три статьи в ведущих рецензируемых журналах [2, 20, 43] и одна статья в трудах международной конференции [134]) — результаты исследований отражены также в пяти отчетах о НИР [5—7, 41, 42]. Основные положения, выносимые на защиту:

— алгоритм сжатия изображений на основе контекстного кодирования коэффициентов ДКП с учетом межблочной корреляции, использующий многомодельный арифметический кодер;

— алгоритм глобальной компенсации движения, использующий векторы перемещения характерных блоков, выбор которых производится на основе анализа коэффициентов ДКП;

— метод трехслойного кодирования векторов движения, позволяющий повысить эффективность кодирования при низких битовых скоростях;

— алгоритм компрессии видеоизображений на основе двумерного ДВП и блочной компенсации с перекрытием, предназначенный для использования в составе МРК. Структура диссертации. Первая глава диссертации является вводной. В ней приведены основные понятия теории обработки цифровых сигналов, в частности, статических и динамических изображений. Рассмотрены различные методы устранения пространственной и временной избыточности, применяемые в алгоритмах кодирования видеоданных. Проанализированы недостатки существующих подходов.

Во второй главе детально рассмотрен предлагаемый алгоритм компрессии изображений, основанный на построении контекстного прогноза для модулей коэффициентов ДКП и использовании многомодельного арифметического кодера. Приведены результаты тестирования алгоритма, подтверждающие, что предложенный подход позволяет повысить качество сжатия изображений в .ТРЕО-подобиой схеме компрессии.

Третья глава посвящена методам глобальной и локальной компенсации движения. В первой ее части приводится описание разработанного алгоритма определения сдвига видеоисточника, суть которого заключается в использовании векторов движения части блоков, отобранных с помощью критерия, базирующегося на значениях коэффициентов ДКП. Дано экспериментальное обоснование эффективности предложенного метода.

Во второй части третьей главы рассмотрена трехслойная схема кодирования векторов перемещения и ее модификация, предназначенные для использования в рамках видеокодеров с блочной компенсацией движения.

В четвертой главе описан предложенный метод сжатия видеоданных, основанный на блочной компенсации движения с перекрытием, трехслойной схеме кодирования векторов перемещения, рассмотренной в третьей главе, а также алгоритме сжатия статических изображений путем разделения множества коэффициентов по иерархическим деревьям в области дискретного вейвлет-преобразования. Рассматриваются аспекты практического использования предложенного алгоритма видеокодирования в рамках системы видеонаблюдения МРК, в частности, анализируются возможности эффективной реализации алгоритма на основе современных цифровых сигнальных процессоров, а также распараллеливания основных вычислительных процедур.

В пятой главе обсуждаются полученные результаты экспериментального исследования характеристик разработанного алгоритма видеокомпрессии с трехслойной схемой кодирования векторов движения.

В заключении сформулированы основные результаты, полученные в ходе выполнения диссертационной работыобозначены перспективы и направления дальнейших исследований.

В приложениях приведены стандартные тестовые изображения и кадры из видеопоследовательностей, которые были использованы при проведении экспериментальных исследований, описание алгоритма SPIHT [118], а также копия акта о внедрении результатов диссертационной работы.

5.4. Выводы.

Реализация предложенного алгоритма видеокомпрессии и тестовых программ на языке С, а также создание вспомогательных приложений в МАТЬАВ позволили смоделировать поведение алгоритма при обработке реальных видеоданных и доказать его эффективность.

Разработанный видеокомпрессор показывает хорошие результаты по соотношению качество/битовые затраты: на одной из тестовых последовательностей выигрыш относительно видеокодера Ху1с1 стандарта МРЕО-4 составил 1 дБ, на других разница в качестве была порядка 0,2 дБ (в одном случае в пользу предложенного алгоритма, в другом — в пользу Ху1с1).

Существенным преимуществом разработанного алгоритма по сравнению с видеокодерами, основанными на ДКП (в том числе Хутс!). является возможность точно контролировать скорость битового потока, что особенно важно при передаче видеоданных от бортовой системы МРК в условиях изменяющейся радиоэлектронной обстановки. В частности, предложенный видеокомпрессор позволяет не допускать «скачков» битовой скорости, и, следовательно, избавляет от необходимости использовать буфер для выходного потока, вносящий дополнительную задержку в процесс передачи.

Если допустить неравномерность битового потока, возникающую в результате использования КО-критерия для кодирования разностного изображения, эффективность предложенного метода повышается.

Алгоритм обладает сравнительно большой вычислительной сложностью, однако его аппаратная реализация на современных ЦСП с использованием параллельных структур позволит повысить скорость обработки видеокадров по сравнению с характеристиками видеокодера, полученными в процессе моделирования.

Заключение

.

В процессе диссертационного исследования были получены следующие основные результаты.

1. Разработан метод, позволяющий повысить качество сжатия в JPEG-подобной схеме компрессии. В основе данного подхода лежит построение контекстного прогноза для модулей коэффициентов ДКП, выполненного над блоками обрабатываемого изображения. В качестве прогноза используется функция выборочной линейной регрессии, коэффициенты которой определяются с учетом межблочных статистических связей. На тестовых изображениях средний выигрыш относительно JPEG с арифметическим кодированием при фиксированном уровне качества составил 3%, максимальный — 7,6%. Алгоритм может быть использован для независимой покадровой обработки видеопоследовательности или кодирования ключевых кадров в видеокомпрессорах, основанных на использовании косинусных преобразований.

2. Разработан алгоритм глобальной компенсации движения, использующий для определения смещения кадра векторы движения характерных блоков размером 8×8 пикселов. Выбор характерных блоков производится на основе анализа коэффициентов ДКП. Проведенное тестирование на реальных видеоданных, полученных при различных погодных условиях, подтвердило эффективность алгоритма — было установлено, что при использовании метода полного перебора для нахождения векторов нулевая ошибка определения сдвига достигалась с использованием всего 30 блоков видеокадра размером 1024×768 пикселов, т. е. менее 0,3% от общего числа блоков.

3. Предложена трехслойная схема компенсации движения, которая может быть встроена в любой видеокодер, основанный на вычислении поля векторов для блоков изображения. Метод позволяет генерировать вложенный код для поля векторов и перераспределять битовый бюджет между кодированием разностного изображения и информации о движении, а также улучшает характеристики сжатия на низких битрейтах. Алгоритм прост в реализации и может быть встроен в любую схему видеокомпрессии, основанную на блочной компенсации движения. Рассмотрена модификация метода, позволяющая снизить вычислительные затраты на поиск векторов движения за счет уменьшения области поиска на втором и третьем слоях.

4. Разработан алгоритм сжатия видеопотока для системы видеонаблюдения МРК, позволяющий быстро и точно регулировать битовую скорость в зависимости от состояния радиоканала передачи. Алгоритм основан на блочной компенсации движения с перекрытием и иерархическом кодировании коэффициентов ДВП и включает предложенную трехслойную схему кодирования векторов перемещения. Приведены рекомендации по его эффективной реализации на ЦСП и параллельных вычислительных структурах.

5. Проведено компьютерное моделирование разработанного видеокодера, позволившее экспериментально оценить его эффективность. Полученные характеристики сжатия находятся на уровне, соответствующем алгоритмам семейства МРЕС-4: по сравнению с видеокодером Ху1с1 максимальный выигрыш в качестве (по PSNR) составил 1 дБ. При этом выходной поток разработанного кодера в отличие от видеокомпрессоров, основанных на ДКП, имеет постоянную битовую скорость, которая в случае необходимости быстро и точно регулируется. Показано, что при, снятии ограничения на постоянство битового потока эффективность сжатия может быть дополнительно повышена за счет использования ЯО-оптггмизации не только при поиске векторов движения, но и при кодировании разностного изображения. Аппаратная реализация синтезированного алгоритма видеокомпрессии позволит успешно использовать его для обработки видеоданных в телевизионной системе МРК.

Разработанный метод видеокодирования имеет множество путей для последующего развития. При наличии достаточной вычислительной мощности эффективность предлагаемого алгоритма компрессии может быть повышена за счет использования двунаправленного предсказания при построении прогнозного кадра (В-кадров) — внедрения схемы адаптивной расстановки ключевых кадров и перераспределения битового бюджета между полем векторов движения и разностным изображением, а также между кадрами внутри одной группы в зависимости от состояния канала передачи и характера видеосюжетаприменения методов компенсации движения в области вейвлет-преобразования— эти задачи определяют возможные направления дальнейших исследований.

Результаты, полученные в процессе работы над диссертацией, использовались в ряде научно-исследовательских работ, проводимых в НИИ ВСиСУ МИЭТ, и внедрены в виде алгоритмов обработки видеоданных в макетных образцах специализированных МРК (см. копию акта о внедрении результатов в прил. 4).