Улучшение качества тепловизионных изображений на основе суперразрешения и анализа ситуаций

Актуальность. Одной из основных характеристик оптико-электронных тепловизионных систем наблюдения (TUB СН), определяющих эффективность решения целевых задач оператором, является качество сформированного изображения. При этом качество изображения в значительной мере связно с его разрешением, а также точностью отображения границ (краев) объектов интереса [1]. В последние годы применение «смотрящих» фокально — плоскостных двумерных многоэлементных матриц фотоприемников позволило существенно увеличить качество изображений ТВП СН [2−4]. Несмотря на это, разрешение таких приемников значительно ниже аналогичных по классу телевизионных приемников. В большей степени это обусловлено современными технологиями производства! Кроме этого, на тепловизионные приемники высокого разрешения накладываются, жесткие таможенные ограничения, а приемники с разрешением выше 1280×768 серийно не выпускаются.

Увеличение разрешения тепловизионных систем наблюдения возможно осуществлять аппаратными, программными и аппаратно-программными методами. Развитие современной микроэлектроники позволяет успешно применять программные методы увеличения разрешения. Среди программных методов можно выделить методы, использующие один" кадр, и методы, использующие последовательность кадров. В литературе методы, использующие последовательность кадров часто называются методами суперразрешения [5 -10]. Методы суперразрешения используют серию кадров низкого разрешения для получения кадра (кадров) высокого разрешения. Увеличенное таким методом изображение содержит в себе больше деталей, и обладает большей информативностью, чем каждый кадр по отдельности. В то же время, при увеличении разрешения тепловизионных изображений, возможно усиление краевого эффекта — размывания границ наблюдаемых объектов, в частности искусственных (зданий, сооружений).

И]. Для уменьшения влияния краевого эффекта предлагается обрабатывать эти границы специальным фильтром. При этом обрабатываемые области предварительно локализуются с помощью анализа наблюдаемой ситуации, реализуемого вычислителем системы наблюдения.

Цифровой обработке изображений в отечественной и зарубежной литературе посвящено большое число работ [12-—16]. Тем не менее, в настоящее время в тепловизионных системах наблюдения для улучшения качества не применяются методы увеличения разрешения, основанные на методах суперразрешения' и анализе наблюдаемой ситуации. Восстановление этих границ на основе традиционногоиспользования, например, высокочастотных фильтров, не всегда позволяет, получать. желаемые результаты, либо вообще может привести к искажению. формьг полученных линий по отношению к истинным: (идеальным) границам изображений объектов. В связи с этим исследование иразработка методов' улучшения качества тепловизионных изображений на основе суперразрешения и анализа ситуаций является актуальной задачей.

Целью диссертационной, работы являетсяулучшение качества предъявляемых оператору тепловизионных изображений за счет повышения разрешения: методами суперразрешения и точности отображения краев искусственных объектов на основе использования методов анализа ситуаций.

Для достижения сформулированной цели необходимо решить следующие основные задачи:

• исследовать влияние разрешения приемника ТПВ на вероятностиобнаружения/распознавания целей в зависимости от их дальности;

• провести анализ известных алгоритмов увеличения разрешения — изображений и выделить наиболее эффективные из них;

• разработать метод компенсации краевых эффектов на тепловизионных изображениях высокого разрешения на основе анализа ситуации;

• разработать комплексный алгоритм улучшения качества тепловизионных изображений;

• провести исследование разработанного' комплексного алгоритма и предложить критерий оценки качества восстановленного изображения;

• провести исследования, подтверждающие работоспособность и эффективность предлагаемых решений;

Методы исследования. В работе использованы методы^ математического моделирования, цифровой* обработки*, сигналов, теории вероятностей, математической статистики, компьютерного • зрения. Моделирование проводилось в среде Microsoft VisuaL Studio, Matlab, Borland, Delphi. Для" реализации, алгоритмов использовались языкиС и С++ в среде программирования Texas Instruments^ Code Composer Studio" для DSP-процессоров серии TMS320C64xx'.

Научная новизна работы состоит в следующем:

1. Определены особенности: применения методов суперразрешения при обработке тепловизионных изображений: Показана" зависимость эффективности методов суперразрешения, от числа используемых кадров в серии и величины фактора заполнения матрицы^приемника.

2. Предложен, критерий оценки, качества изображения, основанный на использовании среднеквадратического отклонения производной яркости.

3. Разработан метод обнаружения краев сегментируемых областей на тепловизионном изображении искусственных сооруженийоснованный на анализе ситуаций, в том числе с использованием цифровых карт местности.

4. Разработана методика улучшения качества тепловизионных изображений, содержащих искусственные сооружения.

Практическая ценность работы заключается в том, что разработанный и реализованный алгоритм позволяет программными средствами существенно (до 4-х раз) увеличивать разрешение и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений. Это повышает эффективность работы оператора-наблюдателя системы наблюдения в задачах обнаружения, распознавания, слежения и т. п. Также возможно использование результатов работы при модернизации серийно выпускаемых тепловизионных систем наблюдения, в том числе, в многоканальных системах с комплексированием изображений [17−19].

Достоверность результатов, полученных в работе, подтвердилась результатами математического моделирования, а также в процессе проводимых исследований и, испытаний в ЗАО «ТПК «Линкос» в. рамках НИР «Интриган», ОКР: «Интриган-Д2», «Тайфун-М-ОЭС», что подтверждается, соответствующими*актами о внедрении результатов-диссертационной работы.

Апробация работы. Основные положения докладывались на 18-ом международном научно-техническом семинаре «Алушта-2009», на VIII' всероссийской юбилейной научно-технической конференции «Проблемы совершенствования робототехнических и интеллектуальных систем* летательных аппаратов», 9-ой Международной* конференции* «Авиация и. космонавтика-2010», научно-технической конференции «Техническое зрение в системах управления — 20Г1».

Публикации. По результатам диссертационной работы опубликовано 4 работы, в том числе 2 научно-технических статьи в изданиях, включенных. в перечень ВАК.

Структура и объем работы.

Диссертация состоит из введения, четырех глав, заключения, списка литературы. Работа изложена на 111 страницах машинописного текста, содержит 43 рисунка, 7 таблиц и 63 наименования литературных источников.

4.5 Выводы.

Разработан критерий оценки качества изображения, основанный на использовании среднеквадратического отклонения координаты максимума производной яркости вдоль границы.

Разработан1 комплексный алгоритм улучшения качества тепловизионных изображений, основанный на методе суперразрешения и предложенном методе компенсации краевых эффектов, позволяющий существенно (до 4-х раз) увеличивать разрешение изображений и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений.

На основании результатов экспериментов, проведенных с помощью опытных образцов разрабатываемой ТПК «Линкос» ТПВ СН показано, что предлагаемые решения являются работоспособными и позволяют в существенной степени повысить качество предъявляемых оператору тепловизионных изображений.

Заключение

.

В представленной работе сформулирована и решена актуальная техническаязадача улучшения качества предъявляемых оператору тепловизионных изображений1 за счет повышения разрешения методами суперразрешения> и точности отображения^ краев искусственных объектов на основе использования методов анализа ситуаций.

В рамках проведенных системных исследований было показано, что многокадровые методысуперразрешения являются наиболее эффективными, программными методами увеличения разрешенияВ: частностиошибки восстановленных кадров методом суперразрешения ниже на 45−65% наиболее простых методов? ближайшего соседа и на 25−35% наиболее эффективных однокадровых методов бикубической интерполяции: Кроме тогона основе проведенного анализа методов суперразрешения" показано— что важным? параметром, влияющим* на эффективность, методов. суперразрешения, является число используемых кадров в серии и-величина-фактора заполнения матрицы? приемника-. При этом, т.к. тепловизионные матрицы имеютсущественно. более низкий" фактор,' заполнения, применение: методасуперразрешенияк ТПВ видеопоследовательностям более эффективно, чем к телевизионным видеопоследовательностям: В среднем разницав эффективности, применения методов суперразрешениядля ТВ и ТПВ около 13−17%.

Предварительная реализация методовсуперразрешения показала-, что при увеличении разрешения тепловизионных изображений возможно также увеличение нежелательных краевых эффектов, с целью устранения которых, были определены направления исследований, основанные на использовании методов анализа ситуаций.

На основе выбранных направлений исследований предложены, и реализованы методы и алгоритмы, позволяющие решить поставленные в работе задачи:

1. Реализован алгоритм быстрого суперразрешения. Отмечено, что одним из основных этапов увеличения разрешения методами быстрого суперразрешения’является определение межкадрового движения. Предложен комбинированный метод определения межкадрового движения, суть которого состоит в том, чтобы проводить грубую оценку блочным методом, а уточнять и проводить субпиксельную оценку методом Лукаса-Канаде.

2. Разработан критерий* оценки качества изображения, основанный на использовании' среднеквадратического отклонения координаты максимума производной яркости вдоль границы.

3. Разработан, метод компенсации краевых эффектов, обеспечивающий повышение точности отображения краев объектов интереса (зданий, искусственных сооружений) на тепловизионном изображениивысокого разрешения, при этом, локализация обрабатываемых областей, позволяющая определить границы искусственных объектов, выполняется на основе анализа наблюдаемой ситуации и использовании цифровых карт местности.

4. Предложено использование статистических методов обнаруженияи, распознавания для принятия" решения о принадлежности контурной линии искусственному сооружению. В качестве признака принадлежности^ найденных линий искусственным сооружениям предлагается! использовать, среднеквадратическое отклонение координаты максимума производной яркости вдоль границы линии. В зависимости от наличия цифровых карт местности рассмотрены, различные критерииобнаружения. Предлагается использовать критерий идеального наблюдателя' Зигерта-Котельникова для случая использования цифровых карт местности, а также критерий максимального правдоподобия Фишера для случая их отсутствия.

5. Предложен фильтр для двухстороннего восстановления окраски приграничных областей фона и объекта на основе сглаживания их яркостей.

Данный фильтр в наименьшей степени изменяет области, прилегающие к обрабатываемой линии, и предотвращает появление артефактов и искажений формы полученных линий по отношению к истинным границам изображений объектов.

6. Разработан комплексный алгоритм улучшения качества тепловизионных изображений, основанный на методе суперразрешения и предложенном методе компенсации краевых эффектов, позволяющий существенно (до 4-х раз) увеличивать разрешение изображений и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений.

7. На основании результатов экспериментов, проведенных с помощью опытных образцов разрабатываемых ТПК «Линкос» тепловизионных систем наблюдения показано, что предлагаемые решения являются работоспособными и позволяют в существенной степени повысить качество предъявляемых тепловизионных изображений.