Алгоритм процесса обработки изображения моделью SRCNN

Работа SRCNN начинается с единственного процесса предварительной подготовки, заключающегося в масштабировании исходного изображения до желаемых размеров с помощью бикубической интерполяции. Обозначим интерполированное изображение за Y. Задача модели вернуть из Y изображение F (Y) и главным показателем успешности данного процесса является максимальное соответствие F (Y) оригинальному увеличенному изображению X (ground-truth), которое используется в процессе обучения, но совершенно неизвестно при целевом использовании SRCNN. Для упрощения формулировки, Y далее будет ассоциироваться с ординальным изображением низкого разрешения, несмотря на тот факт, что оно по размерам равно желаемому увеличенному изображению, то есть X. Необходимо обучить систему сквозному преобразованию F, которое концептуально состоит из 3 основных этапов:

• 1. Извлечение участков изображения (patch extraction): данная операция извлекает частично перекрывающие друг друга участки изображения низкого разрешения Y и преобразует каждый участок в высокоразмерный вектор. Данные вектора содержат в себе карты свойств (feature maps), для которых их количество равно размерности данного вектора.
• 2. Нелинейное преобразование: данная операция нелинейным образом соотносит каждый высокоразмерный вектор с другим высокоразмерным вектором. Каждый преобразованный высокоразмерный вектор представляет собой тот же участок изображения, только с более высоким разрешением. Данные вектора так же заключают в себе уже другие коллекции карт свойств.
• 3. Реконструкция изображения: данная операция агрегирует векторизированные образы участка изображения повышенного разрешения, создавая окончательное графическое представление. Предполагается, что результатом этого этапа будет изображение, максимально похожее на X.

Все 3 этапа реализованы на базе свёрточных слоев нейронной сети. Этап извлечения традиционно для задач SR представлен как процесс плотного извлечения участков изображения определенной размерности с последующим применением к ним метод главных компонент, дискретное косинусное преобразование или преобразование Хаара для уменьшения размерности входных параметров с минимальными потерями. Данный процесс аналогичен конволюции изображения набором фильтров. Таким образом работа первого слоя нейронной сети можно представить в виде формулы:

, (2.1).

где W₁ и B₁ соответствуют фильтру и смещению (bias) соответственно, а знак «*» означает операцию конволюции. W₁ представляет собой набор фильтров в количестве n₁ с размерностью, где с равно количеству каналов изображения, а f₁ размер фильтра. Результат представляет собой набор карт свойств в количестве n₁. Так же к данной конволюции применяется функция ReLU ().

Следующий за извлечением этап нелинейного преобразования принимает на вход вектора размерности n₁ и преобразовывает их в вектора размерности n₂. Данная операция равнозначна конволюции с фильтрами размерами 1*1 в количестве n₂. К слову, данная интерпретация действительна только для фильтров с единичной размерностью. Таким образом операцию можно описать формулой:

, (2.2).

где W₂ и B₂ соответствуют очередным фильтру и смещению (bias) соответственно, а знак «*» означает очередную операцию конволюции. W₂ снова представляет собой набор фильтров в количестве n₂ с размерностью. К конволюции так же применяется функция ReLU. Каждый новый вектор размерности n₂ концептуально представляет собой участок высокого разрешения, связанных с аналогичным участком низкого разрешения. Возможно увеличить количество скрытых свёрточных слоев для увеличения уровня нелинейности преобразования, но данная модификация усложнит систему и приведет к увеличенному времени её обучения, поэтому в рамках данной работы нелинейное преобразование будет состоять из одной конволюции.

На этапе реконструкции в традиционных методах SR значения перекрывающихся областей усредняются, что в итоге складывается в результирующее изображение высокого разрешения. Процесс усреднения так же может быть интерпретирован, как конволюция установленным заранее фильтром для карты свойств, где каждая позиция представляет собой «сглаженную» область высокого разрешения. Имея ввиду данное предположение, последний слой можно описать с помощью формулы:

, (2.3).

где W₃ означает набор из линейных фильтров с размерностью в количестве с, а является вектором размерностью с. Структура нейронной изображена на Рисунке 2.2:

Рисунок 0.1. Структура SRCNN.