Обзор библиотеки компьютерного зрения OpenCV

Библиотека OpenCV была создана для обеспечения общей инфраструктуры приложений компьютерного зрения и для упрощения использования машинного восприятия для коммерческих целей. Будучи лицензированным BSD-продуктом, OpenCV упрощает для предприятий использование и модификацию кода.

В библиотеке имеется более 2500 оптимизированных алгоритмов, которые включают в себя полный набор классических и современных программ и алгоритмов машинного обучения. Эти алгоритмы могут использоваться для обнаружения и распознавания лиц, идентификации объектов, определения действий человека по видео, отслеживания движений, создания 3D-моделей по видео или фото, создания 3D-точечных облаков с помощью стереокамер, совмещения изображений для получения высокого разрешения, сопоставления и поиска похожих изображений, удаления эффекта «красных глаз» из изображений, сделанных с помощью вспышки, слежения за движениями глаз, распознавания маркеров, чтобы накладывать их на дополненную реальность. В OpenCV насчитывается более 47 тысяч пользователей сообщества разработчиков и оценочное количество загрузок превышает 14 миллионов. Библиотека широко используется в компаниях, исследовательских группах и правительственных органах [17].

Рассмотрим как OpenCV хранит данные самой картинки, которую в дальнейшем можно обработать каким-либо методом. Так как скорость обработки картинки зависит от того, как именно в памяти компьютера будет храниться информация об изображении, очень важно использовать самый оптимальный способ. Изображения в OpenCV хранятся в экземпляре класса Mat. Это сделано для того, чтобы не затруднять работу программиста, потому что благодаря классу Mat не нужно постоянно выделять память и освобождать её после использования. Большинство функций OpenCV автоматически выделяют и освобождают память. Mat — это класс, содержащий два типа данных: заголовок матрицы (содержащий информацию, такую как размер матрицы, метод, используемый для хранения) и указатель на матрицу, содержащую значения пикселей изображения (принимая любые размеры в зависимости от метода, выбранного для хранения). Размер заголовка матрицы является постоянным, однако размер самой матрицы может изменяться от изображения к изображению. Размер матрицы для хранения изображения зависит от типа самой картинки, если она черно-белая, то оптимальным будет хранение только значений интенсивности белого.

Операции над матрицами очень просты. Идея заключается в том, что программа пересчитывает значение каждого пикселя в изображении в соответствии с шаблонной матрицей (также известной как ядро или маска, то есть её размер определяет, как будет изменяться изображение). Эта маска хранит значения, которые будут регулировать, насколько и как изменяются соседние пиксели (и текущий пиксель) на новое значение. С математической точки зрения происходит расчет средневзвешенного значения с заданными параметрами маски. Рассмотрим алгоритм повышения контрастности изображения. В основном для этого нужно применить следующую формулу для каждого пикселя, а именно:

При использовании маски, программа помещает центр матрицы маски (в верхнем регистре, отмеченном нулевым индексом) на пиксель, который нужно вычислить. Далее происходит суммирование значений пикселей, умноженные на перекрывающиеся значения матрицы. Так происходит до тех пор, пока каждый пиксель изображения не поменяет свое значение в соответствие со значениями маски.

В основном так и работают все методы и алгоритмы в библиотеке компьютерного зрения OpenCV. То есть происходит какой-либо математический расчет пикселей в пределах определенной маски и с определенными ограничениями.

Рассмотрим работу ключевых методов библиотеки компьютерного зрения OpenCV, использующихся в разрабатываемом приложении.

Метод Canny.

Метод Canny находит края (или границы) изображения. Края (границы) — это такие кривые на изображении, вдоль которых происходит резкое изменение яркости или другие виды неоднородностей. Проще говоря, края — это те места, где происходит изменения цвета изображения, освещенности или глубины сцены, то есть изменяется ориентация поверхности. Обычно края отражают основные важные особенности изображения. Детектор Кенни является самым популярным методом выделения границ. Он появился в далеком 1986 году, но до сих пор является один из самых эффективных. Детектор Кенни используют для выделение существенных характеристик изображения и сокращение объема информации для последующего анализа.

Границы на изображении часто находятся в различных направлениях, из-за этого в алгоритме Кенни используется четыре фильтра для выявления горизонтальных, вертикальных и диагональных границ. Воспользовавшись оператором обнаружения границ (например, оператором Собеля) получается значение для первой производной в горизонтальном направлении (Gу) и вертикальном направлении (Gx).

Из этого градиента можно получить угол направления границы:

Угол направления границы округляется до одной из четырех углов, представляющих вертикаль, горизонталь и две диагонали (например, 0, 45, 90 и 135 градусов). После этого происходит проверка того, достигает ли величина градиента локального максимума в соответствующем направлении.

Например, для маски 3×3:

• · при условии, что угол направления градиента равен нулю, то точка будет считаться границей в том случае, если её интенсивность больше чем у вышестоящей и нижестоящей точки;
• · при условии, что угол направления градиента равен 90, то данная точка будет считаться границей, если её интенсивность больше чем у левостоящей и правостоящей точки;
• · при условии, что угол направления градиента равен 135 градусам, то данная точка будет считаться границей, если её интенсивность больше, чем у точек, находящихся в верхнем левом и нижнем правом углу;
• · при условии, что угол направления градиента равен 45 градусам, то данная точка будет считаться границей, если её интенсивность больше, чем у точек, находящихся в верхнем правом и нижнем левом углу.

Таким образом, получается двоичное изображение, которое будет содержать только границы исходного изображения. С помощью этого метода в приложении удалось осуществить поиск планировки квартиры из изображения, также с помощью него осуществляется поиск дверных и оконных проёмов.

Метод adaptiveThreshold.

Данным метод является пороговым, то есть при определенном значении интенсивности пикселя, он либо делает его полностью черным, либо полностью белым. Другими словами, если значение пикселя больше порогового значения, ему присваивается одно значение (может быть белым), иначе ему присваивается другое значение (может быть черным). Использование статического для всего изображения порогового значения не всегда хорошо, так как в разных частях изображения часто разная освещенность. Из-за этого работа пороговых методов не является эффективной. В данном случае нужно использовать адаптивное пороговое значение, принцип которого реализован в методе adaptiveThreshold. При этом алгоритм вычисляет порог для небольших областей изображения, то есть для определенной маски. Таким образом, мы получаем различные пороги для разных областей одного и того же изображения, и это дает лучшие результаты для изображений с различным освещением. Этот метод конвертирует черно-белое изображение в бинарное (имеющее только два цвета — черный и белый) в соответствии с формулой:

(4).

Здесь dst (x, y) — значение пикселя в точке (x, y) конечного изображения, src (x, y) — значение пикселя в точке (x, y) исходного изображения, T (x, y) — полученное пороговое значение в пределах маски, путем расчета среднего значения интенсивностей пикселей маски минус заданная константа. maxValue — атрибут метода, по умолчанию 255 — белый цвет.

С помощью этого метода в приложении реализован алгоритм поиска стен. Вклад данного метода заключается в преобразовании черно-белого изображения планировки в бинарное, что значительно упрощает распознавание стен.

Метод findContours.

Метод findContours является одним из самых важных в библиотеке OpenCV, так как контурный анализ — одни из эффективных способов описания, хранения, распознавания и сравнения графических образов и объектов. Контур — это внешние очертания (обвод) предмета / объекта. Обнаружение контуров на изображении имеет некоторые ограничения, так как в некоторых ситуациях невозможно правильно распознать контур объекта:

• · из-за одинаковой яркости с фоном объект может не иметь чёткой границы, что приводит к невозможности выделения контура;
• · перекрытие объектов или их группировка приводит к тому, что контур выделяется неправильно и не соответствует границе объекта.

Для работы алгоритма findContours вначале исходное изображение нужно конвертировать в бинарное с помощью метода Canny, то есть выделить его границы. По границам изображения и будет происходить поиск замкнутых контуров. После этого, из границ выделяются контуры и кодируются специальным образом с помощью цепного кода Фримена. Цепные коды применяются для представления границы в виде последовательности отрезков прямых линий определённой длины и направления. В основе этого представления лежит 4- или 8 — связная решётка. Длина каждого отрезка определяется разрешением решётки, а направления задаются выбранным кодом.

Благодаря этому методу в разрабатываемом приложении был реализован алгоритм распознавания стен. С помощью него стало возможно, анализируя размеры контуров и их положение решить, является ли текущий контур стеной или нет.