Механика разрабатываемого приложения

Механика работы разрабатываемого приложения следующая:

• 1. Вначале пользователь должен определить, что за планировка лежит у него перед глазами: стены изображены штриховой линией либо черной жирной;
• 2. Следующим шагом он наводит камеру своего мобильного устройства на планировку, изображенную на листе бумаги;
• 3. Далее пользователь ждет пока камера его устройства поймает «фокус» и изображение на экране будет не размытым и четким;
• 4. После этого он должен нажать на кнопку, которая в свою очередь запустит механизм распознавания и построения 3D модели макета квартиры. Вместе с этим происходит создание метки для позиционирования виртуальной модели квартиры в дополненной реальности;
• 5. При успешной работе алгоритма, планировка квартиры полностью распознается, и пользователь увидит полученную трехмерную модель будущей квартиры на экране мобильного устройства в режиме дополненной реальности.

Описание алгоритма распознавания разрабатываемого приложения

Как говорилось раньше, чтобы работать с изображениями в библиотеке компьютерного зрения OpenCV существует специальный класс для хранения изображения Mat. Все преобразования и функции применяются по отношению к ним.

Рассмотрим реализованный в разрабатываемом приложении алгоритм распознавания планировок. Исходное изображение планировки квартиры показано на рисунке 2.

Рисунок 2. Исходное изображение планировки.

В ходе изучения возможностей библиотеки OpenCV было решено использовать метод поиска замкнутых контуров findContours для нахождения положения стен квартиры. Для реализации данного метода нужно использовать восьмибитное изображение (каждый пиксель кодируется 8 битами) — то есть черно-белое изображение планировки. Чтобы получить черно-белое изображение из цветного использовался метод cvtColor. Далее, алгоритм расходится на две ветви: для планировок, стены на которых были изображены штриховой и черной жирной линией. Для того чтобы определить положение стен, изображенных штриховой линией, использовался специальный алгоритм для улучшения изображения и удаления лишний деталей.

Рассмотрим, что происходит с изображением, если требуется распознать планировку с штриховыми линиями, которые показывают расположение стен. Вначале полученное из метода cvtColor черно-белое изображение с помощью метода adaptiveThreshold делается инверсным и каждый пиксель подвергается сравнению с определенным порогом, в результате которого пиксель становиться либо полностью белым, либо полностью черным. Далее применяется функция delite, которая позволяет с маской определенных размеров увеличить количество определенных пикселей, значения которых близки к среднему максимуму в пределах маски. После применения данного метода изображение становится более насыщенным и все его элементы выделяются сильнее белым цветом. Далее с изображением работает метод morphologyEx, который убирает «черный шум» со всех белых линий изображения, для того, чтобы стены выделялись на фоне остальных дополнительных элементов планировки. После этой операции, алгоритм снова становится единым, как для стен исполненных штриховой линией, так и для стен, которые изображены черной сплошной линией.

Чтобы в область распознавания не попало ничего лишнего, кроме самой планировки, используется метод для нахождения замкнутых контуров, а именно findContours. Следует отметить, что данной процедурой можно пренебречь, так как на вход данного метода принимаются только двух цветное изображение, которое получается из исходного, методом Canny, и он не всегда срабатывает корректно. Для того, чтобы «найти» планировку квартиры на изображении используется метод нахождения самого большого контура изображения, так как при фотографировании планировки квартиры вся квартира и будет являться самым большим контуром. Это происходит простым перебором всех распознанных контуров. После нахождения требуемого контура происходит заливка черным цветом всей остальной части изображения, чтобы лишние компоненты не мешались при распознавании стен.

Непосредственно после этого к изображению применяются методы распознавания стен, опять же разные для каждого вида стен. Для распознавания стен, изображенных штриховой линией использовался метод wallDetector_hatch, а для стен, изображенных сплошной черной линией — wallDetector_solid. В первом с помощью метода getStructuringElement из изображения были «выдернуты» все прямоугольные тонкие линии, которые и являются искомыми стенами. Полученное новое изображение было помещено в экземпляр класса Mat под названием walls. Второй же метод более сложный так как сначала распознает стены изображенные сплошной линией, а затем с помощью маски закрашивает черным цветом те места, которые не являются стенами на исходном изображении. Благодаря этому приему, с полученного изображения (которое передается в экземпляр класса Mat walls) убираются лишние детали, которые не должны быть приняты в качестве стен.

После проделывания описанных действий, программа имеет белые очертания стен (вытянутые прямоугольники). Промежуточный результат работы программы изображен на рисунке 3.

Рисунок 3. Промежуточный результат выполнения алгоритмы программы.

Далее опять же с помощью уже упоминавшегося метода findContours программа находит все контуры полученного на предыдущем шаге изображения. В результате все найденные замкнутые контуры будут соответствовать расположению всех стен в заданной планировке. Но полученные контуры будут состоять из большого количества точек. Это ведет к неточностям при построении 3D-модели, так как плоскость стены возможно будут получаться неровной, что не соответствует исходной планировке. Для этого используется метод contours_points класса ModelBuilder. Он удаляет лишние точки контура для достижения более правдивого результата построения трехмерной модели. Удаляются только те точки, угол между которыми больше 115 градусов.

Чтобы преобразовать координаты точек контуров стен, распознанных с экрана мобильного устройства, в координаты виртуального трехмерного пространства так, чтобы полученная трехмерная модель в режиме дополненной реальности накладывалась на изображение с камеры как будто трехмерная модель — результат выдавливания стен планировки вверх, нужно применить формулу:

В итоге все полученные точки контуров помещаются в список списков Point — counter_wall, то есть в нем хранятся списки типа Point (тип данных который хранит координаты точек, имеет атрибуты x и y), которые соответствуют разным контурам. Имея все точки в таком списке легко составить массив, который содержит Xи Y-координаты вертексов искомой 3D-модели. Z-координата приравнивается к определенному статическому значению, которое обозначает высоту выдавливания, оно не меняется от планировки к планировке.

Также приложение способно распознавать не только стены, но также дверные проемы и окна, изображенные на планировке. При этом остается проблема несогласованности стандартов изображения планировок квартир у разных застройщиков, что создает трудности работы алгоритма. Результаты получаются не одинаковыми.

Для распознавания дверных проемов на планировке, в приложении создан метод под названием doorDetector, который использует встроенные алгоритмы OpenCV. В этом методе используется прием поиска по шаблону под названием matchShapes. Он сравнивает не пиксели изображения, а его контуры. Другими словами, в разрабатываемом приложении хранится шаблон дверного проема, чтобы производить сравнивания с контурами изображения. Он изображен на рисунке 4.

Рисунок 4. Шаблон для поиска дверных проемов.

В данном случае программа сначала находит самый большой контур шаблона, затем находит все контура изображения с камеры мобильного устройства. Также как и раньше, контуры изображения распознаются с помощью метода findContours. После этого перебором функция matchShapes сравнивает контуры изображения с шаблонным, так и происходит поиск дверных проемов.

Для поиска оконных проемов не используется специальных алгоритмов, так как стандарты обозначения оконных проемов отличаются от застройщика к застройщику. Основываясь на данной планировке, был разработан метод, который ищет подходящее расположение распознанных контуров. Если же их расположение соответствует обозначению оконного проема, следовательно, на этом месте строится оконный проем.

На рисунке 5 изображен весь алгоритм распознавания стен планировки.

Рисунок 5. Алгоритм работы разрабатываемого приложения.

Рассмотрим, как строится конечная 3D-модель квартиры. Имея массив точек verts и массив нормалей normals, передавая их в класс ModelShape, который наследует GLSurfaceView. Renderer можно легко отобразить полученную модель на экране мобильного устройства. Это становится возможным из-за того, что точки в массиве verts идут в следующем порядке: сначала координата x, потом y и соответственно z. То есть каждые три последовательных элемента массива описывают один вертекс. Девять идущих друг за другом элементов — описывают один треугольник, и так далее. Массив составлен таким образом, что все его числа будут описывать целиком выходную трехмерную модель квартиры. Массив нормалей описывает нормализованные векторы для каждого вертекса. Это нужно в первую очередь для расчета цвета каждого треугольника, для более реалистичного восприятия.

Для того чтобы сохранить полученную трехмерную модель квартиры в популярном формате «STL» нужно просто записать в текстовый файл координаты полигонов в соответствующем порядке. Рассмотрим структуру, которой должен соответствовать файл «STL». Всегда в начале такого файла должен идти заголовок, состоящий из 80 байт, затем количество треугольников (полигонов) — целое число (Int). Далее каждый треугольник описывается двенадцатью 32 битными числами с плавающей запятой: 3 числа для нормали и по 3 числа на каждую из трёх вершин для X/Y/Z координат. После этого в файле должны идти 2 байта беззнакового «short».