Численные методы детектирования и исправления геометрических искажений в изображениях текстовых документов

Оптическое распознавание символов (англ. Optical Character Recognition, OCR) — конвертация изображений символов и букв в текст, редактируемый на компьютере [7,8]. На вход системы оптического распознания текста приходит цифровое растровое изображение сканированного или сфотографированного документа, на выходе система должна сформировать текст, который содержит это изображение, в виде, пригодном для сохранения в одном из форматов электронных текстовых документов.

Оцифровка документов — это процесс перевода бумажных документов в электронный (цифровой) вид [7,8]. В зависимости от формата сохраняемых в компьютере документов (графического или текстового) различают два подхода к оцифровке:

1) Получение копий страниц в виде графических (обычно растровых) изображений, осуществляемое путём сканирования или фотографирования с последующей обработкой и сохранением в одном из форматов графических файлов. В этом случае полностью сохраняется оригинальная вёрстка документа и исключается появление каких-либо ошибок, связанных с переводом содержимого документа в текстовый формат. Однако при хранении документов в графическом формате невозможен контекстный поиск в архивах, а также извлечение фрагментов текста, например, для цитирования.

2) Оптическое распознавание текста с последующим сохранением полученного текста в одном из форматов электронных текстовых документов. В этом случае становится возможен полномасштабный текстовый поиск по документу и индексация больших массивов электронных книг, однако затрудняется воспроизведение оригинальной вёрстки, изображений, схем и формул, практически неизбежными становятся ошибки распознавания.

В последнее время всё чаще применяется смешанный подход: текст документа распознаётся в автоматическом режиме и сохраняется вместе с оригинальными растровыми изображениями страниц, что позволяет совместить преимущества обоих подходов.

Ранее для получения электронной версии бумажных документов применялся ручной набор текст документа в электронном текстовом редакторе. Однако ручной набор — это очень долгий и дорогостоящий процесс по сравнению с автоматическим распознаванием текста.

Системы автоматического распознавания текста в электронных документах, оцифрованных с помощью сканеров, получили в настоящее время широкое распространение. Качество современных систем распознавания находится примерно на уровне 99% правильно распознанных символов для изображений с нормальным качеством. К сожалению, далеко не всегда документы, предназначенные для распознавания, бывают хорошо и ясно отсканированы. На качество распознавания влияет множество факторов. Среди наиболее важных факторов можно отметить качество печати в исходном документе, загрязненность исходного документа, размер шрифта в исходном документе, разрешающую способность сканирующего устройства, которая определяет размер символов шрифта в точках растрового изображения. Современные коммерческие системы распознавания текстов (такие как FineReader, OmniPage, Readlris) достаточно эффективно могут распознавать большинство изображений, полученных с помощью сканера.

Однако в настоящее время помимо задачи распознавания сканированных документов возникает задача распознавания документов, полученных с помощью цифровых фотокамер. Это связано с тем, что цифровые фотоаппараты получают все большее распространение. В частности, за последние несколько лет появилось достаточно большое количество систем для оцифровки документов, которые основаны на цифровых фотоаппаратах. Система на основе цифрового фотоаппарата работает в несколько раз быстрее обычного сканера, так как в нем не тратится время на физическое передвижение сканирующей планки. Однако использование цифровых фотоаппаратов для оцифровки текста создает много новых трудностей при распознавании текста. К примеру, из-за использования вспышки или плохого освещения часть изображения может быть затемнена, а часть наоборот слишком освещена. В результате использования недорогих камер и объективов («непрофессионального оборудования») или из-за плохих настроек изображение целиком или его часть может быть сильно размыта. Из-за использования слишком большого времени экспозиции изображение может быть смазано. Также одной из главных проблем современных фотоаппаратов является то, что они привносят геометрические искажения в изображения документа.

Нужно заметить, что проблема геометрических искажений на изображении документа существовала еще до начала широкого использования цифровых фотоаппаратов для оцифровки текста. В частности, при сканировании толстых книг очень часто возникают искажения на изображении страницы в области сгиба книги. Однако эти искажения имеют достаточно четко детектируемую и описываемую структуру. Поэтому для исправления искажений на сгибе книге придумано очень много различных методов и систем. Разработаны как методы обработки и удаления искажений в оцифрованном изображении, так и специальные «книжные» сканеры, которые позволяют избежать искажений при сканировании книги (рассчитанные на то, что сканируемая книга раскрыта не полностью).

Однако с появлением и началом повсеместного использования цифровых фотоаппаратов проблема стала более сложной и актуальной. Искажения при фотографировании могут появиться по нескольким независимым друг от друга причинам. Это может быть недостатком используемой оптики — так называемый «эффект бочки». Другая причина состоит в том, что документ при фотографировании расположен не под прямым углом к оси камеры, что порождает перспективные искажения. Искажение также может быть вызвано неровностью исходного документа — к примеру, тем же изгибом в центре книги. Еще одна проблема заключается в том, что эти искажения могут комбинироваться между собой в любом сочетании. Из-за этого невозможно точно описать и предсказать модель искажения сфотографированного документа.

Большинство современных профессиональных систем распознавания текста (таких как FineReader, OmniPage, Readlris) рассчитаны на то, что строки текста на изображении будут прямыми и горизонтальными. Малейшие искажения строк текста приводят к сильному ухудшению качества распознавания. Поэтому в последнее время очень большое внимание уделяется методам, позволяющим устранять геометрические искажения в изображениях документов. В частности, в рамках самой крупной международной конференции по анализу и распознаванию документов ICDAR (International Conference on Document Analysis and Recognition) проводилось сравнительное тестирование методов распрямления текстовых строк на изображениях документов [10]. Метод, описанный в диссертации, также принимал участие в этом тестировании в 2007 году [2]. Также в рамках тестирования впервые была сформирована большая общедоступная база документов с геометрическими искажениями [11]. Создание такой базы позволяет легко сравнивать между собой различные методы распрямления текстовых строк на изображении.

Однако, несмотря на возросший интерес к этой области и наличие большого количества новых методов устранения геометрических искажений ([15−24]), универсального метода для решения этой проблемы, который бы с одинаковой эффективностью устранял искажения на любых типах текстовых изображений, не было изобретено.

Таким образом, задача устранения геометрических искажений в изображениях текстовых документов является весьма актуальной и нуждается в разработке эффективных методов решения с использованием новых идей.

Целью настоящей работы является создание метода аппроксимации и устранения сложных разнообразных геометрических искажений на изображениях документов для повышения качества их распознавания. Сложность данной задачи определяется трудностями детектирования и формального описания разнообразных искажений текстовых документов, необходимостью построения универсального алгоритма коррекции документов, трудностью выбора критерия качества для решения поставленной задачи.

В практическом аспекте целью работы является создание программного комплекса для устранения геометрических искажений текстовых документов. Данный комплекс должен выполнить предобработку предоставленного ему изображения текстового документа с информацией о расположении текстовых блоков в документе и сформировать новое изображение этого документа, в котором текстовые блоки имеют правильную прямоугольную форму, а строки текста расположены вдоль параллельных прямых линий.

Предлагаемый подход к решению задачи основывается на двух новых идеях. Первая идея относится к подзадаче выявления строковой структуры изображения. Предлагается осуществить сегментирование строк изображения путём выявления междустрочных просветов на основе построения и анализа внешнего скелета изображения текста в документе. Вторая идея относится к выбору вида геометрического преобразования изображения. Предлагаемый подход состоит в описании искажения в виде двумерного патча Безье. Эта модель обеспечивает большую гибкость настройки на различные типы сложных искажений.

Научная задача работы состоит в создании метода геометрических преобразований изображений текстовых документов на основе аппроксимации междустрочных просветов с помощью одномерных кривых Безье и общего преобразования изображения в виде двумерного патча Безье.

На защиту выносятся следующие положения.

1) Математическая модель описания искажений в виде непрерывной функции преобразования координат, представленной двухмерным патчем Безье.

2) Метод детектирования междустрочных просветов текста на основе «непрерывного» внешнего скелета изображения текстовых блоков.

3) Метод сегментации строк текста в изображении на основе найденных междустрочных просветов.

4) Метод аппроксимации междустрочных просветов и строк текста кубическими кривыми Безье.

5) Метод аппроксимации искажения всего документа с помощью двумерного патча Безье по набору одномерных кривых Безье, аппроксимирующих искривления отдельных междустрочных просветов.

6) Метод итерационной подгонки аппроксимирующего патча Безье.

7) Метод распрямления изображения документа на основе аппроксимации искажения документа.

Научная новизна работы определяется тем, что в рамках настоящего исследования впервые в интересах устранения геометрических искажений в текстовых электронных документах использованы следующие идеи:

1) Выполнена сегментация междустрочных просветов и строк в изображении текстового документа на основе непрерывного гранично-скелетного представления изображения, в частности, на основе анализа внешнего скелета текста;

2) Выполнена аппроксимация геометрических искажений всего документа в форме двумерного патча Безье;

3) Разработана вычислительная схема построения аппроксимирующего двумерного патча Безье на основе вычисления одномерных аппроксимирующих кривых Безье для междустрочных просветов и дальнейшей итерационной подгонки патча Безье.

Научная значимость работы состоит в описании геометрических искажений в изображениях текстовых документов с помощью математической модели двумерного патча Безье, а также в разработке метода параметрической настройки этой модели для конкретных данных.

Практическая значимость состоит в создании и реализации нового метода аппроксимации и удаления геометрических искажений в изображениях текстовых документов, обеспечивающего существенное повышение качества автоматического распознавания текстов.

Обоснованность и достоверность научных положений, выводов и результатов работы подтверждается корректным использованием математического аппарата непрерывного гранично-скелетного представления изображения, кривых и патчей Безье, строгими математическими доказательствами, программной реализацией и вычислительными экспериментами, а также успешным использованием разработанных моделей и методов при решении практических задач.

Основные результаты работы опубликованы в работах [1−6], в том числе в издании [1], входящем в список ВАК.

4.3 Выводы по главе 4.

1) Поскольку исходное правильное изображение документа с прямолинейными строками не может быть использовано при оценке качества исправления искажений, для получения соответствующих оценок следует использовать результаты сравнительного анализа ошибок распознавания текста при использовании алгоритмов исправления искажений и при их отсутствии.

2) Оценка работоспособности предложенных алгоритмов осуществлена на основе разработки программного обеспечения, реализующего указанные алгоритмы, и вычислительных экспериментов с большими объемами реальных изображений текстовых документов.

3) Проведенные эксперименты показали, что предложенные алгоритмы являются реализуемыми, обеспечивают необходимое качество и вычислительную эффективность.

На основании экспериментов показано, что применение разработанных методов исправления искажений на этапе предобработки перед распознаванием текста позволяет существенно повысить качество распознавания. Уровень ошибок распознавания уменьшается с 20% до 2%, что является весьма существенным для систем этого класса.

4) Эксперименты, проведенные в рамках международного контекста по исправлению искажений документов, показали, что разработанные методы обеспечивают в целом качество предобработки на уровне лучших известных мировых аналогов. При этом выявляется существенное преимущество предлагаемого метода в части гибкости при обработке сильно искажённых изображений документов.

5) Разработанные методы и экспериментальное программное обеспечение могут быть использованы при создании промышленных систем оцифровки тестовых документов.

Заключение

.

В данной работе описан метод удаления геометрических искажений с изображений текстовых документов. В рамках исследования были получены и обоснованы следующие результаты:

1) сформулирована математическая постановка задача детектирования и исправления геометрических искажений на растровом изображении текстового документа;

2) предложено использовать двумерные кубические патчи Безье в качестве универсального класса функций для аппроксимации искажений документа;

3) сформулирован критерий оценки работы механизма по детектированию и исправлению искажений документа;

4) сформулированы принципы использования ветвей непрерывного гранично-скелетного представления изображения для детектирования и аппроксимации междустрочных просветов в тексте на изображении документа;

5) предложен алгоритм кластеризации и фильтрации ветвей скелета изображения для нахождения ветвей скелета, лежащих между различными строками текста;

6) предложен механизм выделения на изображении областей, содержащих отдельные строки текста, на основе разделения изображения междустрочными ветвями скелета;

7) предложен механизм аппроксимации искажения междустрочных просветов текста на основе аппроксимации междустрочных ветвей скелета кубическими кривыми Безье;

8) предложен механизм аппроксимации искажения строк текста на изображении кривыми Безье;

9) построен механизм итерационной подгонки кривой Безье, аппроксимирующей набор точек;

10) предложен механизм аппроксимации набора кривых Безье с помощью патча Безье;

11) предложен ускоренный алгоритм аппроксимации набора кривых Безье патчем Безье и была доказана правомочность его использования;

12) описан процесс итерационной подгонки построенного патча Безье;

13) построен механизм удаления геометрических искажений с изображения документа. В качестве основы для алгоритма удаления искажений использовалась построенная на предыдущем шаге аппроксимация геометрического искажения изображения.

В работе приведен обзор существующих решений проблемы устранения геометрических искажений, выявлены основные недостатки существующих методов решения. Главной целью данной работы было создание метода, свободного от указанных недостатков. Эта задача была успешно решена, что подтверждается проведенным исследованием.

В ходе исследования была проведена серия экспериментов для оценки качества предлагаемого решения. Эксперименты показали высокую надежность разработанного метода. В качестве оценки качества метода использовалось качество распознавания большого набора документов до и после устранения искажений. Также эксперименты использовались для оптимизации путей реализации некоторых шагов предложенного метода.

Разработанный метод отличается высокой эффективностью, что доказано серией экспериментов. Также разработанный метод обладает большой гибкостью, которая позволяет ему эффективно детектировать и удалять практически любые геометрические искажения, появившиеся на документе в процессе сканирования или фотографирования.

Разработанный метод участвовал в независимом международном тестировании, где показал результаты сравнимые по качеству с альтернативными методами, участвующими в тестировании. Сравнение показало, что уровень предложенного метода соответствует лучшим мировым аналогам, а по некоторым аспектам превосходит их. При этом выявляется существенное преимущество предлагаемого метода в части гибкости при обработке сильно искажённых изображений документов.

Таким образом, поставленная в работе научная задача успешно решена.