Помощь в учёбе, очень быстро...
Работаем вместе до победы

Математические модели и алгоритмы поиска в электронных коллекциях исторических фотографий

Диссертация: Математические модели и алгоритмы поиска в электронных коллекциях исторических фотографий
ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

Термин «информационный поиск» был впервые введён К. Муром в 1948 г. и употребляется в литературе с 1950 г. С момента появления данного термина до сегодняшних дней системы информационного поиска значительно эволюционировали от простых каталогов научной литературы до глобальных поисковых систем. Поиск информации представляет собой процесс отыскания во множестве цифровых материалов таких, которые… Читать ещё >

Содержание

  • Глава 1. Описание предметной области
    • 1. 1. Особенности исторических фотоальбомов
    • 1. 2. Обзор поисковых систем

Математические модели и алгоритмы поиска в электронных коллекциях исторических фотографий (реферат, курсовая, диплом, контрольная)

Актуальность темы

Термин «информационный поиск» [19] был впервые введён К. Муром в 1948 г. и употребляется в литературе с 1950 г. С момента появления данного термина до сегодняшних дней системы информационного поиска значительно эволюционировали от простых каталогов научной литературы до глобальных поисковых систем. Поиск информации представляет собой процесс отыскания во множестве цифровых материалов таких, которые удовлетворяют определенным критериям (поисковый запрос). При этом источником информации может быть как текстовое описание (полнотекстовый поиск), так и содержание изображения (поиск изображений).

Значительный вклад в развитие поиска по тексту внесли ученые В. Буш, Дж. Сэлтон, Т. Нельсон и др. Современные поисковые системы позволяют выполнять поиск по содержанию документов, а также по различным атрибутам (метаданным). На сегодняшний день существует множество коммерчески успешных продуктов, а также их бесплатных аналогов («Google» [67], «Bing» [58], «Яндекс» [53] и др.).

Поиск по изображениям осуществляется на основе их аннотирования, который осуществляется двумя способами. Первый способ аннотирования, осуществляемый создателем коллекции, состоит в приписывании текстовых меток (тэгов) к изображениям (фотоколлекции «Picasa» [91], «Flickr» [103], «Яндекс.Фотки» [55] и др). Второй способ реализуется на основании автоматического поиска объектов на изображениях и тесно связан с распознаванием образов. Большой вклад в развитие теории распознавания образов внесли ученые В. Н. Вапник, Ю. И. Журавлев, В. М. Глушков, А. JI. Горелик, Ф. Розенблатт, Б. Уидроу, JL Рабинер и др.

В настоящее время активно создаются электронные графические коллекции (базы данных для хранения изображений). Их можно разбить на две группы.

Первая содержит современные цифровые фотографии, вторая — изображения, имеющие историческую ценность, как правило, это оцифрованные исторические материалы. Сканированные фотографии в исторических коллекциях могут содержать текстовое описание, изображения различных культурных артефактов, зданий, людей и пр. Современные средства оцифровки книг позволяют получать качественные изображения с разрешением свыше 600 точек на дюйм с минимальным добавлением «шумов» и искажений. Однако большая часть сохранившихся материалов имеет «почтенный» возраст, что накладывает ограничение на количество проводимых операций оцифровки, и существенно снижает их качество.

Степень разработанности темы исследования. Существующие поисковые системы («Google Images» [14], «Яндекс.Картинки» [54] и др.) позволяют выполнять поиск в электронных графических коллекциях первого типа. Ограничения, накладываемые на изображения коллекций второго типа, не позволяют использовать существующие алгоритмы для организации поиска.

В данном диссертационном исследовании рассматриваются процессы, выполняющиеся над цифровыми изображениями исторических фотографий «низкого» качества с целью повышения количества информации, пригодной для организации по ним поиска.

Цель работы: разработка моделей и алгоритмов поиска в электронных коллекциях исторических фотографий.

Для достижения цели были поставлены следующие задачи:

1. Разработка алгоритма извлечения текстовой информации из коллекции изображений «низкого» качества.

2. Разработка алгоритма обработки текстовой информации, содержащей ошибки, для обеспечения возможности последующей индексации.

3. Анализ существующих систем поиска по изображениям и методов аннотирования изображений.

4. Разработка алгоритма аннотирования изображений на основе наличия на них плохо различимых лиц людей.

5. Разработка алгоритма аннотирования изображений с использованием текстур объектов.

6. Разработка общей модели построения поисковой системы для коллекции изображений с учетом текстовой информации и атрибутированных изображений.

7. Компьютерная реализация вышеперечисленных алгоритмов и создание комплекса программ для построения поисковой системы.

8. Разработка информационной системы для поиска по коллекции изображений.

Методология и методы исследования: в диссертационной работе используются методы цифровой обработки изображений, аналитической и вычислительной геометрии, математического моделирования. Положения, выносимые на защиту:

1. Модель построения поисковой системы на основе текстовой информации, содержащей ошибки, и текстовых меток, полученных с помощью аннотирования изображений.

2. Метод извлечения текстовой информации, содержащей ошибки, из коллекции изображений низкого качества.

3. Метод поиска лиц людей на изображениях, основанный на повышения точности и полноты результатов работы алгоритма Виолы-Джонса с помощью локальных бинарных шаблонов. Показана возможность аннотирования изображений с помощью текстурного классификатора, построенного на основе метода моментов.

4. Программный комплекс для построения поисковой системы для коллекции исторических фотографий.

Научная новизна работы заключается в том, что разработан метод организации полнотекстового поиска с учетом текстовой и графической информации.

Теоретическая и практическая значимость. Разработанный метод организации полнотекстового поиска может быть использован при решении задачи поиска в исторических коллекциях.

Степень достоверности. Достоверность результатов проведенных исследований подтверждена использованием современного математического аппарата, сочетающего методы цифровой обработки изображений, аналитической и вычислительной геометрии, математического моделирования, разработкой и применением современного программного обеспечения для реализации практического использования предложенных методов.

Апробация работы. Материалы диссертационного исследования докладывались и обсуждались на различных конференциях, среди них:

1. XII Всероссийская научная конференция «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» (ЯСШЛОЮ) (Казань, 2010).

2. XIII Всероссийская научная конференция «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» (КСБЬ'2011) (Воронеж, 2011).

3. Всероссийская научно-практическая конференция «Анализ Изображений, Сетей и Текстов» (АИСТ 2012) (Екатеринбург, 2012).

По теме диссертации опубликовано 8 научных работ, 2 из них входят в список ВАК.

Разработанное программное обеспечение было апробировано на коллекции фотографий строительства Беломорско-Балтийского канала, а построенная по ней поисковая система внедрена в Национальный музей республики Карелия. Данный программный комплекс был зарегистрирован в Объединенном фонде электронных ресурсов «Наука и образование» (ОФЭРНиО) № 18 562 от 08.10.2012 г.

В первой главе рассматриваются особенности исторических фотоальбомов, содержатся общие сведения о существующих системах поиска, в том числе, о системах поиска по изображениям, рассматривается структура типовой поисковой системы.

Во второй главе исследуется процесс извлечения текста из изображений, рассматриваются существующие средства распознавания текста, описываются предлагаемые метод извлечения текста из изображений низкого качества и метод обработки текстовой коллекции, содержащей ошибки.

В третьей главе рассматриваются существующие алгоритмы обнаружения и распознавания лиц, предлагается метод аннотирования изображений за счет наличия лиц людей при отсутствии базы данных лиц, описываются особенности задачи аннотирования для изображений лиц небольших размеров. Предлагаются методы улучшения качества обнаружения лиц с помощью локальных бинарных шаблонов.

В четвертой главе рассматриваются методы поиска текстур и предлагается текстурный классификатор на основе метода моментов и метод аннотирования изображений за счет наличия текстур, основанный на данном классификаторе.

В пятой главе рассматриваются особенности работы поисковых систем, их структура, предлагаются методы построения поисковых систем для коллекций изображений низкогокачества на основе методов извлечения текстовой информации и аннотирования изображений, предложенных в данной работе.

В шестой главе описывается программный комплекс, разработанный для поддержки данного диссертационного исследования.

В заключении формулируются результаты диссертационного исследования.

Заключение

.

В результате выполнения диссертационной работы получены следующие результаты:

1. Разработана модель организации полнотекстового поиска на основе текстовой информации, содержащей ошибки, и текстовых меток, полученных с помощью аннотирования изображений. Она позволяет построить поисковую систему на базе любой СУБД, содержащей модуль полнотекстового поиска. Аннотирование изображений осуществляется на основе метаинформации, извлеченной с помощью поиска и распознавания локальных объектов на самих изображениях.

2. Разработан метод извлечения текстовой информации, содержащей ошибки, из коллекции изображений «низкого» качества, отличительной особенностью которого является предварительная обработка изображений различными методами. Формирование итоговой текстовой информации осуществляется с помощью выбора наиболее качественно распознанных соответствующих частей текста, полученных разными методами обработки изображений.

3. Разработан метод поиска лиц людей на изображениях, основанный на повышении точности и полноты результатов работы алгоритма Виолы-Джонса с помощью локальных бинарных шаблонов.

4. Разработан метод аннотирования изображений с помощью текстурного классификатора, построенного на основе метода моментов. Предложенный метод показал хорошие результаты поиска с точки зрения полноты.

5. Разработан программный комплекс для построения поисковой системы для коллекции исторических фотографий, который был апробирован на коллекции фотографий со строительства Беломорско-Балтийского канала. Он рекомендуется для работы с цифровыми историческими коллекциями.

Показать весь текст

Список литературы

  1. , Д. Строки, деревья и последовательности в алгоритмах: Информатика и вычислительная биология / Д. Гасфилд // Пер. с англ. И. В. Романовского. — СПб.: Невский Диалект- БХВ-Петербург. — 2003.654 с.
  2. , Р. Цифровая обработка изображений / Р. Гонесалес, Р. Вудс.
  3. М.: Техносфера. — 2005. — 1072 с.
  4. , Н. Распознавание рукописного текста: От теории к практике / Н. Горский, В. Анисимов, JI. Горская // СПб.: Политехника. — 1997. — 126 С.
  5. Государственный музей архитектуры имени А. В. Щусева Электронный ресурс]. — Режим доступа: http://www.muar.ru/ve/leonidov/prosoft/indl.htm.
  6. , В. Ю. Скоростная обработка изображения отпечатка пальца / В. Ю. Гудков, М. В. Боков // Вестник Челябинского государственного университета. Математика, Механика, Информатика. Выпуск 13. — 2011. —№ 26 (241). —С. 109−120.
  7. , И. Е. Алгоритмы поиска изображений в базах видеоданных Электронный ресурс] / И. Е. Десятников, В. А. Утробин. — Режим доступа: http://www.computeroptics.smr.ru/KO/PDF/K035−3/350 317.pdf
  8. , П. Как работают фильтры размытия Электронный ресурс] / П. Каньковски. — Режим доступа: http://www.computerra.ru/gid/rtfm/graphic/35 934/.
  9. Картинки Google Электронный ресурс]. — Режим доступа: http://images.google.com/.
  10. Компонент Full-Text Search (SQL Server) Электронный ресурс]. — Режим доступа: http://msdn.microsoft.com/ru-ru/library/msl42571.aspx.
  11. , А. Распознавание образов с использованием OpenCV Электронный ресурс] / А. Кручинин. — Режим доступа: http://recog.ru/library/opencv/opencvkruchinin.pdf.
  12. , С. В. Методы сегментации ОСЯ-систем в задачах автоматической обработки архивных документов / С. В. Кулешов, С. В. Смирнов // Труды СПИИРАН. — 2011.
  13. , Ю. Методы распознавания лиц Электронный ресурс] / Ю. Лифшиц. — Режим доступа: http://yury.name/modern/08modernnote.pdf.
  14. , К. Д. Введение в информационный поиск / К. Д. Манниг, П. Рагхаван, X. Шютце // М.: Вильяме. — 2011. — 528 с.
  15. , Р. В. Использование локальных бинарных шаблонов для распознавания лиц на полутоновых изображениях Электронный ресурс] / Р. В. Маслий. — Режим доступа: http://www.nbuv.gov.ua/e-journals/vntu/2008−4/2008−4ш.flles/ru/08rvmgsiru.pdf.
  16. Машинописные шрифты. Скачать машинописные шрифты бесплатно — Fontov.net Электронный ресурс]. — Режим доступа: http://www.fontov.net/мaшинoпиcныe-шpифты.
  17. , А. А. Непараметрический алгоритм текстурного анализа аэрокосмических снимков / А. А. Мицель, Н. В. Колодникова, К. Т. Протасов // Известия Томского политехнического университета, Т. 308, № 1.-2005.
  18. Модули машинной морфологии. Морфологический анализ. Машинная морфология в поисковых системах Электронный ресурс]. — Режим доступа: http://asknet.ru/Technology/morpho.htm.
  19. Нигма интеллектуальная поисковая система Электронный ресурс]. — Режим доступа: http://www.nigma.ru/.
  20. О программе mystem — Компания Яндекс Электронный ресурс]. — Режим доступа: http://company.yandex.ru/technology/mystem/.
  21. , Т. Алгоритмы машинной графики и обработки изображений / Т. Павлидис. — М.: Радио и связь. — 1986.
  22. , М. А. Об одной задаче семантической классификации цифровых изображений / М. А. Паначев, Б. В. Парфенков // Доклады по компьютерным наукам и информационным технологиям. № 1, 2012 г.
  23. Доклады всероссийской научно-практической конференции «Анализ Изображений, Сетей и Текстов» (АИСТ 2012). Екатеринбург, 16−18 марта 2012 года. М.: Национальный Открытый Университет «ИНТУИТ». — 2012. — 419 с. — С 352−361.
  24. , В. И. Применение локальных бинарных шаблонов к решению задачи распознавания лиц / В. И. Петрук, А. В. Самородов, И. Н. Спиридонов // Вестник МГТУ им. Н. Э. Баумана. Сер. Приборостроение. Спец. вып. Биометрические технологии. — 2011. — С. 58−63.
  25. Программа для распознавания текста ABBYY FineReader Электронный ресурс]. — Режим доступа: http://www.abbyy.ru/finereader/.
  26. Программы анализа и лингвистической обработки текстов Электронный ресурс]. — Режим доступа: http://www.rvb.ru/sofl/catalogue/cO 1 .html.
  27. , У. К. Цифровая обработка изображений: В. 2 т. / У. К. Претт // Пер. с анг.- Под ред. Д. С. Лебедева. — М.: Мир. — 1982. — Т.2.
  28. Рамблер Электронный ресурс]. — Режим доступа: http://www.rambler.ru/.
  29. , А. А. Информационно-поисковая система петроглифов Карелии / А. А. Рогов, К. А. Рогова, К. Н. Спиридонов, М. Ю. Быстров // Вестник компьютерных и информационных технологий. —2008. —№ 6. —с. 6−12.
  30. , Д. Компьютерное зрение. Современный подход.: Пер. с. англ. / Д. Форсайт, Ж. Понт // М.: Издательский дом «Вильяме». — 2004. — 928 е.: ил. — Парал. тит. Англ.
  31. , Р. М. Статистический и структурный подходы к описанию текстур / Р. М. Харалик // ТИИЭР. — 1979. — Т. 67. — № 5. — С. 98−121.
  32. , В.В. Математические методы компьютерной графики / В. В. Цисарж, Р. И. Марусик, К.:Факт. — 2004. — 466 с.
  33. Электронные библиотеки: Перспективные Методы и Технологии, Электронные коллекции Электронный ресурс]. — Режим доступа: http://www.rcdl.ru/.
  34. Электронные музейные коллекции Электронный ресурс]. — Режим доступа: http://www.museum.ru/W370/.
  35. Яндекс Электронный ресурс]. — Режим доступа: http://www.yandex.ru/.
  36. Яндекс.Картинки Электронный ресурс]. — Режим доступа: http://images.yandex.ru/.
  37. Яндекс.Фотки Электронный ресурс]. — Режим доступа: http://fotki.yandex.ru/.
  38. Ahonen, Т. Face Recognition with Local Binary Patterns Электронный ресурс] / Т. Ahonen, A. Hadid, M. Pietikainen. — Режим доступа: http://masters.donntu.edu.ua/2011/frt/dyrul/library/article8.pdf.
  39. Apache Lucene Welcome to Apache Lucene Электронный ресурс]. — Режим доступа: http://lucene.apache.org/.
  40. Bing Электронный ресурс]. — Режим доступа: http://www.bing.com/.
  41. Bing Images Search the web for pictures, photos & images Электронный ресурс]. — Режим доступа: http://www.bing.com/images.
  42. Brodatz, P. Textures: a Photographic Album for Artists and Designers / P. Brodatz // New York: Dover Publications. — 1966.
  43. Cascade Classification — opencv v2.1 documentation Электронный ресурс]. — Режим доступа: http://opencv.willowgarage.com/documentation/cpp/cascadeclassification.ht ml#cv-cascadeclassifier-detectmultiscale.
  44. , G. С. Markov random field texture models / G. C. Cross, A. K. Jain // IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-5. — 1983. —pp. 25−39.
  45. CuneiForm — бесплатная программа для распознавания текста документов Электронный ресурс]. — Режим доступа: http://cognitiveforms.ru/products/cuneiform/.-t
  46. Degtyarev, N. Comparative Testing of Face Detection Algorithms Электронный ресурс] / N. Degtyarev, О. Seredin. — Режим доступа: http://lda.tsu.tula.ru/papers/degtyarev-2010-icisp-ctfd.pdf.
  47. Edge Detection Электронный ресурс]. — Режим доступа: http://www.cse.unr.edu/~bebis/CS79 lE/Notes/EdgeDetection.pdf.
  48. Flusser, J. Moment Invariants in Image Analysis Электронный ресурс]. — Режим доступа: http://citeseerx.ist.psu.edu/viewdoc/download?doi=l 0.1.1.187.8110&rep=rep l&type=pdf.
  49. Google Электронный ресурс]. — Режим доступа: https://www.google.ru/.
  50. Guo, Z., Rotation invariant texture classification using LBP variance (LBPV) with global matching Электронный ресурс] / Z. Guo, L. Zhang, D. Zhang. — Режим доступа: http://www4.comp.polyu.edu.hk/~cslzhang/paper/PR10MarLBPV.pdf.
  51. Haralick, R. M. Statistical and Structural approaches to texture / R. M. Haralick // Proceedings of the IEEE. — 1979. — pp. 786−804.
  52. Haralick, R. M. Textural Features for Image Classification / R. M. Haralick, K. Shanmugam, I. Distein // IEEE Transactions on systems, man and cybernetics.— 1973. —V. SMC-3. — № 6. — pp. 610−621.
  53. Howarth, N. Abstract Syntax Tree Degisn Электронный ресурс] / N. Howarth. — Режим доступа: http://www.ansa.co.Uk/ANSATech/95/Primary/l 55 101 .pdf.
  54. Hu, M. К. Visual pattern recognition by moment invariants / M. К. Ни // IRE Trans, on Information Theory, IT-8. — pp. 179−187. — 1962.
  55. Image Filtering — opencv v2.1 documentation Электронный ресурс]. — Режим доступа: http://opencv.willowgarage.com/documentation/cpp/imagefiltering.html#cv-filter2d).
  56. , А. К. Algorithms for Clustering Data / A. K. Jain, R. C. Dubes // Prentice Hall, Englewood Cliffs, New Jersey. — 1988.
  57. JSON Электронный ресурс]. — Режим доступа: http://json.org/.
  58. Lexxe Search Engine Home page Электронный ресурс]. — Режим доступа: http://www.lexxe.com/.
  59. Liao, S. Image Analysis by Moments Электронный ресурс]. — Режим доступа: http://zernike.uwinnipeg.ca/~sliao/pdf/thesis.pdf.
  60. Liu, X. Texture classification using spectral histograms Электронный ресурс] / X. Liu, D. Wang. — Режим доступа: http://citeseerx.ist.psu.edu/viewdoc/download?doi=l 0.1.1.78.3 024&rep=rep 1 &type=pdf
  61. Maenpaa, T. The local binary pattern approach to texture analysis -extensions and applications Электронный ресурс] / Т. Maenpaa. — Режим доступа: http://herkules.oulu.fi/isbn9514270762/isbn9514270762.pdf.
  62. Mirmehdi, M. Handbook of texture analysis / M. Mirmehdi, X. Xie, J. S. Suri // London: Imperial College Press. — 2008. — 413 P.
  63. My Excite Электронный ресурс]. — Режим доступа: http://www.excite.com/.
  64. Ojala, Т. A Comparative Study of Texture Measures with Classification Based on Feature Distributions / T. Ojala, M. Pietikainen, D. Harwood // Pattern Recognition. — 1996. — T. 29. — № 1. — C. 51−59.
  65. Ojala, Т. Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns Электронный ресурс] / Т. Ojala, M. Pietikainen, Т. Maenpaa. — Режим доступа: http://www.outex.oulu.fi/publications/pami02opm.pdf.
  66. Ojala, Т. Nonparametric Texture Analysis with complementary spatial operators Электронный ресурс] / Т. Ojala, M. Pietikainen. — Режим доступа: http://www.outex.oulu.fi/publications/texture99280599.pdf.
  67. Ojala, Т. Unsupervised texture segmentation using feature distributions Электронный ресурс] / Т. Ojala, M. Pietikainen. — Режим доступа: http://www.ee.oulu.fi/research/imag/texture/publications/PR323.fm.pdf.
  68. Picasa Электронный ресурс]. — Режим доступа: http://picasa.google.com/.
  69. Pictures Электронный ресурс]. — Режим доступа: http://www.picsearch.com/.
  70. Scharr, Н. Optimal Operators in Digital Image Processing Электронный ресурс] / H. Scharr. — Режим доступа: http://archiv.ub.uni-heidelberg.de/volltextserver/volltexte/2000/962/.
  71. Tamura, Н. Textural Features Corresponding to Visual Perception / H. Tamura, S. Mori, T. Yamawaki // IEEE Transaction on Systems, Man and Cybernetics, Vol. SMC-8, No. 6. — 1978. — pp. 460−472.
  72. Tesseract-ocr An OCR Engine that was developed at HP Labs between 1985 and 1995. and now at Google. — Google Project Hosting Электронный ресурс]. — Режим доступа: http://c0de.g00gle.c0m/p/tesseract-0cr/.
  73. TinEye Reverse Image Search Электронный ресурс]. — Режим доступа: http://www.tineye.com/.
  74. Tuceryan, М. Moment Based Texture Segmentation / M. Tuceryan. — Режим доступа: http://cs.iupui.edu/~tuceryan/pdf-repository/Tuceryan1992.pdf.
  75. Tushabe, F. Content-Based Image Retrieval Using Combined 2D Attribute Pattern Spectra Электронный ресурс] / F. Tushabe, M. H. F. Wilkinson. — Режим доступа: http://iwi.eldoc.ub.rug.nl/FILES/root/2008/LNCSTushabe/2008LNCSTushab e.pdf.
  76. Understanding image-interpolation techniques Электронный ресурс]. — Режим доступа: http://www.vision-systems.com/articles/print/volume-12/issue-10/departments/wilsons-websites/understanding-image-interpolation-techniques.html
  77. Viola, P. Robust Real-time Object Detection Электронный ресурс] / P. Viola, M. Jones. — Режим доступа: http://research.microsoft.com/en-us/um/people/viola/Pubs/Detect/violaJonesIJCV.pdf.
  78. Wagner, R. A. The String-to-string correction problem Электронный ресурс] / R. A. Wagner, M. J. Fischer. — Режим доступа: http://www.daimi.au.dk/~cstorm/courses/AiBSe08/papers/WagnerFisherEd itDist.pdf.
  79. Wechsler, H. Reliable face recognition methods: system design, implementation and evaluation Электронный ресурс] / H. Wechsler. — Режим доступа: http://books.google.ru/books?id=r-efsB92dvEC&printsec=frontcover&hl=ru&source=gbsatb#v=onepage&q&f =false.
  80. Welcome to Flickr Photo Sharing Электронный ресурс]. — Режим доступа: http://www.flickr.com/.
  81. Wikianswers Find and edit the best answers. Add your questions here Электронный ресурс]. — Режим доступа: http://answers.wikia.com/wiki/Wikianswers.
  82. Yahoo! Russia Электронный ресурс]. — Режим доступа: http://ru.yahoo.com/?p=us.
Заполнить форму текущей работой

Пора сдавать?