Исследование и разработка методов и моделей поиска адекватной информации в полнотекстовых базах данных

Актуальность темы

.

Становление современного информационного общества немыслимо без использования информационных ресурсов в электронном виде. Переведенные в электронную форму и собранные в общую систему, информационные ресурсы приобретают новый статус, в котором реализуется качественно иной уровень хранения и распространения самой разнообразной информации, обеспечивая им более широкое распространение и эффективное использование [1−2]. Однако возникающие при этом коллекции документов имеют большую неоднородность. Как показывает статистика, доля структурированных данных в подобных архивах составляет не более 20%, остальные же 80% приходятся на долю различных документов, сканированных текстов и другой разрозненной информации [3]. При этом возникает проблема эффективного поиска адекватной информации, решение которой позволяет превратить разрозненные данные в целостную систему знаний [4]. Существующие поисковые системы первого поколения не могут в полной мере решить задачу поиска релевантной информации в полнотекстовых коллекциях, во многом по причине ориентированности на реляционные модели поиска, слабо применимые к поиску информации в коллекциях документов на естественном языке.

Именно поэтому в последние годы ведутся исследования и разработки поисковых систем нового поколения, с привлечением основных достижений искусственного интеллекта (ИИ), как наиболее подходящего инструмента для решения поставленной задачи — эффективного интеллектуального поиска информации в полнотекстовых базах данных.

Ряд авторитетных исследователей внесли своими научными трудами значительный вклад в развитие информационно-поисковых систем: И. С. Некрестьянов, Д. А. Поспелов, В. Ю. Добрынин, А. Г. Дубинский, И. Е. Кураленок, А. Е. Ермаков, М. Р. Когаловский, A.B. Сокирко, Ф. У. Ланкастер, G. Salton, A. Singhai, М. Mitra, S. Lawrence, P. Foltz, E. Fox, J. Cho, R. Baeza-Yates, K. Tajima, C. Van Rijsbergen, L. Gravano, J. Kleinberg.

Кроме того, существуют коммерческие организации, занимающиеся не только вопросами исследований, но и вопросами внедрения информационных поисковых технологий, это такие известные организации как Яндекс, Рамблер, Апорт, НейрОК, Гарант-Парк-Интернет, Медиа Лингва, Галактика-Зум, ABBYY-FTR, Hummingbird, Convera и др.

Проблеме построения эффективных систем полнотекстового поиска информации с помощью прогрессивных методов искусственного интеллекта посвящена и данная диссертационная работа.

В работе предложено использование математических моделей поиска информации, описываемых нечеткими графами второго рода, что позволит учитывать семантику документа и повысить релевантность ответа за счет использования смыслового содержания документов и знаний экспертов о предметной области.

Объект исследования.

В настоящей работе исследуется возможность и целесообразность применения новых методов и моделей интеллектуального поиска адекватной информации в полнотекстовых базах данных, а также разработка алгоритмов поиска релевантной информации с использованием полученных моделей.

Цели и задачи работы.

Целью настоящей диссертационной работы является разработка методов и моделей поиска адекватной информации в полнотекстовых базах данных, имеющих более высокую релевантность ответа по сравнению с существующими аналогами и позволяющую привлекать знания экспертов с целью повышения качества поиска. Для достижения поставленной цели предлагается использовать семантико-ориентированную модель поиска информации, основанную на использовании нечетких графов для представления смысла документов.

Для достижения поставленной цели в диссертации решаются следующие основные задачи:

4.5. Выводы.

1. Рассмотренные в данном разделе особенности полнотекстовых поисковых систем указывают на возможность использования опыта по созданию существующих ИПС при разработке архитектуры полнотекстовой ПС, использующей методы и модели поиска, предложенные в данной работе.

2. Полученные оценки быстродействия и ресурсоемкости предлагаемых алгоритмов указывают на существенный резерв, как процессорного времени, так и объемов памяти для наращивания мощности алгоритмов поиска. Программная модель, построенная с использованием предложенных алгоритмов, имеет скорость работы, применимую для ее практического использования.

3. Предлагаемый вариант архитектуры ИПС, выполненной в рамках одной ЭВМ, учитывает особенности полнотекстовых коллекций документов, ориентирован на применение интеллектуальных методов индексирования документов и поиска информации.

4. Результаты проведенных экспериментов позволяют сделать вывод о перспективности использования предлагаемых методов и моделей поиска. В проведенных экспериментах использование расширенного синонимами и частными понятия запроса позволило получить полноту поиска на 15−20% превышающую результаты, полученные с применением обычного запроса. Выявленные недостатки присущие предлагаемому подходу не носят принципиального характера и могут быть либо разрешены техническими средствами, либо естественным образом вытекают из допущений, на которых основана разработанная модель поиска и ограничивают сферу применения предлагаемой модели.

5. Указаны общие направления дальнейшего развития и усовершенствования разработанных в диссертационной работе алгоритмов поиска в полнотекстовых информационных средах с использованием модульной архитектуры и сложных моделей поискового образа документа.

ЗАКЛЮЧЕНИЕ

.

В диссертационной работе решена поставленная научная задача: разработан метод поиска адекватной информации в полнотекстовых базах данных. Проведенный в работе анализ существующих систем поиска информации в Internet/Intranet сетях выявил ряд существенных недостатков, не позволяющих этим системам выполнять полноценный интеллектуальный поиск в полнотекстовых массивах информации. На основании требований, предъявляемых к полнотекстовым поисковым системам, в работе построена математическая модель поиска информации. Модель поиска включает представление полнотекстового документа, представление поискового образа документа, представление расширенного запроса пользователя и метод вычисления релевантности документа на основании его поискового образа и расширенного поискового запроса. Разработаны алгоритмы для реализации построенной математической модели поиска. Предлагаемые модели поиска отличаются от существующих большей гибкостью при управлении критериями поиска, возможностью применения знаний экспертов для повышения релевантности ответа, возможностью включения пользователя в процесс поиска с целью уточнения запроса и получения более качественных результатов поиска. Предложенная модель основана на использовании нечетких графов второго рода для представления семантических сетей документа и запроса.

В работе выполнена теоретическая оценка вычислительной сложности и ресурсоем кости предложенных алгоритмов. Полученные оценки были подтверждены результатами программного моделирования, которые позволяют сделать вывод о возможности практической реализации предложенной модели поиска и расширения модели рядом операций по преди постобработке результатов поиска с целью повышения эффективности работы интеллектуальной поисковой системы.

Разработанный вариант функциональной архитектуры поисковой системы может служить основой при проектировании действующих полнотекстовых интеллектуальных ПС нового поколения.

Результаты проведенных экспериментов позволяют сделать следующие выводы:

— разработанный алгоритм анализа исходного документа позволяет получить ПОД, соответствующий используемой математической модели и адекватно отражающий семантическое содержание документа. Предложенная модель, в отличие от существующих, содержит помимо словесного портрета документа его семантику, выраженную в виде ассоциативной семантической сети на множестве термов документа;

— предложенная в работе модель общения активно включает пользователя в процесс построения расширенного запроса. Привлечение пользователя для уточнения расширенного с помощью экспертной базы знаний запроса позволяет не только повысить релевантность ответа путем захвата документов с синонимами и более частными понятиями, но и повысить точность, так как именно пользователь должен принять окончательное решение о принадлежности того или иного трема расширенному запросу;

— использование расширенного запроса, составленного на основании объединения знаний экспертов, знаний пользователя и знаний ИПС, полученных при анализе уже проиндексированных документов, позволяет повысить полноту ответа (при сравнении с обычным запросом на 15−20%) и точность отдельных релевантных документов (в экспериментах релевантность документов повышалась на 10−15%);

— семантическая сеть, получаемая на основании объединения ПОДов проиндексированных документов, позволяет получить полезную информацию о предметной области, такую как семантическое окружение запроса, более точно характеризующие направление поиска, термы, имеющие схожие семантические окружения, которые могут оказаться синонимами (в экспериментах число таких термов, оцененных экспертом как синонимы было равно 5−10%), кластера сильно связанных термов, выделяющих темы внутри предметной области, позволяющие решать задачу классификации результатов поискапредложенные в работе дальнейшие направления совершенствования интеллектуальных поисковых информационных систем в рамках семантико-ориентированной модели поиска позволяют говорить об актуальности развития данного направления, как для науки, так и для практического применения.