Математическое моделирование семантической эквивалентности ?-грамматиками

Тенденция увеличения производительности вычислительной техники при снижение ее стоимости способствует расширению сфер применения ЭВМ. Однако повсеместному использованию ЭВМ препятствует ряд факторов, образующих так называемую «проблему общения» [71, 72].

Развитие программирования показало, что общение пользователя с ЭВМважное звено в эффективности решения задач. Для человека идеальным было бы общение на обычном, естественном языке. Кроме того, естественный язык — это, пожалуй, единственная известная нам на сегодня моделирующая система, средствами которой можно описать многообразный окружающий мир. Отсюда большой интерес к анализу естественного языка (ЕЯ) как средства для описания действительности и средства коммуникации между человеком и системой [27].

Интерес к разработке систем общения на ЕЯ проявляется как со стороны научных дисциплин, так и со стороны технических, связанных с разработкой и реализацией на вычислительной технике моделей в виде систем общения, вопросно-ответных систем, систем машинного перевода и других, относящихся к классу интеллектуальных систем (ИС). Обеспечение процесса общения с ЭВМ на ЕЯ на данное время рассматривается как одна из важнейших задач, стоящих перед разработчиками ИС. Задачи исследования методов и разработки подобных систем в настоящее время образуют самостоятельное направление, получившее название «Обработка естественного языка» (Natural Language Processing) [71].

Несмотря на значительные успехи рассматриваемого направления, в настоящее время большинство систем, связанных с обработкой ЕЯ относится к экспериментальным системам, которые не могут быть использованы для решения задач реальной сложности [74]. Прежде всего такое положение обусловлено состоянием теоретических исследований проблем моделирования языка, в частности, отсутствием на настоящее время семантического описания структуры текстов и предложений.

Проведенное рассмотрение моделей общения и моделей языка позволяет констатировать отсутствие единого формального аппарата, который мог бы гарантировать истинность выдвигаемых теорий, принципов и методов. Это обстоятельство и сложность самой проблемы обработки ЕЯ не позволяют в настоящее время разработать и реализовать модель ЕЯ в полном объеме, претендуя на полноту и охватывая все нюансы, связанные с обработкой ЕЯ. Однако, при разумно выбранных ограничениях на язык и предметную область существующими методами можно разработать системы обработки ЕЯ, пригодные для практического применения при решении задач реальной степени сложности.

Решаемая в настоящей диссертационной работе проблема моделирования семантической эквивалентности высказываний на ЕЯ относится к вопросам обработки естественного языка и ориентирована на практическую реализацию в системах по установлению смысловой тождественности входной текстовой информации.

Областью непосредственного применения теоретических результатов настоящей работы является автоматизация обучения, более конкретноавтоматизированный контроль знаний. Важное преимущество автоматизированного обучения состоит во всеобщем и постоянном контроле и объективной оценке результатов, в отличии от выборочного периодического контроля, характерного для традиционного метода обучения [1]. Указанное преимущество обеспечивает, как правило, гораздо большую эффективность автоматизированного обучения по сравнению с традиционным.

Однако, рассматривая задачу установления семантической эквивалентности как задачу распознавания смыслов, практическая значимость построенной модели семантической эквивалентности не ограничивается отмеченной областью автоматизированного тестирования знаний. Любая система, функционирующая в естественных человеческих языках, либо обрабатывающая выразительные средства общения, такие как текст и голос, включает в качестве необходимого компонента модуль обработки ЕЯ с целью автоматического перевода с внешнего языкового представления на язык смыслов с процедурами классификации и объединения языковых оборотов, равнозначных по смыслу.

Учитывая обоснованное существование проблемы обработки естественных языков в плане распознавания смысла, отсутствие единых общепризнанных теоретических подходов и формальных средств описания семантики ЕЯ, а также практическую значимость и ориентацию проблемы установления смысловой эквивалентности на практическое применение, сформулируем главную цель работы следующим образом: разработка и исследование формальной математической модели семантической эквивалентности высказываний на естественном языке с целью практической реализации механизма установления тождественности смыслов высказываний с теоретическим обоснованием алгоритмической разрешимости этого механизма и оценкой вычислительной сложности соответствующей вычислительной задачи.

Диссертационная работа состоит из введения, четырех глав, заключения, приложения, списка используемых сокращений и библиографического списка.

Результаты работы имеют не только научную, но и практическую значимость. Использование для формального описания глубинного синтаксиса и системы перифразирования введенного математического аппарата расширенных лексико-синтаксических А-грамматик позволяет теоретически обосновать принципиальную возможность существования алгоритмического решения для задач анализа глубинно-синтаксических представлений естественно-языковых фраз и принадлежность этих задач к классу задач полиномиальной временной сложности.

Предложенные в работе алгоритмы позволяют эффективно решать задачи установления смысловой эквивалентности высказываний на естественном языке без существенного ограничения предметной области. Отсутствие в предлагаемых вычислительных схемах процедур обработки семантических представлений анализируемых высказываний, и, как следствие, отсутствие обращений к семантическо-русскому словарю, не только существенно упрощает алгоритмическую сложность механизма установления семантической эквивалентности, но и делает реализацию этого процесса принципиально возможной в силу отсутствия на настоящее время такого словаря для естественных языков. На современном этапе сведение текста на ЕЯ к его семантическому представлению без существенного ограничения предметной области не осуществимо прежде всего в связи с абсолютно недостаточной теоретической изученностью соответствующих процессов и неразработанностью конкретных вариантов семантического представления для большого объема лексики ЕЯ.

Практическое применение построенной модели семантической эквивалентности не ограничивается рассмотренной в качестве примера реализации областью автоматизации обучения. Учитывая современную тенденцию функционирования ЭВМ в естественных человеческих языках, при ведении диалога важно уметь осуществлять автоматический перевод с внешнего языкового представления на внутренний язык вычислительной задачи. С этой целью удобно использовать предложенный в работе формальный аппарат Л-грамматик с процедурами классификации и объединения языковых оборотов, равнозначных по смыслу.

Материалы работы основаны на публикациях [34, 35, 44−47], из них 4 опубликовано и 2 депонировано в ВИНИТИ. Полученные результаты апробированы в докладах на конференциях: 12-ой Международной научной конференции «Математические методы в технике и технологиях — ММТТ-12» (Великий Новгород, 1999), 3-ей Всероссийской с участием стран СНГ конференции «Распознавание образов и анализ изображений: новые информационные технологии» (РОАИ-3−97) (Нижний Новгород, 1997), в докладах на научных конференциях в рамках Дней Науки в НовГУ (Новгород, 1995), (Новгород, 1996), (Новгород, 1997).

Все научные и практические результаты получены автором самостоятельно.

Все теоретические положения диссертации доведены до вида алгоритмов и схем программ и проверены в ходе машинного эксперимента. Для подтверждения полученных теоретических положений был проведен машинный эксперимент по установлению семантической эквивалентности высказываний на естественном русском языке. Реализованы следующие необходимые подсистемы экспериментального программного комплекса: морфологический компонентреализует грамматический разбор входного предложениясинтаксический компонент — реализует синтаксический разбор входного предложения с анализом результатов в виде дерева подчиненияпреобразователь дерева синтаксического подчинения в глубинную синтаксическую структуру для анализируемого предложениясистема перифразирования — строит для заданной глубинносинтаксической структуры все возможные в рамках модели синонимические ГССмеханизм установления семантической эквивалентности.

В качестве входных данных перечисленных компонентов допускаются предложения русского языка, составленные из слов, принадлежащих словнику занесенного в базу данных фрагмента толково-комбинаторного словаря современного русского языка. Лексическая система реализованного фрагмента ТКС является замкнутой. В силу сложного строения схемы словарной статьи ТКС, требующей наличие нетривиальной процедуры обработки для автоматизированного занесения содержимого словаря в БД, а также представления исчерпывающим образом семантических и сочетаемостных соотношений заглавных слов статей с другими словами, реализованный фрагмент включает только 30 вокабул.

При практической реализации система, построенная на основе предложенной модели, будет отличаться от экспериментальной только количественными аспектами, так как ограничения модели не оказывают существенного влияния на возможности системы, связанные с областью ее применения в рамках обработки научного текста.

Завершая настоящую работу, следует наметить возможные направления дальнейших исследований. Учитывая результаты машинного эксперимента, и проблемы, связанные с этапом заполнения БД информацией из ТКС, в качестве приоритетного направления дальнейших исследований в рамках поставленной задачи следует выделить вопросы представления знаний о языке с учетом универсальной и характерной только для рассматриваемого типа словарей схемы словарной статьи ТКС, а также разработку процедуры эффективного поиска в ТКС. Кроме того, учитывая объем представленной в словаре лексики, а также намеченное авторами словаря его дальнейшее расширение и модификацию, актуальной является задача построения алгоритмов автоматического распознавания и классификации разнородных данных о языке (графическая и текстовая информация), представленных в ТКС.

ЗАКЛЮЧЕНИЕ

.

В заключении сформулируем положения, определяющие научные и практические результаты настоящей диссертационной работы.

Основные научные результаты состоят в следующем:

— разработана формальная концептуальная модель семантической эквивалентности высказываний на естественном языке;

— введен новый класс А-грамматик — расширенные лексико-синтаксические А-грамматики;

— сформулирована и доказана лемма о конечности языка, определяемого грамматикой класса расширенных лексико-синтаксических А-грамматик;

— сформулирована и доказана теорема об алгоритмической разрешимости проблем принадлежности, пустоты и эквивалентности для языка, определяемого грамматикой класса расширенных лексико-синтаксических А-грамматик;

— сформулирован и доказан ряд теорем об алгоритмической сложности вычислительных задач, формально описанных с использованием аппарата расширенных лексико-синтаксических А-грамматик;

— решена задача моделирования системы перифразирования, как частного случая преобразований УУ-деревьев, формальным аппаратом расширенных лексико-синтаксических А-грамматик: построено специальное исчисление в виде системы правил синонимических преобразований над глубинно-синтаксическими структурами фраз естественного русского языка с учетом разработанного для русского языка аппарата лексических функций;

— предложен алгоритм считывания глубинно-синтаксического, У/У-дерева с дерева синтаксического подчинения, построенный на модификации формального представления модели управления толково-комбинаторного словаря;

— разработан обобщенный алгоритм установления семантической эквивалентности высказываний на естественном русском языке на основе построенного исчисления синонимии.