Анализ области TTP-систем

Любая Text-To-Picture (TTP) система реализует три этапа работы: анализ входного текста; выделение графических описателей, соответствующих представлению входного текста; синтез изображения.

Существующие (и разрабатываемые) TTP-системы отличаются друг от друга в зависимости от имеющихся средств реализации каждой составляющей, и области приложения.

Если анализатор текста реализует только выделение ключевых слов и фраз, важных для «рисования», то в этом случае графическими описателями являются понятия, соответствующие лексемам или стандартным формам словосочетаний, с которыми связаны заранее выделенные изображения из коллекции изображений. Тогда синтез изображений по тексту заключается в выборе из коллекции соответствующих картинок (фотографий) и их компоновки на поле визуализации в зависимости от строения ЕЯ-текста.

Эта схема обычно включает словари, комбинирующие лингвистическое представление и представление в картинках, например, система PicNet [10]. Аналогично создаются системы «усиления» коммуникации, делающие акцент на выделение блоков изображений и их компоновки. Последние зависят от структуры текста и общих правил расположения, повышающих интуитивно очевидное восприятие картинки [15].

Для конвертирования текста на ЕЯ в графическую сцену необходим уже синтаксический и семантический анализ текста. Примером такой системы является система WordsEye [2].

Преобразование текста в динамическую 3D сцену (например, для графической реконструкции дорожно-транспортного происшествия по его естественно-языковому описанию) требует модуль извлечения из текста информации, существенной для визуализации данных, и модуль визуализации, который интерпретирует эти данные и показывает в динамике трехмерную сцену ДТП (система CarSim [12]).

Из современных отечественных разработок интересны подходы, развитые в работах [13, 3]. В этих подходах декларируется обработка естественного языка, использование онтологии и синтез графики.

Интеграция лингвистической трансляции с онтологиями и средствами визуализации является сложной проблемой, требующей комплексного подхода [6]. Если программные средства визуализации получили достаточное развитие, количество онтологий весьма велико, обработка естественного языка достигла определенного уровня, то интеграция результатов перечисленных исследований в рамках целостной системы пока далека от концептуальной и технологической зрелости. Отдельные аспекты этой проблемы исследованы в работах [6, 8, 5].

В большинстве TTP систем изображение составляется путём комбинации готовых изображений из библиотек, подобранных и взаимно расположенных по смыслу исходного естественно языкового описания. Недостатком такого подхода является его фиксированность — в подобных системах нельзя сгенерировать произвольное изображение вне библиотеки готовых картинок (галереи графических изображений) [4, 11, 14, 2, 7].