Автоматическая категоризация текстов

Задача категоризации (классификации) текстов на естественном языке заключается в распределении исходного множества текстов по нескольким заданным классам (категориям) на основании их содержания (семантики). Естественно-языковые тексты являются сложными объектами для классификации, поскольку представляют собой неструктурированные массивы данных, непригодные для прямого использования машинными алгоритмами. Как отмечалось выше, машинные алгоритмы классификации работают в пространстве формальных признаков, т. е. выполняют классификацию, основываясь на структурированных данных.

Это принципиально усложняет задачу, поскольку порождает необходимость обработки естественно-языковых текстов с целью получения их структурированных представлений, определяемых алгоритмами классификации. Задача классификации документов, таким образом, выходит далеко за рамки традиционных классификационных задач и напрямую затрагивает проблему обработки естественного языка.

В данном параграфе мы будем рассматривать задачу бинарной классификации текстовых документов, при которой документы следует распределить по двум классам. Чтобы не ограничивать общность задачи, целесообразно рассматривать распределение документов по следующим классам: класс документов, относящихся к заданной предметной области, и класс документов, не относящихся к этой предметной области.

В такой постановке задача классификации документов относится не только к дисциплине машинного обучения (Machine Learning), но и пересекается с другими научными дисциплинами:

• • с информационным поиском (Information Retrieval) — в части определения соответствия (релевантности) текстов заданной предметной области (теме);
• • автоматической обработкой текстов естественного языка (.Natural Language Processing) — в части преобразования текстов в структурированный вид и разрешения проблемы неоднозначности естественного языка;
• • интеллектуальным анализом данных (Data Mining and Text Mining) — в части извлечения знаний о предметной области из текстов естественного языка.

Приведем формальную постановку задачи.

Дано:

• • задано исходное множество документов D, представленных в виде текстов на естественном языке;
• • заданы предметная область и два класса С = {-1,1}, между которыми необходимо распределить документы. Меткой 1 обозначен класс документов, относящихся к предметной области, меткой -1 — класс документов, не относящихся к предметной области;
• • задана обучающая выборка D* с Д для каждого документа d* е D* которой известен его класс с* с С.

Требуется:

• • выделить признаки, по которым будет осуществляться классификация документов, т. е. построить признаковое пространство Rⁿ> где п — это количество измерений (классификационных признаков);
• • построить отображение документов исходного множества D в признаковое пространство Rⁿ такое, что каждому документу d е D ставится в соответствие его признаковое описание в виде и-мерного вектора x = (/₁,…,/_/?)gXсД т. е. построить множество признаковых описаний документов X с R
• • найти неизвестное отображение ф:Х—>С множества признаковых описаний документов X во множество классов С, если значения отображения известны только для обучающей выборки. Проиллюстрируем задачу (рис. 9.15).

Рис. 9.15. Задача классификации текстовых документов

Как следует из описания задачи, процесс классификации документов содержит больше этапов, чем общий процесс классификации. Это связано с тем, что документы, предназначенные для классификации, необходимо предварительно обработать и отобразить в признаковое пространство. Соответственно, всего в процессе классификации можно выделить пять этапов (рис. 9.16):

• 1) этап предварительной обработки документов;
• 2) этап построения признакового пространства;
• 3) этап построения признаковых описаний документов;
• 4) этап построения, проверки и оценки классификатора;
• 5) этан классификации основных данных.

Рассмотрим пошагово процесс классификации документов. Коллекция состоит из пяти документов (табл. 9.9), три документа в которой относятся к предметной области «Китай» и один — не относится к этой предметной области. Требуется классифицировать пятый документ, т. е. определить, относится ли он к предметной области «Китай».

Рис. 9.16. Процесс классификации документов.

Исходные данные задачи классификации документов.

Таблица 9.9

Для решения данной задачи будет использована векторная модель представления текста. В качестве метода классификации будет использован метрический метод Роккио. В связи с малым объемом исходных данных обучающая выборка не будет делиться на две части, поэтому проверка и оценка качества классификатора будут проведены на основных данных. Ключевые этапы решения приведены в табл. 9.10.

Этаны решения задачи.

Таблица 9.10

Окончание табл. 9.10

Шаг 1. Предварительная обработка документов. Как отмечалось выше, тексты документов па данном этапе разбиваются на слова, а слова приводятся к леммам — словарным формам. В результате обработки из текстов коллекции было выделено 106 слов, которым соответствуют 82 леммы. Из них 11 лемм встречаются в текстах более одного раза (табл. 9.11).

Таблица 9.11

Топ самых частотных лемм коллекции.

Шаг 2. Выделение признаков. Из полученных 82 лемм необходимо отобрать слова для формирования признакового пространства, т. е. ключевые слова, обладающие высокими классификационными свойствами. Поскольку исходная коллекция является не слишком большой, ключевые слова можно отобрать вручную. В данном примере в качестве ключевых слов были выбраны географические названия, встречающиеся в текстах, а также производные от них (табл. 9.12).

Таблица 9.12

Классификационные признаки (ключевые слова)

Шаг 3. Построение признаковых описаний документов. Признаковое пространство, определенное на предыдущем шаге, состоит из восьми признаков. Соответственно, признаковые описания документов — это 8-мерные векторы, координаты которых представляют веса признаков. В данном примере в качестве весов признаков используются частоты их вхождений в документы (табл. 9.13).

Шаг 4. Построение классификатора. В данном примере для классификации используется представитель класса метрических алгоритмов — метод Роккио. Как отмечалось выше, метрические алгоритмы основаны на предположении, что объекты одного класса в большинстве случаев располагаются компактно, т. е. вблизи друг друга. В методе Роккио близость определяется как евклидово расстояние между вектором документа и центроидом класса.

Формула евклидова расстояния между векторами a = (a_t,…, a") и b = (b_u…, b_n):

Под центроидом класса понимается вектор, координаты которого являются средними арифметическими соответствующих Признаковые описания документов.

Таблица 9.13

координат векторов документов, образующих данный класс. Произвольный документ считается принадлежащим тому классу, к центроиду которого ближе его вектор.

В данном примере три документа обучающей выборки (d_{, d₂, d₃) образуют класс документов «про Китай», один документ обучающей выборки d₄ образует класс документов «не про Китай». В табл. 9.14 приведены значения центроидов обоих классов и расстояние от вектора документа d₅ до этих центроидов.

Таблица 9.14

Центроиды классов.

Как видно из табл. 9.14, вектор документа d₅ ближе к центроиду класса «не про Китай», следовательно, документ d'₅ принадлежит классу «не про Китай».

Шаг 5. Проверка классификатора. В данном примере проверяется только один документ d₅: «Иокогама — красивейший порт Японии недалеко от Токио…» Расстояние от данного документа до класса «про Китай» (2,98) больше, чем расстояние от него же до класса «не про Китай» (2,45). Поэтому классификатор определил, что документ относится к классу «не про Китай». Поскольку речь в документе действительно идет о японском, а не о китайском городе, то можно считать, что классификатор правильно отнес документ к классу «не про Китай».

Шаг 6. Оценка точности классификатора. Поскольку класс документа установлен правильно, то можно считать, что точность классификатора составляет 100%. Однако результат можно интерпретировать и иначе: хотя речь в документе идет о Японии, а не о Китае, но в нем содержится информация о китайском квартале, значит, можно утверждать, что этот документ в какой-то степени относится и к предметной области «Китай». Этот факт подтверждается и значениями близости: расстояние от документа до центроида класса «не про Китай» лишь немного меньше, чем до центроида класса «про Китай». Здесь скорее можно вести речь не о четкой классификации, а о ранжировании документов — упорядочении по степени их принадлежности классам.

Указанные шаги по классификации документов можно проделать и в автоматическом режиме, с использованием пакета R. Только мы продолжим пример, построенный для английской коллекции текстов. Откройте в R скрипт обработки коллекции текстов и выполните его включительно до команды, где формируется неполная матрица «документы-на-термины», состоящая только из терминов-геонимов.

Теперь установите и подключите пакет RTextTools. Затем продублируйте код, приведенный ниже.

ClassLabels =с (1, 1,1,2,2,2).

container <- create_container (dtm, ClassLabels, trainSize=1:5, testSize=6:6, virgin=FALSE).

models <- train_models (container, algorithms = c («SVM»)).

results <- classify_models (container, models) analytics <- create_analytics (container, results) analytics@algorithm_summary analytics@document_summary.

Сначала мы задаем метки классов для наших документов. Поскольку шестой документ тестовый, то метку можно задать произвольную. Классификатор, а в данном примере мы используем машину опорных векторов SVM, сам определит метку этого документа. Затем мы указываем так называемый контейнер для классификации, куда помещаем коллекцию в виде матрицы, метки классов, размер обучающей коллекции, размер тестовой коллекции. Далее описываем модель, т. е. наш контейнер и алгоритм. Далее запускаем классификацию. Последние три строчки выводят результаты.

Расшифруем теперь значения результатов. SVM_LABEL = 2 означает, что алгоритм поставил метку класса для шестого документа, равную 2, т. е. отнес документ к классу Япония. Вероятность классификации равна SVM_PROB = 0.716 847 9, ручная метка, проставленная нами, тоже равна 2, о чем свидетельствует значение MANUAL_CODE = 2.

Более подробно о способах классификации можно узнать из дополнительных источников¹.