1. Что такое векторная модель представления текста?
2. Что такое словарь коллекции? Для чего нужно сокращение размерности словаря?
3. Что такое вес слова в документе? Назовите известные вам методики взвешивания слов.
4. Что представляет собой латентная семантическая модель? Что такое сингулярное разложение? Какие три следствия латентного семантического анализа вы знаете?
5. Что такое неотрицательная матричная факторизация?
6. Как можно извлечь ключевые слова при помощи неотрицательной матричной факторизаци и ?
Практикум
1. Проанализируйте код, приведенный в примере выделения связей в коллекции текстов (см. параграф 9.1). Самостоятельно найдите в Интернете справочное руководство, но пакету Ш или воспользуйтесь ссылкой[1][2] и ознакомьтесь с основными командами пакета tm.
2. Проанализируйте, как изменится граф связей в примере из параграфа 9.2, если использовать значение k = 3? к = 4? Как вы можете объяснить эти результаты?
3. Выполните классификацию, используя матрицу dim из примера в R до и после сингулярного разложения. Проанализируйте, как изменится вероятность классификации: повысится или понизится?
Рекомендуемая литература
1. Мастицкий, С. Э. Статистический анализ и визуализация данных с помощью R / С. Э. Мастицкий, В. К. Шитиков // R: Анализ и визуализация данных. 2014. URL: http://r-analytics.blogspot.rU/p/blog-page20.html.
2. Пескова, О. В. Методы автоматической классификации текстовых электронных документов / О. В. Пескова // Научно-техническая информация. — 2006. — Т. 2.
3. Пескова, О. В. Методы автоматической классификации электронных текстовых документов без обучения / О. В. Пескова // Научно-техническая информация. — 2006. — Т. 2.
4. Федотов, Р. Г. Классификация текстовых документов. Уменьшение размерности задачи и повышение производительности / Р. Г. Федотов // Nauka-rastudent.ru. — 2014. — № 4 (04).
5. Jurka, Т. Р. RTextTools: A Supervised Learning Package for Text Classification/Т. P. Jurka//The RJournal. — 2013. — № 1 (5).
[1] См. например:./ш'&я Т. Р. RTextTools: A Supervised Learning Package for TextClassification / T. P. jurka [ct al.] // The R Journal. 2013. № 1 (5).
[2] Graham W. Hands-On Data Science with R Text Mining // Togaware. 2016.10 January. URL: http://oncpagcr.togaware.com/TextMiningO.pdf
