Проектирование системы. 
Мультиагентная система для анализа и веб-сёрфинга

Система агентов

Ввиду того, что данный проект обладает широким функционалом и затрагивает различные сферы информационных технологий (ИТ), была выбрана мультиагентная архитектура, с целью распределить выполнение задач между несколькими агентами.

1. Первой встает задача сбора информации и необходим агент для выполнения этой задачи.

Сборщик. Агент для сбора информации из профиля пользователя сети «ВКонтакте». Это такая информация, как статус, оценки «мне нравится», сообщества, аудиозаписи, видео, всё, что может помочь выявить интересы пользователя.

2. Затем стоит задача, выявления того, что же пользователю нравиться больше из того что есть, у него на странице и определение рекомендаций по выявленным интересам.

Анализатор. Агент для осуществления анализа контента со страницы пользователя, определения предпочтений и контента который можно порекомендовать данному пользователю.

3. Ну и последняя масштабная задача — поиск и сбор рекомендуемого контента в сети Интернет для последующего предоставления пользователю.

Рекомендатель. Агент, собирающий подходящий контент в сети Интернет основываясь на рекомендациях для каждого конкретного пользователя.

Исходя из описанной выше функциональности агентов, архитектура системы будет выглядеть следующим образом:

Рисунок 4. Архитектура системы Профиль ВКонтакте в данном случае подразумевает под собой, все данные со страницы пользователя в контакте. Страница пользователя «ВКонтакте» содержит информацию разного рода: персональная информация, которую пользователь заполняет сам, список сообществ, подписок, который формируется в ходе активности на сайте ВКонтакте, медиа контент (фото, аудио, видео).

Агент Сборщик, посредством вызова методов ВКонтакте API, получает ответ в формате JSON, откуда он вычленяет необходимую информацию. Пример:

Рисунок 5. Ответ в формате JSON на запрос audio. get VK API.

Например, в случае с аудиозаписями из запроса ВКонтакте API audio. get (Рис. 5), Сборщик извлечет только тег artist, так как именно по артисту будут выдаваться рекомендации. Затем Сборщик заносит собранные данные в базу интересов для дальнейшего анализа.

Когда Сборщик закончил сбор данных он подает сигнал Анализатору. Агент Анализатор, в первую очередь производит ранжирование по данным, собранным Сборщиком, то есть предполагает, что из того, что находится у пользователя на странице, нравится ему больше. Это сделано, чтобы в дальнейшем расставить приоритеты для рекомендаций: какие рекомендации будут более интересны, а какие менее. Для того чтобы проранжировать объекты по важности будет использоваться метод схожий по смыслу с количественным методом контент-анализа. В случае контент-анализа, по количеству встречаемых слов в тексте определяется тематика, например, статьи в газете. По такому же принципу можно попробовать оценить, какой исполнитель интересует пользователя больше других, по количеству песен каждого исполнителя в списке аудиозаписей из профиля социальной сети «ВКонтакте». После ранжирования, Анализатор, путем обращения к сторонним базам имеющим классификацию объектов (IMDb, lastFM), выявляет объекты, схожие с теми что были собраны со страницы пользователя «ВКонтакте», которые будут являться критериями поиска рекомендаций.

Закончив определение предпочтений пользователя, и выявив объекты для рекомендаций, Анализатор подает сигнал Агенту Рекомендателю. Рекомендатель в свою очередь обращается к реестру сайтов, где он получает список сайтов, на которых может быть найден рекомендуемый контент. Реестр сайтов сократит масштаб поиска и индексирования множества лишних страниц. Рекомендатель индексирует каждый сайт из реестра и записывает список страниц каждого сайта в базу данных. Затем имея список URL для поиска и объекты, которые могут заинтересовать активного пользователя, Рекомендатель собирает в Интернете контент и затем предоставляет его пользователю.