Методы вычисления информативности признаков

Выбор наиболее подходящей меры информативности для некоторой конкретной предметной области позволяет определить с одной стороны небольшое, а с другой стороны достаточное множество признаков. При этом нет формального критерия качества сделанного выбора, а рекомендации в пользу той или иной меры носят характер мнений эксперта и имеют неточный вид.

Рассмотрим процедуру постановки задачи на примере анализа выборки сигналов. Информация, которую необходимо анализировать, предоставлена ФГУП «Сосенский приборостроительный завод». Это сигнал, полученный с антенного комплекса системы контроля доступа «СОМО». Образцы сигнала снимались в двух режимах: без маркированного объекта (без метки) и с магнитной меткой в поле антенн. Каждый образец был, подвергнут обработке по БПФ (быстрое преобразование Фурье) и объект для работы состоит из 513 коэффициентов спектра. Пример образца с меткой и без метки приведен на Рис. 1 (временной вариант сигнала), Рис. 2 (спектральный вариант сигнала).

а) б) Рис. 1. Образец сигнала без метки: а) и с меткой на расстоянии 20 см. от антенн б)

Рис. 2. Спектр: а) — без метки, б) — метка на расстоянии 20 см., в) — 30 см., г) — 45 см

Объем доступной для работы выборки составляет несколько тысяч образцов. Каждый образец отнесен к классу «шум» (образцы без метки) или «метка». Среди полученных признаков (коэффициентов разложения) экспертом на основе визуального анализа выделено наиболее информативное подмножество в диапазоне от 100-го до 200-го признака. Для решения задачи разделения была организована нейронная сеть обратного распространения ошибки из 2-х слоев с 10-ю нейронами сигмоидального типа в скрытом слое [Комарцова и др. 2002]. Моделирование сети осуществлялось в среде Matlab 6.5 NeuroToolBox. Качество распознавания составило 66.4% на обучающей выборке 600 образов за 55 эпох. С целью повышения качества было принято решение о выделении меньшего подмножества наиболее информативных признаков.

Процедуру поиска информативных признаков можно реализовать с использованием различных методов. Среди них можно выделить следующие подходы: информативность признак мера модель Коэффициенты корреляции, такие как коэффициенты Пирсона, Фехнера, Кендалла, Спирмена и др. [Гайдышев, 2001]. Они предъявляют достаточно жесткие требования к закону распределения значений и виду признаков. Например, Коэффициент корреляции Спирмена может определять монотонные зависимости (т.е. монотонно возрастающие, либо монотонно убывающие). Он может применяться для признаков, измеренных как в количественной шкале, так и в порядковой. С другой стороны, коэффициент Пирсона применяется для вычисления силы линейной связи между количественными признаками Информативность по Шеннону, которая использует меру трудности распознавания [Вагин и др. 2004].

Мера Хемминга, интерпретируемая как количество попарно одинаковых битов векторов [Гайдышев, 2001].

Оценку информативности признаков можно получить и непосредственно в процессе построения решающего правила в виде дерева дихотомических делений выборки по отдельным признакам [Загоруйко, 1999].

Все предъявленные меры с той или иной точностью решают вопрос информативности. Для сравнения результатов их работы провели численный эксперимент. Результаты формирования списка 10 наиболее важных признаков с точки зрения разных мер информативности приведены в Табл. 1.

Табл. 1.

Очевидно, что на одном и том же наборе данных был получен существенно отличающийся порядок признаков с точки зрения информативности. Результаты моделирования нейросети для сокращенных в соответствии с полученной информативностью подмножеств признаков приведены в Табл. 2.

Табл. 2.

Результаты решения одной и той же задачи существенно зависят от способа вычисления информативности. Это хорошо видно для случая пространства из 50 признаков, где разброс ошибки разделения объектов достиг 9.1%. Качество выделения информативной составляющей зависит от применяемой меры и ее совместимости с конкретной задачей, что не всегда легко определить при постановке интеллектуальной задачи. Таким образом, подбор способа определения наиболее важных составляющих описания носит все признаки плохо формализуемой задачи. Следовательно, имеет смысл решать задачу выбора метода вычисления информативности как задачи интеллектуального анализа информации.