Система метрик для оценки качества извлечения информации из текстов

Основные требования к системе метрик

Учитывая вышесказанное основные требования к предлагаемой ниже системе метрик — следующие:

• · Монотонность всех метрик и системы метрик в целом.
• · Сбалансированность всех метрик системы.
• · Понятность и интуитивная прозрачность отдельных метрик и системы метрик в целом для эксперта-человека.
• · Однозначность интерпретации результатов оценки.
• · Возможность интегральной оценки качества.
• · Эффективная вычислимость всех метрик и системы метрик в целом.
• · Адекватность текущему уровню теории и практики создания систем извлечения информации из текстов и возможность их обобщения в будущем.

При этом предлагается сохранить в качестве базиса для новой системы метрик сохранить существующие оценки — точность, полноту и F-меру.

Требование монотонности имеет тот же смысл, что и у существующих метрик, но предполагается, что в области их определения не должно быть «провалов». Сбалансированность метрик системы означает, что все предпочтения должны специфицироваться явно. Что касается требования понятности и интуитивной прозрачности, а также связанного с ним требования однозначности интерпретации результатов оценки, то здесь прежде всего имеется ввиду четкость определения и измерения параметров, входящих в расчетные формулы. Требование возможности интегральной оценки качества важно с точки зрения сравнения разных систем независимо от тех алгоритмов обработки, которые в них реализованы. При этом предполагается наличие и скалярной, и векторной итегральной оценки. Требование эффективной вычислимости всех метрик и системы метрик в целом очевидно и в специальном обсуждении не нуждается. Иначе обстоит дело с последним требованием, соответствие которому преполагает, что с увеличением мощности существующих систем извлечения информации из текстов новая система метрик будет естественным образом расширяться и пополняться с возможностью сохранения оправдавших себя на практике метрик существующей системы.

По нашему мнению, реализация этих требований должна дать более точное представление о возможностях разных систем и корректного их сравнения.