Краткий обзор иных теорий информации

Определение количества информации, безусловно, имеет важное значение в практических целях организации передачи и хранения информации. Однако количество информации совсем не обязательно соответствует интуитивно понимаемой важности информации (вспомним пример с кодовой фразой «Над всей Испанией безоблачное небо», несущей всего 1 бит информации). Существует ряд подходов, позволяющих оценить смысловую сторону сообщения. Такие методы составляют семантическую теорию информации. Эта теория была предложена в 1952 г. Р. Карнапом^[1] и И. Бар-Хиллелем. Они предложили измерять величину семантической информации с помощью так называемой логической вероятности, которая является мерой подтверждения той или иной гипотезы. Количество семантической информации, содержащейся в сообщении, тем больше, чем меньше степень подтверждения априорной гипотезы. В предельном случае, если вся гипотеза основана на предварительных данных, которые целиком повторяются в сообщении, такое сообщение семантической информации не несет.

Советский ученый А. А. Харкевич высказался в том смысле, что ценность информации связана с целями получателя сообщения¹. Если полученное сообщение способствует достижению цели, повышает вероятность ее достижения, то такая информация имеет положительную ценность для потребителя. Он ввел меру информации следующим образом:

где pj и р₂ — вероятности достижения цели соответственно после и до получения сообщения. Семантическая теория информации определяет меру нового знания с точки зрения ее полезности для достижения целей получателя. Поэтому такую трактовку еще называют прагматической теорией, или теорией полезности информации. Семантическая теория определяет не меру полезности информации вообще, а ее полезность относительно данного приемника и тем самым тесно связана с информационным тезаурусом адресата.

Еще один подход, названный теорией сложности, или алгоритмической теорией информации, продемонстрировал в 1960;х гг. академик А. Н. Колмогоров^[2][3]. Он высказал предположение, что вместо, например, длинной строки двоичных символов можно было бы передавать код программы, способной генерировать эту строку. Исходя из этих соображений, А. Н. Колмогоров определил сложность информации, содержащейся в сообщении, как длину кратчайшей программы для универсального компьютера, генерирующую это сообщение. В качестве универсального компьютера можно использовать машину Тьюринга, моделирующую функционирование любого другого универсального компьютера. При некоторых допущениях сложность по Колмогорову есть не что иное, как шенноновская энтропия, так как в среднем длина программы, способной воспроизвести случайный объект, равна энтропии случайной системы, из которой извлечен этот объект.

Если буквой X обозначить входные данные для программы Р, а буквой У — выходные, то относительной сложностью сообщения У относительно X считается минимальная длина программы, преобразующая X в У. Дав этой сложности обозначение K (YX), можно записать формулу Колмогорова для оценки алгоритмического количества информации в сообщении Y относительно сообщения X:

Алгоритмическая информация может принимать как положительные, так и отрицательные значения, но не меньше некоторой отрицательной константы, зависящей от выбранного метода программирования. А. Н. Колмогоров сам указывал на недостатки такого подхода, связанные с тем, что алгоритмическая оценка зависит от выбранного метода программирования, т. е. имеет, по сути, субъективный характер.

• [1] Карнап Р. Значение и необходимость. М., 1959.
• [2] Харкевич А. А. Теоретические основы радиосвязи. М., 1957.
• [3] Колмогоров А. Н. Три подхода к определению понятия «количествоинформации» // Проблемы передачи информации. Т. 1. М., 1964.