Информация

Содержание

• Введение
• Глава 1. Информации. Понятие, виды информации
  • 1. 1. Понятие информации
  • 1. 2. Виды информации
• Глава 2. Измерение информации. Количественная мера информации
  • 2. 1. Мера информации
  • 2. 2. Синтаксические меры информации. Структурная теория. Мера Хартли
• Геометрическая мера
• Комбинаторная мера
• Аддитивная мера Хартли
  • 2. 3. Синтаксические меры информации. Статистическая теория. Мера Шеннона
• Понятие энтропии
• Мера Шеннона
• Количество информации
• Заключение
• Литература

Возникновение теории информации как самостоятельной науки связано с идеями кибернетики. Кибернетика изучает в самом общем виде процессы управления, а рациональное управление требует определенной информации, ее получения, хранения, передачи по каналам связи и переработки.

Теория информации тесно связана с такими разделами математики как теория вероятностей и математическая статистика, а также прикладная алгебра, которые предоставляют для нее математический фундамент. С другой стороны теория информации исторически и практически представляет собой математический фундамент теории связи. Часто теорию информации вообще рассматривают как одну из ветвей теории вероятностей или как часть теории связи. Таким образом, предмет «Теория информации» весьма узок, т.к. зажат между «чистой» математикой и прикладными (техническими) аспектами теории связи.

Теория информации представляет собой математическую теорию, посвященную измерению информации, ее потока, «размеров» канала связи и т. п., особенно применительно к радио, телеграфии, телевидению и к другим средствам связи. Первоначально теория была посвящена каналу связи, определяемому длиной волны и частотой, реализация которого была связана с колебаниями воздуха или электромагнитным излучением. Обычно соответствующий процесс был непрерывным, но мог быть и дискретным, когда информация кодировалась, а затем декодировалась. Кроме того, теория информации изучает методы построения кодов, обладающих полезными свойствами.

Основополагающими понятиями теории информации являются информация и мера информации. Подходов к измерению информации существует несколько. Наиболее часто в измерении информации используют синтаксический подход.

Именно поэтому темой нашей работы является количественная мера информации, формулы Хартли и Шеннона.

Объект работы: мера информации.

Предмет количественная мера информации.

Целью нашей работы является изучение подходов и правил измерения информации, в частности синтаксической меры, формул Хартли и Шеннона.

Задачи:

1. сделать анализ литературы по проблеме исследования.

2. изучить подходы и правила измерения информации, в частности синтаксическую меру, формулы Хартли и Шеннона.