Учебники

Теория информации

Информация является источником системы связи, будь то аналоговая или цифровая. Теория информации – это математический подход к изучению кодирования информации наряду с количественным определением, хранением и передачей информации.

Условия возникновения событий

Если мы рассмотрим событие, есть три условия возникновения.

  • Если событие не произошло, возникает условие неопределенности .

  • Если событие только что произошло, возникает условие неожиданности .

  • Если событие произошло, время назад, есть условие наличия некоторой информации .

Если событие не произошло, возникает условие неопределенности .

Если событие только что произошло, возникает условие неожиданности .

Если событие произошло, время назад, есть условие наличия некоторой информации .

Следовательно, эти три происходят в разное время. Разница в этих условиях, помогает нам иметь представление о вероятности возникновения событий.

Энтропия

Когда мы наблюдаем возможность возникновения события, каким бы неожиданным или неопределенным оно ни было, это означает, что мы пытаемся составить представление о среднем содержании информации из источника события.

Энтропия может быть определена как мера среднего информационного содержания на исходный символ. Клод Шеннон , «отец теории информации», сформулировал для нее формулу:

H= sumipi logbpi

Где pi – это вероятность появления символа номер i из данного потока символов, а b – основа используемого алгоритма. Следовательно, это также называется энтропией Шеннона .

Величина неопределенности, оставшаяся относительно входа канала после наблюдения за выходом канала, называется условной энтропией . Обозначается H(x arrowverty)

Дискретный источник без памяти

Источник, из которого данные передаются через последовательные интервалы, который не зависит от предыдущих значений, можно назвать дискретным источником без памяти .

Этот источник является дискретным, поскольку он рассматривается не для непрерывного временного интервала, а для дискретных временных интервалов. Этот источник не имеет памяти, так как он свеж в каждый момент времени, без учета предыдущих значений.

Исходное кодирование

Согласно определению: «Для отдельного источника энтропии H( delta) без памяти средняя длина кодового слова  barL для любой кодировки источника ограничена как  barL geqH( Delta)».

Проще говоря, кодовое слово (например: азбука Морзе для слова QUEUE – -.- ..-. ..-.) Всегда больше или равно исходному коду (в примере QUEUE). Это означает, что символы в кодовом слове больше или равны алфавиту в исходном коде.

Канальное кодирование

Канальное кодирование в системе связи вводит избыточность с управлением, чтобы повысить надежность системы. Исходное кодирование уменьшает избыточность для повышения эффективности системы.

Канальное кодирование состоит из двух частей действия.

  • Отображение последовательности входящих данных в последовательность ввода канала.

  • Обратное отображение выходной последовательности канала в выходную последовательность данных.

Отображение последовательности входящих данных в последовательность ввода канала.

Обратное отображение выходной последовательности канала в выходную последовательность данных.

Конечная цель состоит в том, чтобы общее влияние шума канала было минимизировано.

Отображение выполняется передатчиком с помощью кодера, тогда как обратное отображение выполняется в приемнике декодером.