Теория информации

Информация является источником системы связи, будь то аналоговая или цифровая. Теория информации — это математический подход к изучению кодирования информации наряду с количественным определением, хранением и передачей информации.

Условия возникновения событий

Если мы рассмотрим событие, есть три условия возникновения.

• Если событие не произошло, возникает условие неопределенности .

• Если событие только что произошло, возникает условие неожиданности .

• Если событие произошло, время назад, есть условие наличия некоторой информации .

Если событие не произошло, возникает условие неопределенности .

Если событие только что произошло, возникает условие неожиданности .

Если событие произошло, время назад, есть условие наличия некоторой информации .

Следовательно, эти три происходят в разное время. Разница в этих условиях, помогает нам иметь представление о вероятности возникновения событий.

Энтропия

Когда мы наблюдаем возможность возникновения события, каким бы неожиданным или неопределенным оно ни было, это означает, что мы пытаемся составить представление о среднем содержании информации из источника события.

Энтропия может быть определена как мера среднего информационного содержания на исходный символ. Клод Шеннон , «отец теории информации», сформулировал для нее формулу:

$$H = - \ sum_ {i} p_i \ log_ {b} p_i$$

Где $p_i$ — это вероятность появления символа номер i из данного потока символов, а b — основа используемого алгоритма. Следовательно, это также называется энтропией Шеннона .

Величина неопределенности, оставшаяся относительно входа канала после наблюдения за выходом канала, называется условной энтропией . Обозначается $H (x \ arrowvert y)$

Дискретный источник без памяти

Источник, из которого данные передаются через последовательные интервалы, который не зависит от предыдущих значений, можно назвать дискретным источником без памяти .

Этот источник является дискретным, поскольку он рассматривается не для непрерывного временного интервала, а для дискретных временных интервалов. Этот источник не имеет памяти, так как он свеж в каждый момент времени, без учета предыдущих значений.

Исходное кодирование

Согласно определению: «Для отдельного источника энтропии $H (\ delta)$ без памяти средняя длина кодового слова $\ bar {L}$ для любой кодировки источника ограничена как $\ bar {L} \ geq H (\ Delta)$».

Проще говоря, кодовое слово (например: азбука Морзе для слова QUEUE — -.- ..-. ..-.) Всегда больше или равно исходному коду (в примере QUEUE). Это означает, что символы в кодовом слове больше или равны алфавиту в исходном коде.

Канальное кодирование

Канальное кодирование в системе связи вводит избыточность с управлением, чтобы повысить надежность системы. Исходное кодирование уменьшает избыточность для повышения эффективности системы.

Канальное кодирование состоит из двух частей действия.

• Отображение последовательности входящих данных в последовательность ввода канала.

• Обратное отображение выходной последовательности канала в выходную последовательность данных.

Отображение последовательности входящих данных в последовательность ввода канала.

Обратное отображение выходной последовательности канала в выходную последовательность данных.

Конечная цель состоит в том, чтобы общее влияние шума канала было минимизировано.

Отображение выполняется передатчиком с помощью кодера, тогда как обратное отображение выполняется в приемнике декодером.