Информация является источником системы связи, будь то аналоговая или цифровая. Теория информации — это математический подход к изучению кодирования информации наряду с количественным определением, хранением и передачей информации.
Условия возникновения событий
Если мы рассмотрим событие, есть три условия возникновения.
-
Если событие не произошло, возникает условие неопределенности .
-
Если событие только что произошло, возникает условие неожиданности .
-
Если событие произошло, время назад, есть условие наличия некоторой информации .
Если событие не произошло, возникает условие неопределенности .
Если событие только что произошло, возникает условие неожиданности .
Если событие произошло, время назад, есть условие наличия некоторой информации .
Эти три события происходят в разное время. Разница в этих условиях помогает нам получить знания о вероятности возникновения событий.
Энтропия
Когда мы наблюдаем возможности возникновения события, насколько удивительным или неопределенным оно было бы, это означает, что мы пытаемся получить представление о среднем содержании информации из источника события.
Энтропия может быть определена как мера среднего информационного содержания на исходный символ. Клод Шеннон , «отец теории информации», сформулировал для нее формулу:
$$ H = — \ sum_ {i} p_i \ log_ {b} p_i $$
Где p i — вероятность появления символа i из заданного потока символов, а b — основа используемого алгоритма. Следовательно, это также называется энтропией Шеннона .
Величина неопределенности, оставшаяся относительно входа канала после наблюдения за выходом канала, называется условной энтропией . Обозначается $ H (x \ mid y) $
Взаимная информация
Давайте рассмотрим канал с выходом Y и входом X
Пусть энтропия для предыдущей неопределенности будет X = H (x)
(Предполагается, что перед вводом применяется)
Чтобы узнать о неопределенности выходных данных, после применения входных данных рассмотрим условную энтропию, учитывая, что Y = y k
$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j — 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$
Это случайная величина для $ H (X \ mid y = y_0) \: … \: … \: … \: … \: … \: H (X \ mid y = y_k) $ с вероятностями $ p (y_0) \: … \: … \: … \: … \: p (y_ {k-1)} $ соответственно.
Среднее значение $ H (X \ mid y = y_k) $ для выходного алфавита y равно —
$ H \ left (X \ mid Y \ right) = \ displaystyle \ sum \ limit_ {k = 0} ^ {k — 1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right) ) $
$ = \ displaystyle \ sum \ limit_ {k = 0} ^ {k — 1} \ displaystyle \ sum \ limit_ {j = 0} ^ {j — 1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
$ = \ displaystyle \ sum \ limit_ {k = 0} ^ {k — 1} \ displaystyle \ sum \ limit_ {j = 0} ^ {j — 1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
Теперь, учитывая оба условия неопределенности (до и после применения входных данных), мы узнаем, что разница, то есть $ H (x) — H (x \ mid y) $, должна представлять неопределенность относительно разрешенного входа канала наблюдая за выходом канала.
Это называется Взаимной Информацией канала.
Обозначая взаимную информацию как $ I (x; y) $, мы можем записать все это в уравнении следующим образом
$$ I (x; y) = H (x) — H (x \ mid y) $$
Следовательно, это уравновешенное представление Взаимной Информации.
Свойства Взаимной информации
Это свойства Взаимной информации.
-
Взаимная информация канала симметрична.
$$ I (x; y) = I (y; x) $$
-
Взаимная информация неотрицательна.
$$ I (x; y) \ geq 0 $$
-
Взаимная информация может быть выражена в терминах энтропии выхода канала.
$$ I (x; y) = H (y) — H (y \ mid x) $$
Где $ H (y \ mid x) $ — условная энтропия
-
Взаимная информация о канале связана с совместной энтропией входа канала и выхода канала.
$$ I (x; y) = H (x) + H (y) — H (x, y) $$
Где совместная энтропия $ H (x, y) $ определяется как
$$ H (x, y) = \ displaystyle \ sum \ limit_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limit_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$
Взаимная информация канала симметрична.
$$ I (x; y) = I (y; x) $$
Взаимная информация неотрицательна.
$$ I (x; y) \ geq 0 $$
Взаимная информация может быть выражена в терминах энтропии выхода канала.
$$ I (x; y) = H (y) — H (y \ mid x) $$
Где $ H (y \ mid x) $ — условная энтропия
Взаимная информация о канале связана с совместной энтропией входа канала и выхода канала.
$$ I (x; y) = H (x) + H (y) — H (x, y) $$
Где совместная энтропия $ H (x, y) $ определяется как
$$ H (x, y) = \ displaystyle \ sum \ limit_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limit_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$
Емкость канала
Мы до сих пор обсуждали взаимную информацию. Максимальная средняя взаимная информация в момент интервала сигнализации при передаче по дискретному каналу без памяти, вероятности скорости максимально надежной передачи данных, может пониматься как пропускная способность канала .
Он обозначается буквой C и измеряется в битах на канал .
Дискретный источник без памяти
Источник, из которого данные передаются через последовательные интервалы, который не зависит от предыдущих значений, можно назвать дискретным источником без памяти .
Этот источник является дискретным, поскольку он рассматривается не для непрерывного временного интервала, а для дискретных временных интервалов. Этот источник не имеет памяти, так как он свеж в каждый момент времени, без учета предыдущих значений.