Формула Шеннона и Хартли

В качестве примера различных не равных вероятностей можно привести выход людей из казармы в военной части:

Из казармы могут выйти как и солдат, так и офицер, и даже генерал. Но распределение cолдатов, офицеров и генералов в казарме разное, что очевидно, ведь солдатов будет больше всего, затем по количеству идут офицеры и самый редкий вид будут генералы

Для других же равновероятных событий(например, подброс монеты) используется формула Хартли

◼️ Что такое формула Шеннона
I = — ( p1log2 (p1 )+ p2 log2 (p2 )+ . . . + pN log2 (pN))

◼️ Что такое формула Хартли

Некоторое событие может наступить, а может и не наступить!

Вероятность, что оно наступит = pA, тогда вероятность, что оно не наступит = 1 — pA (полная вероятность(100%) = 1)

I(A) = log 2(1/pA), где I(A) — информационный объем некоторого сообщения, а pA — вероятность такого события

p = K/N, где K — это интересующие нас событие, а N общее количество этих событий

Пример:
Студент Петя пришел домой и просит угадать папу свои оценки. Последние три оценки были «2», но какую же оценку он принес в этот раз папе надо узнать! Но Петя знает, что это была «3»

Вероятность того, что получил «2» = 3/4
Вероятность того, что получил «3» = 1/4

📌Тогда информационное сообщение, что Петя получил «3» = log 2(1/pA) = log 2(1/(1/4)) = 2 бита