В качестве примера различных не равных вероятностей можно привести выход людей из казармы в военной части:
Из казармы могут выйти как и солдат, так и офицер, и даже генерал. Но распределение cолдатов, офицеров и генералов в казарме разное, что очевидно, ведь солдатов будет больше всего, затем по количеству идут офицеры и самый редкий вид будут генералы
Для других же равновероятных событий(например, подброс монеты) используется формула Хартли
◼️ Что такое формула Шеннона
I = — ( p1log2 (p1 )+ p2 log2 (p2 )+ . . . + pN log2 (pN))
◼️ Что такое формула Хартли
Некоторое событие может наступить, а может и не наступить!
Вероятность, что оно наступит = pA, тогда вероятность, что оно не наступит = 1 — pA (полная вероятность(100%) = 1)
I(A) = log 2(1/pA), где I(A) — информационный объем некоторого сообщения, а pA — вероятность такого события
p = K/N, где K — это интересующие нас событие, а N общее количество этих событий
Пример:
Студент Петя пришел домой и просит угадать папу свои оценки. Последние три оценки были «2», но какую же оценку он принес в этот раз папе надо узнать! Но Петя знает, что это была «3»
Вероятность того, что получил «2» = 3/4
Вероятность того, что получил «3» = 1/4
📌Тогда информационное сообщение, что Петя получил «3» = log 2(1/pA) = log 2(1/(1/4)) = 2 бита
Авторизуйтесь, чтобы оставить комментарий.