Бит и информация

Честно. Понятно. С душой.

«А что у нас понимается под информацией вообще?» 🤔
Это реально сложный вопрос, и многие преподаватели к этому слову относятся скептически.

Разберём одно из фундаментальных понятий в Информатике — понятие «Бита».

Есть два основных определения:

◾️Бит – это binary digit – двоичная цифра, двоичный разряд; 0 или 1 в двоичном числе.

◾️Бит — это количество информации, которое содержится сообщении об исходе опыта с вероятностью в p=0,5.

Рассмотрим второе понятие подробнее.
Допустим, у тебя есть 100 одинаковых зеленых шариков. Я возьму у тебя шарик и скажу тебе «Этот шарик ЗЕЛЁНЫЙ». Много ли новой информации ты получил? Конечно, нет.

Вероятность такого исхода p = 1 — это 0 бит.

А вот теперь представим, что шариков всё еще 100: 50 красных, 50 белых. Я взял один. Какой? Вот количество информации, которое ты получишь после ответа — ровно один бит.

Вероятность такого исхода p = 0, 5 — это 1 бит.

А если среди 100 шариков 99 красных и 1 синий. То какое сообщение несёт больше информации? Я взял синий или красный?

Вероятность такого исхода p = 0,01- это . . .(вспомни логарифм!)