Равномерное кодирование

В ЕГЭ есть 2 вещи:

В целом, в школе этому обычно не уделяют никакого внимания, особенно схожести и связности и смыслу этих подходов. Сегодня мы как раз попробуем разобраться, почему существует два подхода и что у них общего.

◾️РАВНОМЕРНОЕ кодирование.
Есть N объектов. Каждый из них кодируется минимально возможным и одинаковым кол-вом бит. Берём формулу log2(N), округляем в большую сторону до целого!

Пример:

Дано 6 объектов. Log2(6) = 2,584962500721156 = 3 бита, но вот этот момент, что по идее нужно не 3, а 2,5849… бита настораживает.

Наступление события с заданной вероятностью несёт какое-то количество информации. Вот наши 6 объектов. И про вероятность ни слова. Значит, что «вероятности объектов» равны.

Поясним: среди 6 объектов (совершенно разных) можно достать один с вероятностью p = 1/6. И информации это несёт -log2(1/6)=2.584962500721156…