Конспект урока Энтропия и информация

Энтропия и информация

Энтропия опыта равна той информации которую получаем в результате его осуществления.

Количество информации - I: I=Н

Количество информации численно равно количеству вопросов с равновероятными бинарными вариантами ответов ("Да" или "Нет"), которые необходимо задать, чтобы полностью снять неопределённость задач.

Пример. Некто задумал целое число от 0 до 3. Какое количество информации нужно получить, чтобы узнать задуманное число.

0,1,2,3-равновероятные исходы.

n=4 - количество равновероятных исходов опыта.

I=log₂4=2 бит - 2 бита информации несет задуманное число.

x>11 вопрос-1 бит.

нет

да

{0, 1}

{2, 3}

x>0

x>2

да

нет

да

нет

0

1

3

2

Пример. Случайным образом выбирается карта из колоды 32 карты. Какое количество информации несёт сообщение о том, что за карту достали.

I= log₂32=5

Задача для самостоятельного решения. Имеется 2 деревни А и В. Жители А всегда говорят правду, жители В всегда лгут. Они могут ходить из 1 деревни в другую. Путник зашёл в деревню и встретил жителя одной из деревень. Какое количество информации несёт сообщение о том, в какой он деревне и житель из какой.

Пусть начальная энтропия до проведения опыта равна H₁. В результате получения сообщения, котрое несет I бит информации, энтропия стала равна H₂.

Сообщение, уменьшающее число исходов в 2 раза, несет 1 бит информации.