Конспект урока Понятие энторопии

Раздел Информатика
Класс 10 класс
Тип Конспекты
Автор
Дата
Формат docx
Изображения Есть
For-Teacher.ru - все для учителя
Поделитесь с коллегами:

Понятие информации в теории Шеннона.

Понятие ЭНТРОПИИ.

Событие называется случайным, если отсутствует полная уверенность в его наступлении.

Это создает неопределенность исходов опыта, связанного с данным событием.

Возникает задача научиться находить меру неопределенности, т.е количественно измерить неопределенность.

Пусть опыт имеет n-равновероятных исходов => неопределенность зависит от n, т.е мера неопределенности есть функции некоторого числа исходов f(n).

Свойства функции f(n).

1) f(1)=0, т.к. при n=1 исход не является случайным, т.е. неопределенность отсутствует.

2) f(n) возрастает с ростом n, т.к. чем больше число возможных исходов, тем более затруднительным становится представление результата опыта.

3) Рассмотрим два независимых опыта α и β. Пусть у опыта α - nα исходов, а у опыта β - nβ исходов. Неопределённость до проведения опыта α - f(nα), а до проведения опыта β - f(nβ).

Найти суммарную неопределенность. Если рассматривать как один сложный опыт, то Конспект урока Понятие энторопии, т.е. функция f(n) обладает свойством аддитивности.

Функция f(n), удовлетворяющая всем свойствам, это функция f(n)=log n.

Можно доказать, что она ЕДИНСТВЕННАЯ функция из всех существующих классов функций, которая удовлетворяет трём свойствам функции.

Выбор основания Конспект урока Понятие энторопии значения не имеет, поэтому выбирается более удобное основание 2.

Конспект урока Понятие энторопии.

Единицей измерения неопределённости называется БИТ. Неопределённость при двух возможных равновероятных исходов опыта равна 1 бит эта величина получила название ЭНТРОПИЯ и обозначается

Конспект урока Понятие энторопии.

Энтропия есть мера неопределённости. Из свойства аддитивности энтропии неопределённость, вносимая каждым из равновероятных i-ых исходах составляет

Конспект урока Понятие энторопии -энтропия 1-го исхода

Конспект урока Понятие энторопии - вероятность наступления каждого из исходов.

Конспект урока Понятие энторопии

Обобщим формулу на ситуации, когда исходы опытов не равновероятны.

Пример. В ящике 3 белых шара и 7 чёрных. Достаём шар.

Конспект урока Понятие энторопии -вероятность, что этот шар белый

Конспект урока Понятие энторопии - вероятность, что этот ша чёрный.

Конспект урока Понятие энторопии

Конспект урока Понятие энторопии

Конспект урока Понятие энторопии

Пример. Имеются 2 ящика ,в каждом из которых по 12 шаров.

В первом - 3 белых,3 черных,6 красных. Во втором - всех по 4.

Первый опыт - вынимаем 1 шар из 1 ящика, второй опыт - вынимаем 1 шар из 2 ящика. Сравнить неопределенность этих 2 опытов.

1)Н1=Конспект урока Понятие энторопии log2 4+Конспект урока Понятие энторопии log24+Конспект урока Понятие энторопииlog22=1.5бит

2)Н2=log23=1.58бит

Свойства энтропии.

1) Н=0 только в 2 случаях:

а) один из исходов является достоверным, то есть общий итог опыта перестает быть случайным.

б) все рассматриваемые исходы опыта не возможны.

2) Энтропия сложного опыта, состоящего из нескольких независимых опытов, равна сумме энтропий отдельных опытов

Н(α×β)= Н(α)+Н(β)

3) При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

log2 n≥Конспект урока Понятие энторопии log2Конспект урока Понятие энторопии

© 2010-2022