![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/5/5e/Units_of_information.svg/langru-640px-Units_of_information.svg.png&w=640&q=50)
Собственная информация
статистическая функция дискретной случайной величины / Материал из Википедии — свободной encyclopedia
Собственная информация — статистическая функция дискретной случайной величины.
![](http://upload.wikimedia.org/wikipedia/commons/thumb/5/5e/Units_of_information.svg/320px-Units_of_information.svg.png)
Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.
Для случайной величины , имеющей конечное число значений:
собственная информация определяется как
Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.
Подробнее
,
...
Основание логарифма |
Единица измерения |
Количество информации о падении монеты «орлом» вверх |
---|---|---|
2 | бит | |
e | нат | |
10 | хартли |
Закрыть
Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.