Количество информации
Материал из Википедии — свободной encyclopedia
Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.
Пусть и
– случайные величины, заданные на соответствующих множествах
и
. Тогда количество информации
относительно
есть разность априорной и апостериорной энтропий:
,
где
— энтропия, а
— условная энтропия, в теории передачи информации она характеризует шум в канале.