Loading AI tools
статистическая функция Из Википедии, свободной энциклопедии
Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.
Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как
В частности, для независимых случайных величин взаимная информация равна нулю:
В случае, когда одна случайная величина (например, ) является детерминированной функцией другой случайной величины (), взаимная информация равна энтропии:
Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:
Относительная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:
Определяют также взаимную информацию трёх случайных величин:
Взаимная информация трёх случайных величин может быть отрицательной. Рассмотрим равномерное распределение на тройках битов , таких, что . Определим случайные величины как значения битов , соответственно. Тогда
но при этом
а, следовательно, .
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.