Loading AI tools
Из Википедии, свободной энциклопедии
Сопряжённое априорное распределение (англ. conjugate prior) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.
Рассмотрим задачу о нахождении распределения параметра (рассматриваемого как случайная величина) по имеющемуся наблюдению . По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности и функции правдоподобия по формуле:
Если апостериорное распределение принадлежит тому же семейству вероятностных распределений, что и априорное распределение (т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия . При этом распределение называется сопряжённым априорным распределением к семейству функций правдоподобия .
Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.
Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром (вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:
где и выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор = 1 and = 1 даст равномерное распределение), а Β(, ) — бета-функция, служащая здесь для нормализации вероятности.
Параметры и часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).
Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:
Это апостериорное распределение также оказывается распределённым по закону бета-распределения.
В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений . Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.
Функция правдоподобия | Параметр | Сопряжённое семейство распределений | Гиперпараметры априорного распределения | Гиперпараметры апостериорного распределения |
---|---|---|---|---|
Бернулли | p | Бета | ||
Биномиальное | p | Бета | ||
Отрицательное биномиальное | p | Бета | ||
Пуассона | λ | Гамма | ||
Пуассона | λ | Гамма | [1] | |
Мультиномиальное | p (вектор вероятностей) | Дирихле | ||
Геометрическое | p0 (вероятность) | Бета |
Функция правдоподобия | Параметр | Сопряжённое семейство распределений | Гиперпараметры априорного распределения | Гиперпараметры апостериорного распределения |
---|---|---|---|---|
Равномерное | Парето | |||
Экспоненциальное | λ | Гамма | [2] | |
Нормальное с известной дисперсией σ2 | μ | Нормальное | ||
Нормальное с известным τ = 1/σ2 | μ | Нормальное | ||
Нормальное с известным средним μ | σ2 | Scaled inverse chi-square | ||
Нормальное с известным средним μ | τ (= 1/σ2) | Гамма | [2] | |
Нормальное с известным средним μ | σ2 | Обратное гамма-распределение | ||
Парето | k | Гамма | ||
Парето | xm | Парето | при условии . | |
Гамма с известной α[1] | β (inverse scale) | Гамма | ||
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.