Коефіцієнт Баєса

У статистиці використання коефіціє́нтів Ба́єса (англ. Bayes factors) є баєсовою альтернативою класичній перевірці гіпотез.^[1][2] Ба́єсове порівня́ння моде́лей є методом обирання моделі, що ґрунтується на коефіцієнтах Баєса.

Коефіцієнт Баєса
Названо на честь	Томас Баєс
Формула	${\displaystyle {\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}}$
Підтримується Вікіпроєктом	Вікіпедія:Проєкт:Математика

Визначення

Апостеріорна ймовірність Pr(M|D) моделі M при заданих даних D задається теоремою Баєса:

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

Ключовий залежний від даних член Pr(D|M) є правдоподібністю, він представляє ймовірність виникнення якихось даних за умови цієї моделі, M; його коректне обчислення є ключем до баєсового порівняння моделей.

При заданій задачі обирання моделі, в якій ми маємо зробити вибір серед двох моделей на підставі спостережуваних даних D, правдоподібність двох різних моделей M₁ та M₂, параметризованих векторами параметрів моделей ${\displaystyle \theta _{1}}$ та ${\displaystyle \theta _{2}}$, оцінюється коефіцієнтом Баєса K, що задається як

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}.}$

Якщо замість інтегралу коефіцієнта Баєса використовується правдоподібність, що відповідає оцінці максимальної правдоподібності параметра кожної з моделей, тоді ця перевірка стає класичною перевіркою відношенням правдоподібностей.^{[джерело?]} На відміну від перевірки відношенням правдоподібностей, це баєсове порівняння моделей не залежить від жодного окремого набору параметрів, оскільки воно інтегрується над усіма параметрами в кожній з моделей (по відношенню до відповідних апріорних ймовірностей). І тим не менш, перевагою використання коефіцієнтів Баєса є те, що воно автоматично і цілком природно включає штраф за надлишкове включення структури моделі.^[3] Воно таким чином захищає від перенавчання. Для моделей, для яких точна версія правдоподібності є недоступною або занадто витратною для чисельного оцінювання, для вибору моделі у баєсовій мережі може використовуватися приблизне баєсове обчислення,^[4] із застереженням, що приблизно-баєсові оцінки коефіцієнтів Баєса часто є упередженими.^[5]

Іншими підходами є:

• розглядати порівняння моделей як задачу ухвалення рішення, обчислюючи очікуване значення або вартість кожного вибору моделі;
• застосовувати мінімальну довжину повідомлення.

Інтерпретація

Значення K > 1 означає, що M₁ підтримується даними, що розглядаються, сильніше, ніж M₂. Зауважте, що класична перевірка гіпотез надає одній гіпотезі (або моделі) привілейованого статусу («нульова гіпотеза»), і розглядає лише свідчення проти неї. Гарольд Джеффріс запропонував шкалу для інтерпретації K:^[6]

K	дХарт	біти	Сила свідчення
< 100	< 0		негативна (підтримує M2)
100—101/2	0—5	0—1.6	заледве варта згадування
101/2—101	5—10	1.6—3.3	істотна
101—103/2	10—15	3.3—5.0	сильна
103/2—102	15—20	5.0—6.6	дуже сильна
> 102	> 20	> 6.6	вирішальна

Другий стовпчик подає відповідну вагу свідчення в децигартлі (також відомих як децибани); біти додано у третьому стовпчику для ясності. Згідно з І. Дж. Ґудом^[en], зміна у вазі свідчення в 1 децибан або 1/3 біту (тобто, зміна у співвідношенні шансів з рівних до приблизно 5:4) є приблизно настільки тонкою, наскільки люди можуть розсудливо розрізняти свої міри переконання в гіпотезах у повсякденному вжитку.^[7]

Альтернативну, широко цитовану таблицю запропоновано Кассом та Рафтері^[en]:^[3]

2 ln K	K	Сила свідчення
0—2	1—3	не варте більш ніж просто згадки
2—6	3—20	позитивне
6—10	20—150	сильне
>10	>150	дуже сильне

Використання коефіцієнту Баєса або класичної перевірки гіпотез трапляється радше в контексті висновування, ніж ухвалення рішень в умовах невизначеності. Тобто, ми радше просто хочемо з'ясувати, яка з гіпотез є правильною, ніж справді ухвалювати рішення на базі цієї інформації. Частотне висновування проводить чітке розрізнення між цими двома, оскільки класичні перевірки гіпотез не є когерентними^[en] у баєсовому сенсі. Баєсові процедури, включно з коефіцієнтами Баєса, є когерентними, тому немає потреби проводити таке розрізнення. Тоді висновування просто розглядається як особливий випадок ухвалення рішення в умовах невизначеності, в якому дією результату є повідомлення значення. Для ухвалення рішень баєсові статистики можуть використовувати коефіцієнт Баєса у поєднанні з апріорним розподілом та функцією втрат, пов'язаною зі здійсненням невірного вибору. В контексті висновування функція втрат набуватиме форми оцінювального правила^[en]. Наприклад, використання логарифмічної оцінювальної функції^[en] призводить до того, що очікувана корисність набуває форми відстані Кульбака — Лейблера.

Приклад

Припустімо, що ми маємо випадкову змінну, що продукує успіх або невдачу. Ми хочемо порівняти модель M₁, де ймовірністю успіху є q = ½, та іншу модель M₂, де q є невідомим та ми приймаємо, що апріорним розподілом q є рівномірний на [0,1]. Ми робимо вибірку з 200, і виявляємо 115 успіхів та 85 невдач. Правдоподібність може бути обчислено згідно біноміального розподілу:

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

Отже, ми маємо

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}=0.005956...,\,}$

але

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}=0.004975....}$

Тоді відношенням є 1.197…, що є «заледве вартим згадування», незважаючи на те, що воно вказує трішки в бік M₁.

Це не є тим самим, що й класична перевірка відношенням правдоподібностей, що знайшла би оцінку максимальної правдоподібності для q, а саме ¹¹⁵⁄₂₀₀ = 0.575, звідки ${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}q^{115}(1-q)^{85}}=0.056991}$ (замість усереднення за всіма можливими q). Це дає відношення правдоподібностей 0.1045, і таким чином вказує на M₂.

Сучасний метод відносної правдоподібності, на відміну від класичного відношення правдоподібностей, враховує кількість вільних параметрів у моделях. Метод відносної правдоподібності може застосовуватися наступним чином. Модель M₁ має 0 параметрів, і тому значенням її ІКА є 2·0 − 2·ln(0.005956) = 10.2467. Модель M₂ має 1 параметр, і тому значенням її ІКА є 2·1 − 2·ln(0.056991) = 7.7297. Отже, M₁ є приблизно у exp((7.7297 − 10.2467)/2) = 0.284 разів ймовірнішою за M₂ для мінімізації втрати інформації. Відтак, M₂ є трохи кращою, але M₁ не може виключатися.

Частотна перевірка гіпотези M₁ (що розглядається тут як нульова гіпотеза) видала би тут зовсім інший результат. Така перевірка каже, що M₁ мала би бути відкинутою на рівні значущості 5%, оскільки ймовірністю отримання 115 або більше успіхів з вибірки з 200, якщо q = ½, є 0.0200, та оскільки двобічний критерій^[en] отримання значення настільки ж віддаленого, або віддаленішого за 115, є 0.0400. Зауважте, що 115 є у більш ніж двох стандартних відхиленнях від 100.

M₂ є складнішою моделлю за M₁, оскільки вона має вільний параметр, що дозволяє їй моделювати дані ближче. Здатність коефіцієнтів Баєса враховувати це є тією причиною, чому баєсове висновування було висунуто як теоретичне обґрунтування та узагальнення Бритви Оккама, що зменшує похибки першого роду.^[8]

Див. також

• Інформаційний критерій Акаіке
• Приблизне баєсове обчислення
• Баєсів інформаційний критерій
• Інформаційний критерій відхилення^[en]
• Парадокс Ліндлі
• Мінімальна довжина повідомлення
• Обирання моделі

Статистичні відношення

• Відношення шансів^[en]
• Відносний ризик

Примітки

1. Goodman S. (1999). Toward evidence-based medical statistics. 1: The P value fallacy (PDF). Ann Intern Med. 130 (12): 995—1004. doi:10.7326/0003-4819-130-12-199906150-00008. PMID 10383371. Архів оригіналу (PDF) за 14 Жовтня 2008. Процитовано 6 Червня 2015. (англ.)
2. Goodman S. (1999). Toward evidence-based medical statistics. 2: The Bayes factor (PDF). Ann Intern Med. 130 (12): 1005—13. doi:10.7326/0003-4819-130-12-199906150-00019. PMID 10383350. Архів оригіналу (PDF) за 15 Жовтня 2009. Процитовано 6 Червня 2015. (англ.)
3. Robert E. Kass and Adrian E. Raftery^[en] (1995). Bayes Factors (PDF). Journal of the American Statistical Association. 90 (430): 791. doi:10.2307/2291091. Архів оригіналу (PDF) за 23 Вересня 2015. Процитовано 6 Червня 2015. (англ.)
4. Toni, T.; Stumpf, M.P.H. (2009). Simulation-based model selection for dynamical systems in systems and population biology (PDF). Bioinformatics. 26 (1): 104—10. doi:10.1093/bioinformatics/btp619. PMC 2796821. PMID 19880371. (англ.)
5. Robert, C.P., J. Cornuet, J. Marin and N.S. Pillai (2011). Lack of confidence in approximate Bayesian computation model choice. Proceedings of the National Academy of Sciences. 108 (37): 15112—15117. doi:10.1073/pnas.1102900108. PMC 3174657. PMID 21876135. (англ.)
6. H. Jeffreys (1961). The Theory of Probability (вид. 3). Oxford. с. 432. Архів оригіналу за 8 Квітня 2016. Процитовано 26 Березня 2016. (англ.)
7. Good, I.J. (1979). Studies in the History of Probability and Statistics. XXXVII A. M. Turing's statistical work in World War II. Biometrika^[en]. 66 (2): 393—396. doi:10.1093/biomet/66.2.393. MR 82c:01049. {{cite journal}}: Перевірте значення |mr= (довідка) (англ.)
8. Sharpening Ockham's Razor On a Bayesian Strop [Архівовано 12 Вересня 2015 у Wayback Machine.] (англ.)

Література

• Bernardo, J.; Smith, A. F. M. (1994). Bayesian Theory. John Wiley. ISBN 0-471-92416-4. (англ.)
• Denison, D. G. T.; Holmes, C. C.; Mallick, B. K.; Smith, A. F. M. (2002). Bayesian Methods for Nonlinear Classification and Regression. John Wiley. ISBN 0-471-49036-9. (англ.)
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). Section 9.6.5. Pattern classification (вид. 2nd). Wiley. с. 487—489. ISBN 0-471-05669-3. (англ.)
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis (вид. III). CRC Press. ISBN 978-1439840955. Архів оригіналу за 26 Червня 2015. Процитовано 26 Червня 2015. (англ.)
• Jaynes E. T.^[en] (1994), Probability Theory: the logic of science [Архівовано 24 Жовтня 2018 у Wayback Machine.], chapter 24. (англ.)
• Lee, P. M. (2012). Bayesian Statistics: an introduction. Wiley. ISBN 9781118332573. (англ.)
• Winkler, Robert (2003). Introduction to Bayesian Inference and Decision (вид. 2nd). Probabilistic. ISBN 0-9647938-4-9. (англ.)

Посилання

• BayesFactor [Архівовано 21 Червня 2013 у Wayback Machine.] — пакет R для обчислення коефіцієнтів Баєса у звичайних планах досліджень
• Bayes Factor Calculators [Архівовано 7 Травня 2015 у Wayback Machine.] — інтернет-версія значної частини пакету BayesFactor