Затверджування статистичної моделі

У статистиці, затве́рджування моде́лі (англ. model validation) — це задача підтверджування того, що виходи статистичної моделі є прийнятними по відношенню до справжнього процесу, що породжує дані. Іншими словами, затверджування моделі є задачею підтверджування, що виходи статистичної моделі мають достатню точність відтворювання виходів процесу, що породжує дані, щоби було можливо досягати цілей дослідження.

Огляд

Затверджування моделі може ґрунтуватися на двох типах даних: даних, які було використано для побудови моделі, та даних, які не було використано для цієї побудови. Затверджування на основі першого типу зазвичай включає аналіз допасованості моделі, або аналіз того, чи видаються залишки випадковими (тобто, за́лишкову діагностику). Затверджування на основі другого типу даних зазвичай включає аналіз того, чи відбувається помітне погіршення передбачувальної продуктивності^[en] цієї моделі при застосуванні до доречних нових даних.

Рис. 1. Дані (чорні точки), які було породжено прямою лінією з деяким доданим шумом, точно допасовані фігурним многочленом.

Затверджування на основі лише першого типу (даних, які було використано в побудові моделі) часто є неадекватним. Крайній приклад проілюстровано на рис. 1. Цей рисунок показує дані (чорні точки), які було породжено прямою лінією + шум. Цей рисунок також показує фігурну лінію, яка є многочленом, обраним таким чином, щоби ідеально допасуватися до даних. Всі залишки для цієї фігурної лінії є нульовими. Отже, затверджування на основі лише першого типу даних дійде висновку, що ця фігурна лінія є доброю моделлю. Проте ця фігурна лінія є очевидно поганою моделлю: інтерполювання, особливо між -5 та -4, схильне бути дуже оманливим; до того ж, було би поганим і будь-яке істотне екстраполювання.

Таким чином, затверджування зазвичай не ґрунтується лише на розгляді даних, які було використано для побудови моделі. Натомість, затверджування зазвичай залучає також і дані, які в побудові використано не було. Іншими словами, затверджування зазвичай включає випробування деяких передбачень моделі.

Модель можливо затверджувати лише відносно певної області застосування.^[1][2] Модель, яка є обґрунтованою для одного застосування, для якихось інших застосувань може бути непрацездатною. Як приклад, розгляньмо фігурну лінію на рис. 1: якби застосування використовувало би входи лише з проміжку [0, 2], то ця фігурна лінія цілком могла би бути прийнятною моделлю.

Методи затверджування

При здійсненні затверджування, згідно «Енциклопедії статистичних наук^[en]», існує три визначні причини потенційних утруднень.^[3] Цими трьома причинами є: брак даних, брак контролю над змінними входу, та невизначеність щодо розподілів імовірності та кореляцій, що лежать в основі. До звичних методів розв'язування утруднень у затверджуванні належать наступні: перевірка припущень, зроблених при побудові моделі, вивчення наявних даних та пов'язаних з ними виходів моделі, застосування експертних суджень.^[1] Зауважте, що експертні судження зазвичай вимагають спеціальних знань в області застосування.^[1]

Експертні судження іноді можливо застосовувати для оцінювання обґрунтованості передбачування без отримування реальних даних: наприклад, для фігурної лінії на рис. 1 експерт цілком може бути здатним оцінити, що істотне екстраполювання буде непридатним. Крім того, експертні судження можливо застосовувати в перевірках тюрінгового виду, де експертам представляють як реальні дані, так і виходи пов'язаної моделі, а потім просять розрізнити їх.^[4]

Для деяких класів статистичних моделей є доступними спеціалізовані методи для виконання затверджування. Наприклад, якщо статистичну модель було отримано за допомогою регресії, то існує, і, як правило, застосовується спеціалізований аналіз для затверджування регресійних моделей^[en].

За́лишкова діагностика

За́лишкова діагностика (англ. residual diagnostics) включає аналіз залишків для визначення того, чи видаються залишки фактично випадковими. Такий аналіз зазвичай вимагає оцінок розподілів імовірності для залишків. Оцінки розподілів залишків часто може бути отримувано шляхом повторюваного запускання моделі, наприклад, застосуванням повторюваних стохастичних моделювань^[en] (із застосуванням генератора псевдовипадкових чисел для випадкових змінних в моделі).

Якщо статистичну модель було отримано за допомогою регресії, то існує й може застосовуватися діагностика регресійних залишків^[en]; таку діагностику було добре досліджено.

Див. також

• Аналіз ідентифіковності^[en]
• Аналіз чутливості
• Визначення статистичної моделі^[en]
• Внутрішня обґрунтованість
• Всі моделі є неправильними^[en]
• Ідентифікування моделі^[en]
• Обґрунтованість
• Обґрунтованість статистичного висновку^[en]
• Обирання статистичної моделі
• Передбачувальна модель
• Перенавчання
• Перехресне затверджування
• Хибна залежність

Примітки

1. National Research Council (2012), Chapter 5: Model validation and prediction, Assessing the Reliability of Complex Models: Mathematical and statistical foundations of verification, validation, and uncertainty quantification, Washington, DC: National Academies Press^[en], с. 52—85, архів оригіналу за 7 липня 2020, процитовано 5 липня 2020 (англ.)
2. Batzel, J. J.; Bachar, M.; Karemaker, J. M.; Kappel, F. (2013), Chapter 1: Merging mathematical and physiological knowledge, у Batzel, J. J.; Bachar, M.; Kappel, F. (ред.), Mathematical Modeling and Validation in Physiology, Springer, с. 3—19, doi:10.1007/978-3-642-32882-4_1 (англ.)
3. Deaton, M. L. (2006), Simulation models, validation of, у Kotz, S. та ін. (ред.), Encyclopedia of Statistical Sciences^[en], Wiley (англ.)
4. Mayer, D. G.; Butler, D.G. (1993), Statistical validation, Ecological Modelling^[en], 68: 21—32, doi:10.1016/0304-3800(93)90105-2 (англ.)

Література

• Barlas, Y. (1996), Formal aspects of model validity and validation in system dynamics, System Dynamics Review, 12: 183—210, doi:10.1002/(SICI)1099-1727(199623)12:3<183::AID-SDR103>3.0.CO;2-4 (англ.)
• Good, P. I.; Hardin, J. W. (2012), Chapter 15: Validation, Common Errors in Statistics (вид. Fourth), John Wiley & Sons, с. 277—285 (англ.)
• Huber, P. J. (2002), Chapter 3: Approximate models, у Huber-Carol, C.; Balakrishnan, N.; Nikulin, M. S.; Mesbah, M. (ред.), Goodness-of-Fit Tests and Model Validity, Springer, с. 25—41 (англ.)

Посилання

• How can I tell if a model fits my data? [Архівовано 5 липня 2020 у Wayback Machine.]  —Handbook of Statistical Methods (NIST) (англ.)
• Hicks, Dan (14 липня 2017). What are core statistical model validation techniques?. Stack Exchange. (англ.)