Loading AI tools
Індуктивна статистика (англ. statistical inference) — це процес застосування аналізу даних для встановлення властивостей розподілу ймовірностей, який лежить в їх основі.[1] Індуктивна статистика робить висновки про властивості генеральної сукупності, наприклад, шляхом перевіряння гіпотез та отримування оцінок. Він виходить з припущення, що спостережувані дані є вибіркою з більшої сукупності.
Індуктивну статистику[2] (англ. inferential statistics) можливо протиставляти описовій статистиці. Описова статистика цікавиться виключно властивостями спостережуваних даних, і не спирається на припущення, що ці дані походять із більшої сукупності.
Інлуктивна статистика створює інформацію про генеральну сукупність, використовуючи дані, вибрані з цієї сукупності за допомогою якогось виду відбору. Для заданої гіпотези про генеральну сукупність, про яку ми хочемо робити висновки, статистичне висновування складається з (по-перше) обирання статистичної моделі процесу, що породжує ці дані, та з (по-друге) виведення висловлень з цієї моделі.[джерело?]
Конісі та Кітагава стверджують, що «більшість задач індуктивної статистики можливо розглядати як задачі, пов'язані зі статистичним моделюванням».[3] Стосовно цього Девід Кокс[en] сказав, що «як саме здійснюється [цей] переклад із предметної задачі до статистичної моделі, є часто найкритичнішою частиною аналізу.»[4]
Висновком статистичного висновування є статистичне висловлення.[5] Деякими з поширених видів статистичних висловлень є наступні:
- точкова оцінка, тобто певне значення, що найкраще наближує деякий досліджуваний параметр;
- інтервальна оцінка[en], наприклад, довірчий інтервал (або множинна оцінка), тобто інтервал, побудований з використанням набору даних, вибраного з генеральної сукупності, так, що при повторюваному відборі таких наборів даних такі інтервали міститимуть істинне значення параметру з імовірністю на заданому довірчому рівні;
- імовірний інтервал, тобто множина значень, що містить, наприклад, 95% апостеріорного переконання;
- відхилення гіпотез;[a]
- кластерування або класифікація точок даних на групи.
Детальніші відомості з цієї теми ви можете знайти в статті Статистична модель та Статистичні припущення[en].
Статистичне висновування вимагає деяких припущень. Статисти́чна моде́ль є набором гіпотез стосовно породження спостережуваних даних, та схожих на них. Описи статистичних моделей зазвичай підкреслюють роль досліджуваних величин генеральних сукупностей, стосовно яких ми хочемо робити висновки.[6] Як підготовчий крок перед отриманням формальніших висновків, як правило, використовують описову статистику.[7]
Рівні моделей гіпотез
Статистики розрізняють три рівні моделювальних припущень:
- Повністю параметричний[en]: Розподіли ймовірностей, що описують процес породження даних, вважають повністю описаними сімейством розподілів імовірності, що включають лише обмежену кількість невідомих параметрів.[8] Наприклад, можна припустити, що розподіл значень генеральної сукупності є істинно нормальним, з невідомими середнім значенням та дисперсією, і що набори даних породжуються «простим» випадковим вибиранням[en]. Широко застосовуваним та гнучким класом параметричних моделей є узагальнені лінійні моделі[en].
- Непараметричний[en]: Припущення стосовно процесу, що породжує дані, є значно меншими, ніж у параметричній статистиці, й можуть бути мінімальними.[9] Наприклад, кожен безперервний розподіл імовірності має медіану, яку може бути оцінено з використанням медіани вибірки, або оцінки Ходжеса — Лемана — Сена[en], що має гарні властивості, коли дані походять з простого випадкового відбору.
- Напівпараметричний[en]: Під цим терміном зазвичай мають на увазі припущення «посередині» між повністю параметричним та непараметричним підходами. Наприклад, можна припустити, що розподіл генеральної сукупності має скінченне середнє значення. Крім того, можна припустити, що рівень чутливості середнього значення в генеральній вибірці залежить істинно лінійним чином від деякої коваріати (параметричне припущення), але не робити жодного параметричного припущення, що описувало би дисперсію навколо цього середнього значення (тобто, про наявність або можливий вигляд будь-якої гетероскедастичності). Загальніше, напівпараметричні моделі часто можливо розділити на «структурну» складову, та складову «випадкової дисперсії». Одну складову обробляють параметрично, а іншу — непараметрично. Добре відома модель Кокса[en] є набором напівпараметричних припущень.
Важливість чинності моделей/припущень
Якого б рівня припущення не робилися, правильно відкаліброване висновування в цілому вимагає, щоби ці припущення були правильними, тобто, щоби механізми породжування даних дійсно було вказано правильно.
Неправильні припущення про «просте» випадкове вибирання[en] можуть зробити статистичне висновування нечинним. Наприклад, неправильне припущення про модель Кокса може в деяких випадках призвести до хибних висновків.[10] Неправильні припущення про нормальність в генеральній сукупності також позбавляють чинності деякі види висновування на основі регресії.[11] Використання будь-якої параметричної моделі розглядається скептично більшістю експертів у відборі вибірок з людських сукупностей: «більшість статистиків, що роблять вибірки, коли мають справу з довірчими проміжками взагалі, то обмежують себе твердженнями [про оцінки] на основі дуже великих вибірок, коли центральна гранична теорема гарантує, що [оцінки] матимуть розподіли, що є майже нормальними».[12] Зокрема, нормальний розподіл «був би абсолютно нереалістичним та катастрофічно нерозумним припущенням, якщо ми маємо справу з будь-яким типом економічної генеральної сукупності».[12] Тут центральна гранична теорема стверджує, що розподіл середнього значення вибірки «для дуже великих вибірок» є розподіленим приблизно нормально, якщо цей розподіл має не повільно спадний хвіст[en].
Наближені розподіли
Детальніші відомості з цієї теми ви можете знайти в статті Статистична відстань[en], Асимптотична теорія (статистика)[en] та Теорія наближень.
Враховуючи труднощі визначення точних розподілів статистик вибірки, було розроблено багато методів їхнього наближення.
При скінченних вибірках результати наближення вимірюють, наскільки близько граничний розподіл наближається до розподілу вибірки статистики: наприклад, із 10 000 незалежними зразками нормальний розподіл наближається (з двома цифрами точності) до розподілу вибіркового середнього для багатьох популярних розподілів, згідно теореми Беррі — Ессена[en].[13] Тим не менше, для багатьох практичних цілей нормальне наближення дає добре наближення за наявності 10 (або більше) незалежних зразків, згідно із симуляційними дослідженнями та досвідом статистиків.[13] Після праці Колмогорова в 1950-х роках передова статистика використовує теорію наближень та функціональний аналіз для кількісного вираження похибки наближення. У цьому підході досліджується метрична геометрія розподілів ймовірностей; цей підхід виражає похибку наближення за допомогою, наприклад, розходження Кульбака — Лейблера, Брегманове розходження[en] та відстані Хеллінгера[en].[14][15][16]
Для нескінченно великих вибірок граничний розподіл вибіркової статистики, якщо такий існує, описують граничні результати[en], такі як центральна гранична теорема. Граничні результати не є твердженнями про скінченні вибірки, і дійсно є недоречними для них.[17][18][19] Тим не менш, асимптотичну теорію граничних розподілів часто залучають для роботи зі скінченними вибірками. Наприклад, граничні результати часто залучають для обґрунтування узагальненого методу моментів[en] та для використання узагальнених оцінювальних рівнянь[en], що є популярними в економетрії та біологічній статистиці. Величину різниці між граничним та істинним розподілами (формально, «похибку» апроксимації) може бути оцінено із застосуванням симуляції.[20] Евристичне застосування граничних результатів до скінченних вибірок є поширеною практикою в багатьох застосуваннях, особливо з моделями невисокої розмірності з логарифмічно угнутими правдоподібностями (такими як однопараметричні експоненційні сімейства[en]).
Моделі на основі рандомізації
Детальніші відомості з цієї теми ви можете знайти в статті Випадкова вибірка та Випадкове призначення[en].
Для заданого набору даних, що було вироблено за планування з рандомізацією, розподіл рандомізації статистики (за нульової гіпотези) визначає оцінка пробної статистики для всіх планів, що може бути породжено цим плануванням з рандомізацією. У частотницькому висновуванні рандомізація дозволяє висновуванням ґрунтуватися на розподілі рандомізації, а не на суб'єктивній моделі, і це є особливо важливим у вибиранні для обстеження[en] та плануванні експериментів.[21][22] Статистичне висновування із рандомізованих досліджень є також простішим і в багатьох інших ситуаціях.[23][24][25] Рандомізація є важливою і в баєсовім висновуванні: у вибиранні для обстеження[en] застосування вибирання без повертання[en] забезпечує взаємозамінність[en] вибірки з генеральною сукупністю; в рандомізованих експериментах рандомізація гарантує припущення випадкової відсутності[en] для інформації про коваріату.[26]
Об'єктивна рандомізація дозволяє правильні індуктивні процедури.[27][28][29][30][31] Багато статистиків віддають перевагу аналізу на основі рандомізації для даних, що було породжено чітко визначеними рандомізаційними процедурами.[32] (Тим не менше, правдою є й те, що в галузях науки із розвиненими теоретичними знаннями та керуванням експериментами рандомізовані експерименти можуть збільшувати витрати на експериментування без поліпшення якості висновків.[33][34]) Так само, результати рандомізованих експериментів рекомендуються провідними статистичними органами як такі, що можуть уможливлювати висновування з більшою надійністю, ніж спостережні дослідження тих самих явищ.[35] Тим не менше, добре спостережне дослідження може бути кращим за поганий рандомізований експеримент.
Статистичний аналіз рандомізованого експерименту може ґрунтуватися на схемі рандомізації, визначеній у протоколі експерименту, і не потребує суб'єктивної моделі.[36][22]
Проте, як би там не було, деякі гіпотези неможливо перевіряти із застосуванням об'єктивних статистичних моделей, що точно описують рандомізовані експерименти або випадкові вибірки. В деяких випадках такі рандомізовані дослідження є неекономічними або неетичними.
Аналіз рандомізованих експериментів на основі моделей
Стандартною практикою при аналізі даних з рандомізованих експериментів є посилатися на статистичну модель, наприклад, лінійну або логістичну.[37] Проте схема рандомізації направляє обирання статистичної моделі. Неможливо вибрати підхожу модель, не знаючи схеми рандомізації.[22] Ігноруючи протокол експерименту при аналізі даних з рандомізованих експериментів, можна отримати небезпечно оманливі результати; поширені помилки включають забування блокування, що використовується в експерименті, та сплутування повторюваних вимірювань на одній і тій же експериментальній одиниці з незалежними повторами обробки, застосовуваної до різних експериментальних одиниць.[38]
Безмодельне рандомізоване висновування
Безмодельні методики забезпечують доповнення до методів на основі моделей, які застосовують редукціоністські стратегії спрощування дійсності. Перші ж поєднують, розвивають, комбінують та тренують алгоритми динамічно, пристосовуючись до контекстних спорідненостей процесу, та навчаючись характеристик, притаманних спостереженням.[37][39]
Наприклад, безмодельна проста лінійна регресія ґрунтується або на
- випадковім плануванні, в якому пари спостережень є незалежними та однаково розподіленими (н. о. р.), або на
- детермінованім плануванні, в якому пари спостережень є детермінованими, але відповідні змінні відгуку є випадковими та незалежними зі спільним умовним розподілом, тобто, , що є незалежним від індексу .
В кожному з випадків безмодельне рандомізоване висновування для ознак спільного умовного розподілу покладається на певні умови регулярності, наприклад, функційної гладкості. Наприклад, безмодельне рандомізоване висновування для ознаки сукупності умовне середнє, , може бути послідовно оцінено через локальне усереднювання або локальне поліноміальне допасовування, за припущення, що є гладкою. Також, покладаючись на асимптотичну нормальність або перевибірку[en], ми можемо будувати довірчі проміжки для ознаки сукупності, в цьому випадку, умовного середнього .[40]
Було засновано різні школи статистичного висновування. Ці школи, або «парадигми», не є взаємовиключними, і методи, що добре працюють за однієї парадигми, часто мають привабливі інтерпретації за інших парадигм.
Бандіопадхай та Форстер[41] описують чотири парадигми: «(I) класичні статистики або статистики похибок, (II) баєсові статистики, (III) статистики на основі правдоподібностей, та (IV) статистики на основі інформаційного критерію Акаіке». Огляд класичної (або частотницької) парадигми, баєсової парадигми, правдоподібницької парадигми, та парадигми на основі інформаційного критерію Акаіке наведено нижче.
Частотницьке висновування
Ця парадигма калібрує слушність висловлень шляхом розгляду (релевантного) повторюваного відбору з розподілу сукупності для вироблення наборів даних, подібних до наявного. Шляхом розгляду характеристик цього набору даних на повторюваних вибірках може бути отримано кількісну оцінку частотницьких властивостей статистичного висловлення, хоча на практиці таке кількісне оцінювання може бути складним завданням.
Приклади частотницького висновування
Частотницьке висновування, об'єктивність та теорія рішень
Однією з інтерпретацій частотницького висновування (або класичного висновування) є те, що воно є застосовним лише в термінах частотницької ймовірності, тобто в термінах повторюваних вибірок із генеральної сукупності. Проте підхід Неймана[42] розвиває ці процедури в термінах преекспериментальних імовірностей. Тобто, перш ніж приступати до експерименту, ухвалюють рішення про правило, як приходити до висновку, так що ймовірність бути правильними контролюється зручним чином: такій імовірності не потрібно мати частотницьку інтерпретацію, або інтерпретацію повторного відбору. На противагу, баєсове висновування працює в термінах умовних імовірностей (тобто ймовірностей, обумовлених спостережуваними даними), порівнюваних із відособленими (але обумовленими невідомими параметрами) ймовірностями, що застосовуються в частотницькому підході.
Частотницькі процедури перевірки значущості та довірчих проміжків може бути побудовано без врахування функцій корисності. Проте деякі елементи частотницьких статистик, такі як статистична теорія рішень, таки включають функції корисності.[джерело?] Зокрема, частотницькі розвитки оптимального висновування (такі як мінімально-дисперсійні незміщені оцінки[en] або рівномірно найпотужніші критерії[en]) використовують функції втрат, що відіграють роль (від'ємних) функцій корисності. Статистикам-теоретикам не потрібне явне вказання функцій втрат для доведення того, що статистична процедура володіє властивістю оптимальності.[43] Тим не менше, функції втрат часто є корисними для встановлення властивостей оптимальності: наприклад, медіанні незміщені оцінки є оптимальними за модульних функцій втрат, бо вони мінімізують очікувані втрати, а мінімально-квадратичні оцінки є оптимальними за квадратичних функцій втрат, бо вони мінімізують очікувані втрати.
Хоча статистики, що використовують частотницьке висновування, і повинні обирати для себе параметри, що їх цікавлять, та оцінки/критерії, які застосовувати, відсутність очевидно явних функцій корисності та апріорних розподілів посприяла тому, що частотницькі процедури стали широко розглядатися як «об'єктивні».[44]
Баєсове висновування
Баєсове числення описує міри переконання із застосуванням «мови» ймовірності; переконання є додатними, інтегруються в одиницю, та підкоряються аксіомам імовірності. Баєсове висновування використовує доступні апостеріорні переконання як основу для створення статистичних висловлень. Існує декілька різних обґрунтувань застосування баєсового підходу.
Приклади баєсового висновування
- Імовірний проміжок для проміжкового оцінювання[en]
- Коефіцієнти Баєса для порівнювання моделей
Баєсове висновування, суб'єктивність та теорія рішень
Багато неформальних баєсових висновувань ґрунтуються на «інтуїтивно розумних» зведеннях апостеріорного. Наприклад, як такі може бути обґрунтовано апостеріорне середнє, медіану та моду, проміжки найвищої густини апостеріорного та коефіцієнти Баєса. І хоча в цьому типі висновування й не потрібно вказувати користувацьку функцію корисності, ці зведення всі залежать (певною мірою) від вказаних апріорних переконань, і загалом розглядаються як суб'єктивні висновки. (Було запропоновано методи побудови апріорного, що не вимагають зовнішнього введення, але їх ще не було повністю розроблено.)
Формально баєсове висновування калібрується із посиланням на явно вказану функцію корисності, або втрат; «правило Баєса» є таким, що максимізує очікувану корисність, усереднену над невизначеністю апостеріорного. Формальне баєсове висновування відтак автоматично пропонує оптимальні рішення в розумінні теорії рішень. При заданих припущеннях, даних та корисності баєсове висновування може бути зроблено практично для будь-якої задачі, хоча не кожному статистичному висновуванню потрібно мати баєсову інтерпретацію. Аналізи, що не є формально баєсовими, можуть бути (логічно) незв'язними[en]; особливість баєсових процедур, що використовують коректні апріорні (тобто такі, що інтегруються до одиниці), полягає в тому, що вони гарантовано будуть зв'язними[en]. Деякі прихильники баєсового висновування стверджують, що висновування мусить мати місце в цій теоретичній моделі рішень, і що баєсове висновування не повинне завершуватися оцінкою та узагальненням апостеріорних переконань.
Висновування на основі правдоподібності
 | Цей розділ потребує доповнення. (лютий 2020) |
Правдоподібництво підходить до статистики з використанням функції правдоподібності. Деякі правдоподібники відкидають висновування, розглядаючи статистику лише як обчислювання підтримки свідченнями. Інші, проте, пропонують висновування на основі функції правдоподібності, найвідомішим з яких є оцінювання максимальною правдоподібністю.
Висновування на основі інформаційного критерію Акаіке
| Цей розділ потребує доповнення. (лютий 2020) |
Інформаційний критерій Акаіке (ІКА, англ. Akaike information criterion, AIC) — це оцінювач відносної якості статистичних моделей для заданого набору даних. Для заданого набору моделей для цих даних ІКА оцінює якість кожної з них, по відношенню до кожної іншої з цих моделей. Таким чином, ІКА забезпечує засоби обирання моделі.
ІКА ґрунтується на теорії інформації: він пропонує оцінку відносних втрат інформації при застосуванні заданої моделі для представлення процесу, що породив дані. (Роблячи це, він працює на компромісом між допасованістю моделі та її простотою.)
Інші парадигми для висновування
Мінімальна довжина опису
Принцип мінімальної довжини опису (МДО, англ. minimum description length, MDL) було розроблено з ідей із теорії інформації[45] та теорії колмогоровської складності.[46] Принцип МДО обирає статистичні моделі, що максимально стискають дані; висновування відбувається без розгляду «механізмів породження даних» або моделей ймовірності, що суперечать даним або є неспростовними, як це може робитися в частотницькому або баєсовому підходах.
Тим не менш, якщо «механізм породження даних» існує в реальності, то згідно шеннонівської теореми про кодування джерела[en] він пропонує МДО-опис даних, в середньому та асимптотично.[47] В мінімізації довжини опису (або описової складності) оцінка МДО є подібною до оцінки максимальної правдоподібності та оцінки апостеріорного максимуму (з використанням баєсових апріорних з максимальною ентропією[en]). Хоча МДО й уникає припущення, що ймовірнісна модель, що лежить в основі даних, є відомою, принцип МДО також може застосовуватися й без припущень, наприклад, що дані походять з незалежної вибірки.[47][48]
Принцип МДО застосовувався в комунікаційній теорії кодування в теорії інформації, в лінійній регресії[48] та добуванні даних.[46]
Виконання висновувальних процедур на основі МДО часто використовує методики та критерії з теорії складності обчислень.[49]
Фідуційне висновування
Фідуційне висновування[en] було підходом до статистичного висновування на основі фідуційної ймовірності[en], відомої також як «фідуційний розподіл». У подальших працях цей підхід було названо недовизначеним, надзвичайно обмеженим у застосовності та навіть помилковим.[50][51] Хоча ця аргументація є такою ж, як і та, що показує,[52] що так званий розподіл довіри[en] не є чинним розподілом імовірності, та, оскільки це не позбавило чинності застосування довірчих проміжків, воно не обов'язково позбавляє чинності висновки, отримувані з фідуційної аргументації. Було вчинено спробу повторно інтерпретувати ранні праці з фідуційної аргументації[en] Фішера як окремий випадок теорії висновування із застосуванням верхніх та нижніх імовірностей[en].[53]
Структурне висновування
Розвиваючи ідеї Фішера та Пітмана з 1938 по 1939 рік,[54] Джордж Барнард[en] розробив «структурне висновування» (англ. structural inference) або «центральне висновування» (англ. pivotal inference),[55] підхід, що використовує інваріантні ймовірності на групових сімействах[en] (англ. group family). Барнард переформулював аргументацію, що стояла за фідуційним висновуванням, на обмеженому класі моделей, на якому «фідуційні» процедури були би добре визначеними та корисними.
Наведені нижче питання зазвичай включаються до царини статистичного висновування.
- Статистичні припущення[en]
- Статистична теорія рішень
- Теорія оцінювання
- Перевірка статистичних гіпотез
- Перегляд поглядів у статистиці
- Планування експериментів, дисперсійний аналіз та регресія
- Вибирання для обстеження[en]
- Підсумовування статистичних даних
Найраніше з відомих застосувань статистичного висновування здійснив Аль-Кінді, арабський математик IX сторіччя, у своєму «Трактаті про дешифрування криптографічних повідомлень», праці про криптоаналіз та частотний аналіз.[56]
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
