Model statystyczny

Model statystyczny – hipoteza lub układ hipotez, sformułowanych w sposób matematyczny (odpowiednio w postaci równania lub układu równań), który przedstawia zasadnicze powiązania występujące pomiędzy rozpatrywanymi zjawiskami rzeczywistymi.

Bardziej formalnie jest to parametryzowana rodzina rozkładów łącznych rozważanych zmiennych, stąd druga nazwa przestrzeń statystyczna.

Modele statystyczne używane w ekonometrii noszą nazwę modeli ekonometrycznych.

Formalna definicja matematyczna

Niech

${\displaystyle {\mathcal {P}}=\{P_{\theta }:\theta \in \Theta \}}$

będzie rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby ${\displaystyle {\mathcal {X}},}$ indeksowaną parametrem ${\displaystyle \theta }$ (w szczególności może to być wektor parametrów rzeczywistych). ${\displaystyle P_{\theta }}$ opisuje wielowymiarowy łączny rozkład wszystkich obserwacji w próbie ${\displaystyle X.}$

Formalnie model statystyczny to para:

${\displaystyle ({\mathcal {X}},\{P_{\theta }:\theta \in \Theta \}).}$

Niech próba opisywana przez rozkład ${\displaystyle P_{\theta }}$ będzie wektorem ${\displaystyle X=(X_{1},X_{2},\dots ,X_{n})}$ niezależnych zmiennych losowych z których każda ma rozkład ${\displaystyle P_{\theta }'}$ a jej zbiorem wartości jest ${\displaystyle {\mathcal {X}}'.}$ ${\displaystyle X}$ nazywany jest ${\displaystyle n}$-elementową próbą z rozkładu ${\displaystyle P_{\theta }'.}$

W takim przypadku stosowany jest również zapis

${\displaystyle ({\mathcal {X}}',\{P_{\theta }':\theta \in \Theta \})^{n}.}$

W praktycznych zastosowaniach podaje się po prostu warunek, jaki spełniają rozkłady z rodziny ${\displaystyle {\mathcal {P}}.}$ Zmienne losowe występujące w tym warunku determinują przestrzeń próby ${\displaystyle {\mathcal {X}},}$ a parametry tworzą wektor ${\displaystyle \theta .}$

Model nieparametryczny

Model nieparametryczny to model w którym nie istnieje skończenie wymiarowa parametryzacja rodziny rozkładów, czyli nie da się go zapisać w takiej postaci, że

${\displaystyle \Theta \subseteq \mathbb {R} ^{k},k\in \mathbb {N} .}$

Nie oznacza to braku jakiejkolwiek parametryzacji – to byłoby sprzeczne z definicją modelu statystycznego – np. ${\displaystyle \Theta }$ może być rodziną dystrybuant.

Model identyfikowalny

Jeśli zachodzi:

${\displaystyle \theta _{1}\neq \theta _{2}\Rightarrow P_{\theta _{1}}\neq P_{\theta _{2}},}$

to model nazywany jest identyfikowalnym. Oznacza to, że parametr ${\displaystyle \theta }$ jest jednoznacznie wyznaczony przez rozkład ${\displaystyle P_{\theta }.}$

Modele liniowe

Ogólna postać liniowego modelu o G równaniach łącznie współzależnych i tylu zmiennych endogenicznych (objaśnianych) oraz K dodatkowych zmiennych egzogenicznych (objaśniających) przy liczbie t obserwacji:

${\displaystyle Y_{1t}=\alpha _{10}+\alpha _{11}X_{1t}+\alpha _{12}X_{2t}+\ldots +\alpha _{1K}X_{Kt}+\beta _{12}Y_{2t}+\beta _{13}Y_{3t}+\ldots +\beta _{1G}Y_{Gt}+\xi _{1t}}$

${\displaystyle Y_{2t}=\alpha _{20}+\alpha _{21}X_{1t}+\alpha _{22}X_{2t}+\ldots +\alpha _{2K}X_{Kt}+\beta _{21}Y_{1t}+\beta _{23}Y_{3t}+\ldots +\beta _{2G}Y_{Gt}+\xi _{2t}}$

${\displaystyle {}\qquad \vdots }$

${\displaystyle Y_{Gt}=\alpha _{G0}+\alpha _{G1}X_{1t}+\alpha _{G2}X_{2t}+\ldots +\alpha _{GK}X_{Kt}+\beta _{G1}Y_{1t}+\beta _{G2}Y_{2t}+\ldots +\beta _{GG-1}Y_{G-1t}+\xi _{Gt}}$

Linia trendu

Najprostszym modelem stosowanym w prognozie jest linia trendu, w której zakładamy następującą zależność między zmienną objaśniającą ${\displaystyle t}$ (oznaczającą czas) a zmienną objaśnianą ${\displaystyle Y{:}}$

${\displaystyle Y=at+b+\varepsilon ,}$

gdzie:

${\displaystyle a,b}$ – stałe współczynniki,

${\displaystyle \varepsilon }$ – błąd losowy o rozkładzie normalnym i wartości oczekiwanej zero.

Liniowy model prawdopodobieństwa

Jako przykład klasycznych modeli liniowych rozpatrywanych w statystyce wskazać można również liniowy model prawdopodobieństwa (LMP), tj. najprostszy model regresji pozwalający prognozować występowalność rozpatrywanego zdarzenia. Model ten przyjmuje postać:

${\displaystyle y_{t}=\beta _{0}+\beta _{1}x_{t1}+\beta _{2}x_{t2}+\ldots +\beta _{k}x_{tk}+\xi _{t},}$

gdzie:

${\displaystyle y_{t}}$ – reprezentująca rozpatrywane zjawisko zmienna objaśniana,

${\displaystyle x_{t1},x_{t2},\dots ,x_{tk}}$ – zmienne objaśniające,

${\displaystyle \beta _{1},\beta _{2},\dots ,\beta _{k}}$ – parametry modelu,

${\displaystyle \xi _{t}}$ – odchylenie losowe modelu.

LMP szacować metodą najmniejszych kwadratów (MNK), jednakże nie zostaną w jego przypadku spełnione klasyczne warunki stosowalności MNK – determinuje to podstawowe wady modelu, do których zalicza się:

• możliwość wykroczenia zmiennej zależnej poza wartości z przedziału <0; 1>;
• heteroskedastyczność – brak homoskedastyczności przekłada się na błędne wyniki statystyki testowej (oszacowania modelu mogą zostać skorygowane w tym zakresie za pomocą uogólnionej metody najmniejszych kwadratów);
• niespełnienie warunku normalności rozkładu reszt – reszty modelu nie mają rozkładu zgodnego z rozkładem normalnym^[1].

Modele nieliniowe

Przykładowym równaniem nieliniowym może być znany w ekonomii model (typu) Cobba-Douglasa.

Systematyka

Modele statystyczne dzielą się m.in. na:

• jedno- i wielorównaniowe (z więcej niż jedną zmienną endogeniczną)
• przyczynowo-skutkowe i symptomatyczne
• statyczne i dynamiczne (autoregresyjne, trendu)
• proste, rekurencyjne i o równaniach łącznie współzależnych.
• liniowe i nieliniowe
• klasyczne i bayesowskie

Można wyróżnić następujące typy modeli:

• modele klasy ARMA (auto-regression with moving average) i ARIMA (auto-regression integrated with moving average)
• modele korekty błędu (ECM – error correction model)
• VAR (modele wektorowej autoregresji) i modyfikacje
  • VAR (vector auto-regression)
  • VARMA (vector autoregression with moving average)
  • VEC (vector error correction)
• modele panelowe
• Modele równowagi ogólnej
  • CGE (computable general equilibrium)
  • DCGE (dynamic computable general equilibrium)

Metody doboru zmiennych i postaci modelu

• metoda optymalnego wyboru predyktant (metoda Hellwiga)
• metoda Bartosiewicz
• metoda Pawłowskiego

Powyższe metody wykorzystywane przy specyfikacji modeli ekonometrycznych są kontrowersyjne a ich naukowość jest kwestionowana.

W praktyce przy doborze zmiennych objaśniających należy kierować się na wstępie zdrowym rozsądkiem i teorią dotyczącą badanego zagadnienia.

Dobór zmiennych zależy również od jakości oszacowania modelu przy danych zmiennych (wykazany brak spełnienia założeń użytej metody estymacji, takie jak dla KMNK heteroskedastyczność, autoregresyjność czy brak rozkładu normalnego reszt, wskazuje na konieczność użycia innego zestawu zmiennych objaśniających). W ten sposób budowa finalnego modelu ma charakter iteracyjny.

Specyficznym przypadkiem są modele trendu, których postać ustalana jest w sposób najbardziej techniczny, na podstawie parametrów dopasowania modelu oraz tak zwanych kryteriów informacyjnych (najbardziej znane z nich: Akaike i Schwarza).

Metody estymacji parametrów modelu

Do estymacji parametrów modelu często stosowane są metody regresji statystycznej.

Ta sekcja jest niekompletna. Jeśli możesz, rozbuduj ją.

Badanie jakości modelu regresyjnego

W celu oceny jakości modelu stosuje się rozmaite testy statystyczne badające jego własności. Dobór testów powinien zależeć od przewidywanego zastosowania modelu (najczęstsze to wyjaśnianie oraz prognozowanie).

Najczęstszym zadaniem testów jest sprawdzenie spełnienia założeń przyjętych w użytej metodzie estymacji (najczęściej dotyczą one rozkładu błędów losowych). Inne testy mają za zadanie ocenę stabilności czy dopasowania modelu.

W szczególności, można wyróżnić następujące własności modelu najczęściej badane za pomocą testów statystycznych:

• rozkład błędów losowych
  • autokorelacja
  • homoskedastyczność
  • niezależność
• dopasowanie
• postać modelu (np. liniowa)
• jakość prognoz
• stabilność

Mierniki dopasowania

Współczynnik determinacji

${\displaystyle R^{2}={\frac {\sum \limits _{t=1}^{n}{({\hat {y}}_{t}-{\overline {y}})^{2}}}{\sum \limits _{t=1}^{n}{(y_{t}-{\overline {y}})^{2}}}},}$

gdzie:

${\displaystyle y_{t}}$ – wartość zmiennej ${\displaystyle Y}$ w momencie ${\displaystyle t,}$

${\displaystyle {\hat {y}}_{t}}$ – wartość teoretyczna zmiennej ${\displaystyle Y}$ w momencie ${\displaystyle t,}$

${\displaystyle {\overline {y}}}$ – wartość średnia zmiennej ${\displaystyle Y}$ w szeregu czasowym.

Współczynnik determinacji informuje o dopasowaniu liniowego modelu regresji do danych empirycznych. Przyjmuje wartości z przedziału ${\displaystyle [0;1]}$ jeśli w modelu występuje wyraz wolny, a do estymacji parametrów wykorzystano metodę najmniejszych kwadratów. Im wartość bliższa jedności, tym lepsze dopasowanie.

Skorygowany współczynnik determinacji

Kiedy wartość ${\displaystyle R^{2}}$ chce się wykorzystać do porównywania jakości kilku modeli, w których liczba zmiennych objaśniających jest różna, stosuje się skorygowany współczynnik determinacji:

${\displaystyle {\tilde {R}}^{2}=1-{\frac {n-1}{n-m-1}}(1-R^{2}),}$

gdzie:

${\displaystyle R^{2}}$ – współczynnik determinacji,

${\displaystyle n}$ – liczba obserwacji,

${\displaystyle m}$ – liczba zmiennych objaśniających (bez zmiennej przy wyrazie wolnym).

Odchylenie standardowe składnika resztowego

Wartość odchylenia standardowego składnika resztowego informuje o przeciętnych odchyleniach wartości rzeczywistych zmiennej prognozowanej od teoretycznych. Im wartości mniejsze, tym lepszy model.

${\displaystyle s={\sqrt {\left[{\frac {1}{n-m-1}}\sum \limits _{t=1}^{n}{(y_{t}-{\hat {y}}_{t})^{2}}\right]}},}$

gdzie:

${\displaystyle n}$ – liczba obserwacji,

${\displaystyle m}$ – liczba zmiennych objaśniających (bez zmiennej przy wyrazie wolnym),

${\displaystyle y_{t}}$ – wartość zmiennej ${\displaystyle Y}$ w momencie ${\displaystyle t,}$

${\displaystyle {\hat {y}}_{t}}$ – wartość teoretyczna zmiennej ${\displaystyle Y}$ w momencie ${\displaystyle t.}$

Współczynnik zmienności

${\displaystyle V_{e}={\frac {s}{\overline {y}}}\cdot 100,}$

gdzie:

${\displaystyle s}$ – odchylenie standardowe składnika resztowego,

${\displaystyle {\overline {y}}}$ – wartość średnia zmiennej ${\displaystyle Y}$ w szeregu czasowym.

Współczynnik zmienności informuje o tym, jaką część wartości średniej zmiennej objaśnianej stanowi odchylenie standardowe składnika resztowego. Im mniejsza wartość tego współczynnika, tym model jest lepszy.

Badanie istotności parametrów modelu

Badanie istotności parametrów modelu jest próbą stwierdzenia istotności wpływu zmiennych objaśniających na zmienną objaśnianą. Zakładając, że składnik losowy ma rozkład normalny, należy zweryfikować hipotezę o istotności każdego parametru. Nieistotność parametru nie znaczy jednak automatycznie, że zmienną należy usunąć z modelu^[2].

${\displaystyle H_{0}:[\alpha _{i}=0],}$

${\displaystyle H_{1}:[\alpha _{i}\neq 0],}$

gdzie:

${\displaystyle \alpha _{i}}$ – parametr przy ${\displaystyle i}$-tej zmiennej objaśniającej,

${\displaystyle H_{0}}$ – ${\displaystyle i}$-ta zmienna objaśniająca nieistotnie wpływa na zmienną objaśnianą,

${\displaystyle H_{1}}$ – ${\displaystyle i}$-ta zmienna objaśniająca istotnie wpływa na zmienną objaśnianą.

Aby sprawdzić prawdziwość hipotezy zerowej wyznacza się statystykę testową:

${\displaystyle t_{i}={\frac {a_{i}}{D(a_{i})}},i=0,1,\dots ,m,}$

gdzie:

${\displaystyle a_{i}}$ – ocena parametru przy ${\displaystyle i}$-tej zmiennej objaśniającej,

${\displaystyle D(a_{i})}$ – błąd oceny ${\displaystyle i}$-tego parametru (pierwiastek odpowiedniego elementu macierzy ${\displaystyle D^{2}(a)}$).

Wartość ${\displaystyle a_{i}}$ wyznacza się ze wzoru:

${\displaystyle a=(X^{T}X)^{-1}X^{T}y,}$

gdzie:

${\displaystyle X}$ – macierz zmiennych objaśniających,

${\displaystyle X^{T}}$ – transponowana macierz X,

${\displaystyle y}$ – wektor obserwacji zmiennej objaśnianej.

Błąd ${\displaystyle D(a_{i}){:}}$

${\displaystyle D^{2}(a)=s^{2}(X^{T}X)^{-1},}$

gdzie:

${\displaystyle s^{2}}$ – kwadrat odchylenia standardowego składnika resztowego.

Następnie należy odczytać wartość krytyczną ${\displaystyle t_{\alpha }}$ z tablic rozkładu t-Studenta dla zadanego z góry poziomu istotności ${\displaystyle \alpha }$ i ${\displaystyle n-m-1}$ stopni swobody. Jeżeli

${\displaystyle \left|t_{i}\right|>t_{\alpha },}$

to hipotezę zerową odrzuca się na rzecz alternatywnej. Jeśli jednak

${\displaystyle \left|t_{i}\right|\leqslant t_{\alpha },}$

wtedy nie ma podstaw do odrzucenia hipotezy zerowej.

Wymienione powyżej metody badania jakości modelu są najczęściej stosowanymi.

Zobacz też

• modelowanie matematyczne
• regresja liniowa
• regresja logistyczna
• sezonowość
• trend
• zmienna objaśniająca
• zmienna objaśniana

Przypisy

1. Liniowy model prawdopodobieństwa [online], www.statystyka-medyczna.com.pl [dostęp 2018-01-16].
2. GeorgG. Heinze GeorgG., DanielaD. Dunkler DanielaD., Five myths about variable selection, „Transplant International”, 30 (1), 2017, s. 6–10, DOI: 10.1111/tri.12895, ISSN 1432-2277 [dostęp 2019-03-30] (ang.).

Bibliografia

• Ryszard Zieliński: Siedem wykładów wprowadzających do statystyki matematycznej. Warszawa: 2004, s. 9. http://www.impan.gov.pl/~rziel/7ALL.pdf (dostęp: 21 maja 2008)
• Maria Cieślak: Prognozowanie gospodarcze. Metody i zastosowanie. s. 44–47.

Kontrola autorytatywna (modelowanie matematyczne):

• GND: 4121722-6
• NKC: ph126064

Encyklopedie internetowe:

• Britannica: science/statistical-model
• БРЭ: 4164418