En statistique, les modèles ARMA (modèles autorégressifs et moyenne mobile), ou aussi modèle de Box-Jenkins, sont les principaux modèles de séries temporelles.
Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section «Notes et références».
Étant donné une série temporelle Xt, le modèle ARMA est un outil pour comprendre et prédire, éventuellement, les valeurs futures de cette série. Le modèle est composé de deux parties: une part autorégressive (AR) et une part moyenne-mobile (MA). Le modèle est généralement noté ARMA(p,q), où p est l'ordre de la partie AR et q l'ordre de la partie MA.
Un modèle autorégressif d'ordre p, en abrégé AR(p), s'écrit:
où sont les paramètres du modèle, est une constante et un bruit blanc. La constante est bien souvent omise dans la littérature, le processus étant alors dit centré.
Des contraintes supplémentaires sur les paramètres sont nécessaires pour garantir la stationnarité. Par exemple, pour le modèle AR(1), les processus tels que |φ1| ≥ 1 ne sont pas stationnaires.
Exemple: un processus AR(1)
Un modèle AR(1) est donné par:
où est un bruit blanc, de moyenne nulle et de variance .
Si , alors le processus exhibe une racine unitaire(en), ce qui signifie qu'il est une marche aléatoire, et n'est pas stationnaire en variance.
Ce développement est périodique dû à la présence du terme en cosinus au dénominateur. En supposant que le temps d'échantillonnage () est plus petit que le taux de décroissance (), alors on peut utiliser une approximation continue de :
Une expression alternative pour peut être dérivée en remplaçant par dans l'équation définissante. En continuant cette manipulation N fois fournit
Pour N devenant très grand, s'approche de 0 et:
On peut voir que est le bruit blanc convolé avec le noyau plus une moyenne constante. Si le bruit blanc est gaussien, alors est aussi un processus normal. Dans les autres cas, le théorème central limite indique que sera approximativement normal lorsque est proche de l'unité.
Estimation des paramètres AR
Le modèle AR(p) est donné par
Les paramètres à estimer sont où i = 1, …, p. Il y a une correspondance directe entre ces paramètres et la fonction de covariance (et donc d'autocorrélation) et on peut tirer les paramètres en inversant ces relations. Ce sont les équations de Yule-Walker:
où m = 0, … , p, ce qui donne en tout p + 1 équations. Les coefficients est la fonction d'autocorrélation de X, est la déviation (écart-type) du bruit blanc et δm le symbole de Kronecker.
La dernière partie de l'équation est non nulle si m = 0; en prenant m > 0, l'équation précédente s'écrit comme un système matriciel
Pour m = 0, nous avons
qui permet de trouver .
Les équations de Yule-Walker procurent un moyen d'estimer les paramètres du modèle AR(p), en remplaçant les covariances théoriques par des valeurs estimées. Une manière d'obtenir ces valeurs est de considérer la régression linéaire de Xt sur ses p premiers retards.
Obtention des équations de Yule-Walker
L'équation définissante du processus AR est
En multipliant les deux membres par Xt − m et en prenant l'espérance, on obtient
Or, il se trouve que E[XtXt − m] = γm par définition de la fonction d'autocovariance. Les termes du bruit blancs sont indépendants les uns des autres et, de plus, Xt − m est indépendant de εt où m est plus grand que zéro. Pour m > 0, E[εtXt − m] = 0. Pour m = 0,
Maintenant, on a pour m ≥ 0,
Par ailleurs,
qui donne les équations de Yule-Walker:
pour m ≥ 0. Pour m < 0,
La notation MA(q) (pour Moving Average) réfère au modèle moyenne-mobile d'ordre q:
où les θ1, …, θq sont les paramètres du modèle, est l'espérance de et εt, εt-1, … sont encore une fois des termes d'erreur.
Définition—un modèle autorégressif et moyenne-mobile d'ordres (p,q) (abrégé en ARMA(p,q)) est un processustemporel discret(Xt, t ∈ ℕ) vérifiant:
où les φi et θi sont les paramètres du modèle et les εi les termes d'erreur.
Un modèle autorégressif AR(p) est un ARMA(p,0)
Un modèle moyenne mobile MA(q) est un ARMA(0,q)
Le processus ARMA n'est bien défini que s'il est stationnaire.
Dans le cas où le processus n'est pas un processus stationnaire, il convient de le stationnariser de manière à pouvoir le modéliser sous forme ARMA afin de réaliser, par exemple, des prédictions.
La non stationnarité peut être due à la présence d'une tendance non constante. Des différenciations d'ordre 1 successives du processus ( permettent de supprimer les tendances polynomiales. Avec différenciations d'ordre 1, on enlève toute tendance polynomiale de degré .
Le modèle est une généralisation du modèle , différenciant fois le processus avant de le modéliser comme un .
Ce n'est plus qui est modélisé comme un processus mais le processus , défini comme différencié fois.
Les termes d'erreur εt sont généralement supposés indépendants et identiquement distribués (i.i.d.) selon une loi normale de moyenne nulle: εt ~ N(0,σ2) où σ2 est la variance. Ces hypothèses peuvent être assouplies mais ceci changerait les propriétés du modèle, comme supposer le simple caractère i.i.d.
Les modèles ARMA peuvent s'écrire en termes de L, qui est l'opérateur retard. Le modèle autorégressif AR(p) s'écrit
où φ représente le polynôme
Pour le modèle moyenne mobile MA(q), on a
où θ représente le polynôme
Finalement, en combinant les deux aspects, on en tire l'écriture du modèle ARMA(p, q):
où plus court:
Les modèles ARMA, une fois choisis les ordres p et q, peuvent être ajustés sur des données par la méthode des moindres carrés: on recherche les paramètres qui minimisent la somme des carrés des résidus. Prendre des valeurs de p et q les plus petites est généralement vu comme une bonne pratique (principe de parcimonie). Pour un modèle AR pur, les équations de Yule-Walker permettent de réaliser l'ajustement.
(fr) Jean-Jacques Droesbeke, Bernard Fichet, Philippe Tassi, Séries chronologiques - Théorie et pratique des modèles ARIMA, Economica, 1989 (ISBN2-7178-1549-X)
(en) George E. P. Box, Gwilym Jenkins et Gregory C. Reinsel, Time Series Analysis: Forecasting and Control, third edition. Prentice-Hall, 1994.