Propriedade de Markov

Em teoria da probabilidades e estatística, o termo propriedade de Markov ou propriedade markoviana se refere à propriedade de perda de memória de um processo estocástico. Tem este nome devido ao matemático russo Andrei Markov.^[1]

Uma representação simples de movimento browniano tridimensional para tempos 0 ≤ t ≤ 2. O movimento brownian tem a propriedade de Markov, já que o deslocamento da partícula não depende de seus deslocamentos passados.

Um processo estocástico tem a propriedade de Markov se a distribuição de probabilidade condicional de estados futuros do processo (condicional tanto em estados passados, como presentes) depende apenas do estado presente, não da sequência de eventos que o precedeu. Um processo com esta propriedade é chamado de processo de Markov. O termo propriedade forte de Markov tem significado semelhante à propriedade de Markov propriamente dita, exceto pelo fato de que o significado de "presente" é definido em termo de uma variável aleatória conhecida como tempo de espera.

O termo pressuposto de Markov é usado para descrever um modelo em que se pressupõe que a propriedade de Markov se mantém, tal como o modelo oculto de Markov.

Um campo aleatório de Markov^[2] estende esta propriedade a duas ou mais dimensões ou a variáveis aleatórias definidas para uma rede interconectada de itens. Um exemplo de um modelo para um campo como este é o modelo Ising.

Um processo estocástico de tempo discreto que satisfaça a propriedade de Markov é conhecido como cadeia de Markov.

Introdução

Um processo estocástico tem a propriedade de Markov se a distribuição de probabilidade condicional de estados futuros do processo (condicional tanto em valores passados, como presentes) depende apenas do estado presente; isto é, dado o presente, o futuro não depende do passado. Um processo com esta propriedade é chamado de Markoviano ou processo de Markov. O mais famoso processo de Markov é a cadeia de Markov. O movimento browniano é outro processo de Markov bem conhecido.

História

Andrei Markov estudou cadeias de Markov no começo do século XX. Markov estava interessado em estudar uma extensão de sequências aleatórias independentes, motivado por uma discordância com Pavel Nekrasov, que acreditava que a independência era necessária para que a lei fraca dos grandes números se aplicasse.^[3] Em seu primeiro artigo sobre cadeias de Markov, publicado em 1906, Markov mostrou que, sob certas condições, os valores esperados de uma cadeia de Markov convergiriam para um vetor fixo de valores, provando então uma lei fraca dos grandes números sem o pressuposto de independência,^[4][5][6] que tinha sido comumente considerado um requisito para que leis matemáticas como aquela se aplicassem.^[6] Markov usou posteriormente cadeias de Markov para estudar a distribuição de vogais em Eugene Onegin, livro de Alexandre Pushkin, e provou um teorema central do limite para tais cadeias.^[4]

Em 1912, Poincaré estudou cadeias de Markov em grupos finitos com o objetivo de estudar o embaralhamento de cartas. Outros usos iniciais de cadeias de Markov incluem um modelo de difusão, introduzido por Paul e Tatyana Ehrenfest em 1907, e um processo de ramificação, introduzido por Francis Galton e Henry William Watson em 1873, antes do trabalho de Markov.^[4][5] Depois do trabalho de Galton e Watson, foi revelado mais tarde que seu processo de ramificação havia sido independentemente descoberto e estudado cerca de três décadas antes por Iréne-Jules Bienaymé.^[7] Começando em 1928, Maurice Fréchet se interessou por cadeias de Markov, o que o levou a publicar em 1938 um estudo detalhado sobre cadeias de Markov.^[4][8]

Andrei Kolmogorov desenvolveu em um artigo de 1931 uma grande parte da teoria inicial de processos de Markov de tempo contínuo.^[9][10] Kolmogorov foi parcialmente inspirado pelo trabalho de Louis Bachelier em 1900 sobre flutuações no mercado de ações, assim como pelo trabalho de Norbert Wiener sobre o modelo do movimento browniano proposto por Albert Einstein.^[9][11] Ele introduziu e estudou um conjunto particular de processos de Markov conhecidos como processos de difusão, em que derivou um conjunto de equações diferenciais que descrevem o processo.^[9][12] Independente do trabalho de Kolmogorov, Sydney Chapman derivou em um artigo de 1928 uma equação, agora chamada de equação de Chapman-Kolmogorov, de uma forma menos matematicamente rigorosa comparado a Kolmogorov, enquanto estudava movimento browniano.^[13] As equações diferenciais são chamadas agora de equações de Kolmogorov^[14] ou equações de Chapman-Kolmogorov.^[15] Outros matemáticos que contribuíram significativamente para as fundações dos processo de Markov incluem William Feller, a partir da década de 1930, e depois Eugene Dynkin, a partir da década de 1950.^[10]

Definição

Considere um espaço de probabilidade ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ com filtração ${\displaystyle ({\mathcal {F}}_{s},\ s\in I)}$, para algum conjunto de índice (totalmente ordenado) ${\displaystyle I}$; e um espaço mensurável ${\displaystyle (S,{\mathcal {S}})}$. Diz-se que um processo estocástico ${\displaystyle X=(X_{t},\ t\in I)}$ com valores ${\displaystyle (S,{\mathcal {S}})}$ adaptado à filtração possui a propriedade de Markov se, para cada ${\displaystyle A\in {\mathcal {S}}}$ e para cada ${\displaystyle s,t\in I}$ com ${\displaystyle s<t}$,

${\displaystyle \mathbb {P} (X_{t}\in A|{\mathcal {F}}_{s})=\mathbb {P} (X_{t}\in A|X_{s})}$^[16]

No caso em que ${\displaystyle S}$ for um conjunto discreto com sigma-álgebra discreta e ${\displaystyle I=\mathbb {N} }$, isto pode ser reformulado como segue:

${\displaystyle \mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1},\dots ,X_{0}=x_{0})=\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1})}$

Formulações alternativas

Alternativamente, a propriedade de Markov pode ser formulada da seguinte maneira.

${\displaystyle \mathbb {E} [f(X_{t})|{\mathcal {F}}_{s}]=\mathbb {E} [f(X_{t})|\sigma (X_{s})]}$

para todo ${\displaystyle t\geq s\geq 0}$ e sendo ${\displaystyle f:S\rightarrow \mathbb {R} }$ limitada e mensurável.^[17]

Propriedade forte de Markov

Suponha que ${\displaystyle X=(X_{t}:t\geq 0)}$ seja um processo estocástico em um espaço de probabilidade ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ com filtração natural ${\displaystyle \{{\mathcal {F}}_{t}\}_{t\geq 0}}$. Para qualquer ${\displaystyle t\geq 0}$, podemos definir o sigma-álgebra germe ${\displaystyle {\mathcal {F}}_{t+}}$ como a intersecção de todos os ${\displaystyle {\mathcal {F}}_{s}}$ para ${\displaystyle s>t}$. Então para qualquer tempo de espera ${\displaystyle \tau }$ em ${\displaystyle \Omega }$, podemos definir

${\displaystyle {\mathcal {F}}_{\tau ^{+}}=\{A\in {\mathcal {F}}:\{\tau =t\}\cap A\in {\mathcal {F}}_{t+},\,\forall t\geq 0\}}$.

Então diz-se que ${\displaystyle X}$ tem a propriedade forte de Markov se, para cada tempo de espera ${\displaystyle \tau }$, condicionado no evento ${\displaystyle \{\tau <\infty \}}$, e para cada ${\displaystyle t\geq 0}$, ${\displaystyle X_{\tau +t}}$ for independente de ${\displaystyle {\mathcal {F}}_{\tau ^{+}}}$ dado ${\displaystyle X_{\tau }}$.

A propriedade forte de Markov indica a propriedade de Markov propriamente dita, já que ao tomar o tempo de espera ${\displaystyle \tau =t}$, a propriedade de Markov propriamente dita pode ser deduzida.

Previsões

Nos campos da modelagem preditiva e da previsão probabilística, a propriedade de Markov é considerada desejável; tal modelo é conhecido como modelo de Markov.

Exemplos

Assuma que uma urna contém duas bolas vermelhas e uma bola verde. Uma bola foi tirada ontem, outra bola foi tirada hoje e a última bola será tirada amanhã. Todas as retiradas são "sem reposição".

Suponha que você saiba que a bola de hoje era vermelha, mas que você não tenha informação sobre a bola de ontem. A chance de que a bola de amanhã seja vermelha é 1/2. Isto se dá porque os únicos dois resultados remanescentes para este experimento aleatório são:

Dia	Resultado 1	Resultado 2
Ontem	Vermelha	Verde
Hoje	Vermelha	Vermelha
Amanhã	Verde	Vermelha

Por outro lado, se você soubesse que tanto a bola de hoje, como a bola de ontem eram vermelhas, você teria certeza então de que pegaria a bola verde amanhã.

Esta discrepância mostra que a distribuição de probabilidade para a cor de amanhã depende não só do valor presente, mas também é afetada pela informação sobre o passado. Este processo estocástico de cores observadas não tem a propriedade de Markov. Usando o mesmo experimento acima, se, em vez de retiradas "sem reposição", tivermos retiradas "com reposição", o processo das cores observadas terá a propriedade de Markov.^[18]

Uma aplicação da propriedade de Markov em uma forma generalizada está em computações do método de Monte Carlo via cadeias de Markov no contexto da estatística bayesiana.

Ver também

• Cadeias de Markov
• Equação de Chapman-Kolmogorov

Referências

1. Markov, A. A. (1954). Theory of Algorithms. [Translated by Jacques J. Schorr-Kon and PST staff] Imprint Moscow, Academy of Sciences of the USSR, 1954 [Jerusalem, Israel Program for Scientific Translations, 1961; available from Office of Technical Services, United States Department of Commerce] Added t.p. in Russian Translation of Works of the Mathematical Institute, Academy of Sciences of the USSR, v. 42. Original title: Teoriya algorifmov. [QA248.M2943 Dartmouth College library. U.S. Dept. of Commerce, Office of Technical Services, number OTS 60-51085.]
2. Dodge, Y. (2003) The Oxford Dictionary of Statistical Terms OUP. ISBN 0-19-850994-4
3. Seneta, E. (1 de janeiro de 1996). «Markov and the Birth of Chain Dependence Theory». International Statistical Review / Revue Internationale de Statistique. 64 (3): 255–263. doi:10.2307/1403785
4. Grinstead, Charles Miller; Snell, James Laurie (1 de janeiro de 1997). Introduction to Probability (em inglês). [S.l.]: American Mathematical Soc. ISBN 9780821807491
5. Bremaud, Pierre (9 de março de 2013). Markov Chains: Gibbs Fields, Monte Carlo Simulation, and Queues (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781475731248
6. Hayes, Brian (2013). «First links in the Markov chain». American Scientist. 101 (2): 92-96
7. Seneta, E. (1 de janeiro de 1998). «I.J. Bienaymé [1796-1878]: Criticality, Inequality, and Internationalization». International Statistical Review / Revue Internationale de Statistique. 66 (3): 291–301. doi:10.2307/1403518
8. Bru, B.; Hertz, S. (1 de janeiro de 2001). «Maurice Fréchet». Springer New York. Statisticians of the Centuries (em inglês): 331–334. doi:10.1007/978-1-4613-0179-0_71
9. Kendall, D. G.; Batchelor, G. K.; Bingham, N. H.; Hayman, W. K.; Hyland, J. M. E.; Lorentz, G. G.; Moffatt, H. K.; Parry, W.; Razborov, A. A. (1 de janeiro de 1990). «Andrei Nikolaevich Kolmogorov (1903–1987)». Bulletin of the London Mathematical Society (em inglês). 22 (1): 31–100. ISSN 1469-2120. doi:10.1112/blms/22.1.31
10. Cramer, Harald (1 de agosto de 1976). «Half a Century with Probability Theory: Some Personal Recollections». The Annals of Probability (em inglês). 4 (4): 509–546. ISSN 0091-1798. doi:10.1214/aop/1176996025
11. Barbut, Marc; Locker, Bernard; Mazliak, Laurent (23 de agosto de 2016). Paul Lévy and Maurice Fréchet: 50 Years of Correspondence in 107 Letters (em inglês). [S.l.]: Springer London. ISBN 9781447172628
12. Skorokhod, Valeriy (5 de dezembro de 2005). Basic Principles and Applications of Probability Theory (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9783540263128
13. «Bachelier». American Journal of Physics. 73 (5): 395–398. 13 de abril de 2005. ISSN 0002-9505. doi:10.1119/1.1848117
14. Anderson, William J. (6 de dezembro de 2012). Continuous-Time Markov Chains: An Applications-Oriented Approach (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781461230380
15. Kendall, D. G.; Batchelor, G. K.; Bingham, N. H.; Hayman, W. K.; Hyland, J. M. E.; Lorentz, G. G.; Moffatt, H. K.; Parry, W.; Razborov, A. A. (1 de janeiro de 1990). «Andrei Nikolaevich Kolmogorov (1903–1987)». Bulletin of the London Mathematical Society (em inglês). 22 (1): 31–100. ISSN 1469-2120. doi:10.1112/blms/22.1.31
16. Durrett, Rick. Probability: Theory and Examples. Fourth Edition. Cambridge: Cambridge University Press, 2010.
17. Øksendal, Bernt K. (2003). Stochastic Differential Equations: An Introduction with Applications. [S.l.]: Springer, Berlin. ISBN 3-540-04758-1
18. «Example of a stochastic process which does not have the Markov property». Mathematics Stack Exchange