Markov process

在数学中，贝塞尔过程（Bessel process）是一种随机过程，以弗里德里希·贝塞尔命名。 设 W t {\displaystyle W_{t}} 是从原点开始的 n {\displaystyle n} 维的维纳过程（布朗运动），则其欧几里得范数 X t = ‖ W t ‖ {\displaystyle

马尔可夫链（英語：Markov chain），又稱離散時間馬可夫鏈（discrete-time Markov chain，縮寫為DTMC），因俄國數學家安德烈·马尔可夫得名，为狀態空間中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定

在概率論及統計學中，馬可夫過程（英語：Markov process）是一個具備了馬可夫性質的隨機過程，因為俄國數學家安德雷·馬可夫得名。馬可夫過程是不具備記憶特質的（memorylessness）。換言之，馬可夫過程的条件概率僅僅與系统的當前狀態相關，而與它的過去歷史或未來狀態，都是獨立、不相關的。

更精確地來說，每一個具有有限測度的集合，都被賦予一個泊松分布的隨機變數。） 泊松過程是莱维过程（Lévy process）中最有名的過程之一。時間齊次的泊松過程也是時間齊次的連續時間Markov過程的例子。一個時間齊次、一維的泊松過程是一個純出生過程，是一個出生-死亡過程的最簡單例子。 考虑一个泊松过程，我们将第一个事件到达的时间记为

部分可觀察马尔可夫決策過程（Partially Observable Markov Decision Process，缩写：POMDP），是一種通用化的馬可夫決策過程。POMDP模擬代理人決策程序是假設系統動態由MDP決定，但是代理人無法直接觀察目前的狀態。相反的，它必須要根據模型的全域與部分區域觀察結果來推斷狀態的分佈。