馬爾可夫過程

馬爾可夫過程

馬爾可夫過程(Markov process)是一類隨機過程。它的原始模型馬爾可夫鏈,由俄國數學家A.A.馬爾可夫於1907年提出。 馬爾可夫過程是研究離散事件動態系統狀態空間的重要方法,它的數學基礎是隨機過程理論。

基本信息

概念

馬爾可夫過程 馬爾可夫過程
馬爾可夫過程 馬爾可夫過程
馬爾可夫過程 馬爾可夫過程
馬爾可夫過程 馬爾可夫過程
馬爾可夫過程 馬爾可夫過程
馬爾可夫過程 馬爾可夫過程

1. 馬爾可夫性:設 為一隨機過程, E為其狀態空間,若對任意的 ,任意的 ,隨機變數 X(t)在已知變數 之下的條件分布函式只與 有關,而與 無關,即條件分布函式滿足等式

馬爾可夫過程 馬爾可夫過程

馬爾可夫過程 馬爾可夫過程

此性質稱為馬爾可夫性,亦稱無後效性或無記憶性。

X(t)為離散型隨機變數,則馬爾可夫性亦滿足等式

馬爾可夫過程 馬爾可夫過程

2. 馬爾可夫過程的數學定義

馬爾可夫過程 馬爾可夫過程

若隨機過程滿足馬爾可夫性,則稱為馬爾可夫過程。

簡述

在馬爾可夫性的定義中,"現在"是指固定的時刻,但實際問題中常需把馬爾可夫性中的“現在”這個時刻概念推廣為停時(見隨機過程)。例如考察從圓心出發的平面上的布朗運動,如果要研究首次到達圓周的時刻 τ以前的事件和以後的事件的條件獨立性,這裡τ為停時,並且認為τ是“現在”。如果把“現在”推廣為停時情形的“現在”,在已知“現在”的條件下,“將來”與“過去”無關,這種特性就叫強馬爾可夫性。具有這種性質的馬爾可夫過程叫強馬爾可夫過程。在相當一段時間內,不少人認為馬爾可夫過程必然是強馬爾可夫過程。首次提出對強馬爾可夫性需要嚴格證明的是J.L.杜布。直到1956年,才有人找到馬爾可夫過程不是強馬爾可夫過程的例子。馬爾可夫過程理論的進一步發展表明,強馬爾可夫過程才是馬爾可夫過程真正研究的對象。

歷史

1951年前後,伊藤清建立的隨機微分方程的理論,為馬爾可夫過程的研究開闢了新的道路。1954年前後,W.費勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領域。

一類重要的隨機過程,它的原始模型馬爾可夫鏈,由俄國數學家Α.Α.馬爾可夫於1907年提出。人們在實際中常遇到具有下述特性的隨機過程:在已知它所處的狀態的條件下,它未來的演變不依賴於它以往的演變。這種已知“現在”的條件下,“將來”與“過去”獨立的特性稱為馬爾可夫性,具有這種性質的隨機過程叫做馬爾可夫過程。荷花池中一隻青蛙的跳躍是馬爾可夫過程的一個形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上,因為青蛙是沒有記憶的,當所處的位置已知時,它下一步跳往何處和它以往走過的路徑無關。如果將荷葉編號並用X0,X1,X2,…分別表示青蛙最初處的荷葉號碼及第一次、第二次、……跳躍後所處的荷葉號碼,那么{Xn,n≥0} 就是馬爾可夫過程。液體中微粒所作的布朗運動,傳染病受感染的人數,原子核中一自由電子在電子層中的跳躍,人口增長過程等等都可視為馬爾可夫過程。還有些過程(例如某些遺傳過程)在一定條件下可以用馬爾可夫過程來近似。

關於馬爾可夫過程的理論研究,1931年Α.Η.柯爾莫哥洛夫發表了《機率論的解析方法》,首先將微分方程等分析方法用於這類過程,奠定了它的理論基礎。1951年前後,伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎上,建立了隨機微分方程的理論,為研究馬爾可夫過程開闢了新的道路。1954年前後,W.弗勒將泛函分析中的半群方法引入馬爾可夫過程的研究中,Ε.Б.登金(又譯鄧肯)等並賦予它機率意義(如特徵運算元等)。50年代初,角谷靜夫和J.L.杜布等發現了布朗運動與偏微分方程論中狄利克雷問題的關係,後來G.A.亨特研究了相當一般的馬爾可夫過程(亨特過程)與位勢的關係。流形上的馬爾可夫過程、馬爾可夫場等都是正待深入研究的領域。

常見馬爾可夫過程

(1)獨立隨機過程為馬爾可夫過程。

(2)獨立增量過程為馬爾可夫過程:沒{X(t),t∈[0,+∞)}為一獨立增量過程,且有P(X(0)=x0)=1,x0為常數,則X(t)為馬爾可夫過程。

(3)泊松過程為馬爾可夫過程。

(4)維納過程為馬爾可夫過程。

(5)質點隨機遊動過程為馬爾可夫過程。

相關詞條

相關搜尋

熱門詞條

聯絡我們