馬爾科夫鏈

P(X_{n P(X_n +1=x|X_n

馬爾可夫鏈，因安德烈"馬爾可夫（A.A.Markov，1856－1922）得名，是數學中具有馬爾可夫性質的離散時間隨機過程。該過程中，在給定當前知識或信息的情況下，過去（即當期以前的歷史狀態）對於預測將來（即當期以後的未來狀態）是無關的。
馬爾可夫鏈是隨機變數X_1,X_2,X_3...的一個數列。這些變數的範圍，即他們所有可能取值的集合，被稱為“狀態空間”，而X_n的值則是在時間<math>n</math>的狀態。如果X_{n+1}對於過去狀態的條件機率分布僅是X_n的一個函式，則
P(X_{n+1}=x|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}=x|X_n).
這裡x為過程中的某個狀態。上面這個恆等式可以被看作是馬爾可夫性質。
馬爾可夫在1906年首先做出了這類過程。而將此一般化到可數無限狀態空間是由柯爾莫果洛夫在1936年給出的。