大數律
正文
機率論中討論隨機變數序列的算術平均值向常數收斂的定律。是機率論與數理統計學的基本定律之一。以重複投擲一枚硬幣的隨機試驗為例,記n次投幣試驗中出現正面的次數為vn。對於不同的n次試驗，vn可能不同，但當n越來越大時，出現正面的頻率 vn/n 將大體上逐漸接近於 1/2。又如稱某一物體的重量，假如衡器不存在系統偏差，由於衡器的精度等各種因素的影響，對同一物體重複稱量多次，可能得到多個不同的重量數值X1，X2，…，Xn。但若取它們的算術平均值
,則隨n的增大,一般來說
也將逐漸接近於物體的真實重量。 歷史上,雅各布第一·伯努利(1652～1705)在《推測術》(1713年出版)中首先從數學上論述了這一現象。他證明了:若vn是n次獨立重複試驗中事件A出現的次數, p是事件A的機率，則對任一ε>0,有
，即
依機率收斂於p。這一結論表明，對任意小的正數ε，只要n充分大，頻率與機率 p發生大於ε的偏離的可能性就很小，即大多數試驗只使與p發生較小的偏離。這是歷史上第一個嚴格說明頻率穩定性的定律，稱為伯努利大數律。大數律這個名稱是S.-D.泊松於 1837年給出的。大數律表明，對同一隨機變數X的n次獨立觀察值X1,X2,…,Xn的平均,將隨n的增大而收斂於它的數學期望EX。在數理統計中，就依據這一點而取多次重複觀測的算術平均作為EX的較精確的估計。特別可以利用頻率的穩定性來對事件的機率和隨機變數的分布進行估計，還可以利用樣本矩向總體矩的收斂，取樣本矩作為總體矩的近似而獲得參數估計的矩方法（見點估計）。 由於隨機變數序列
向常數的收斂可以有多種不同的方式,按其收斂為依機率收斂、以機率1收斂或均方收斂（見機率論中的收斂），分別有弱大數律、強大數律或均方大數律。弱大數律又通稱為大數律。根據隨機變數序列各種收斂之間的關係，由強大數律或均方大數律可以推出弱大數律。 大數律中最重要的一類是討論獨立試驗序列的，常見的除了伯努利大數律外，還有下列著名的大數律：
辛欽大數律(1929) 若{Xn}為獨立同分布隨機變數序列，EXn=μ存在有限，則對任何ε>0，有
。(F.-É.-J.-) É.波萊爾最初只證明了
的情形,以後才證明了對一般的p也有同樣的結果。 柯爾莫哥洛夫強大數律 若{Xn}為獨立同分布隨機變數序列，EXn存在，則以機率1成立
。 大數律中涉及到的隨機變數序列{Xn}也可以不是相互獨立的。特別對於平穩序列,塣可看為序列按時間的平均，而 EXn=μ是同一時刻不同樣本的統計平均。這時，
→μ表明{Xn}隨時間的增長遍歷了它的各種可能狀態，因而使“時間平均”向“統計平均”收斂。這又稱為平穩序列的遍歷性，它也是一種大數律。在平穩過程理論中，Α.Я.辛欽和G.D.伯克霍夫分別建立了向μ均方收斂和以機率1收斂的遍歷定理。 不僅有算術平均向常數收斂的大數律,更一般地,對隨機變數序列{Xn},記
，若存在常數序列{αn}及趨於無窮的{bn}，當n→
時使
依機率或以機率1收斂於零,則分別稱{Yn}是依機率穩定或以機率 1穩定的。這是大數律的一種推廣形式。由於Yn依機率收斂於零與Yn的分布向集中於零的退化分布弱收斂是等價的，因此弱大數律就是討論Yn的分布向退化分布弱收斂的極限定理（見中心極限定理），可作為普遍極限定理的特例來處理。 切比雪夫不等式 若隨機變數的數學期望、方差分別為EX及varX,則對任何α>0，成立
。這一不等式是證明弱大數律的重要工具。它在I.－J.比安內梅1853年的論文中已有類似的表述，但直到1867年才由∏.Л.切比雪夫明確敘述和論證。它對隨機變數的分布並無特殊要求，僅利用X的方差來對X的取值與EX發生較大偏離的機率作出估計，因而有較廣泛的適用性。它還有種種推廣形式。若 X為一隨機變數，ƒ（x）為一非負非降函式，則 
，其中Eƒ（X）表示ƒ（X）的數學期望。特別當 ƒ(x)＝xλ,x≥0，λ>0，則有
。後者又稱為馬爾可夫不等式。 柯爾莫哥洛夫不等式 設｛Xk,1≤k≤n｝是相互獨立的隨機變數，它們的數學期望、方差分別為 EXk＝0，
,又
,則對任何α>0，成立下列不等式： 
，則隨機變數級數
以機率1收斂;利用後者可以推出，若有界獨立隨機變數序列的級數
以機率1收斂,則其方差級數
和均值級數
都是收斂的。 這一不等式也有各種不同形式的推廣。例如下鞅的極值不等式:設{Yn}為一離散時間下鞅（見鞅）,α>0,則有
；在不要求Xk存在數學期望與方差的情形，仍成立如下的萊維不等式： 
波萊爾-坎泰利引理和0-1律 設{An，n≥1}為一事件序列,則由
可以推出{An}中有無窮個同時發生的機率為0。這一結論稱為波萊爾－坎泰利引理。若進一步設{An}為相互獨立的事件序列，則更有下列的波萊爾0－1律或0－1準則：按照級數
收斂或發散，{An}中有無窮個同時發生的機率分別為0或1。這是證明各種以機率1成立的性質的有力工具。 又若用σ(Xk,k≥n)表示由隨機變數序列{Xk,k≥n}生成的事件σ-域，
那么，柯爾莫哥洛夫0-1律斷言：對於獨立隨機變數序列{Xn,n≥1}，β*(X)中任一事件的機率必為0或1。利用它可以斷定，事件
及
的機率為0或1；還可以推出
以機率1等於某個常值。 重對數律 設｛Xn｝是獨立同分布的隨機變數序列，
且P(Xn=1)=p, P(Xn=0)=1-p。強大數律斷言，
即對任何ε>0，不等式
除有限個n外成立的機率為1。辛欽於1924年進一步證明了如下的重對數律： 
對較一般的情形,柯爾莫哥洛夫於1929年證明了:若｛Xn｝為獨立隨機變數序列，其數學期望、方差分別為EXn=0，
，又記
且對某一趨於0的常數列{Xn},以機率1成立
則有 
此後,對更一般的獨立隨機變數序列、鞅差序列(即其部分和為離散時間鞅)、弱相依序列等,都在一定條件下得到了類似的結果。
重對數律的證明採用了較高深的分析技巧，因而它是機率論極限理論中比較深入和精密的定理。
參考書目
Y.S.Chow and H.Teicher,Probability Theory,Springer-Verlag,New York,1978.
