第5章大数の法則

コインを $10$ 回投げて表が $7$ 回でも驚きません。でも $1$ 万回投げて $7$ 千回表なら「イカサマだ」と思う。なぜ？——回数を増やすほど、表の割合は $1/2$ に張り付くという確信があるからです。この経験則、「たくさん試せば標本平均は真の平均に近づく」を、いよいよ定理として証明します。これが確率論最初の大黒柱、大数の法則です。

まず現象を見る

独立同分布な $X_1,X_2,\dots$ （同じ分布から独立に）を次々に引き、標本平均 $\bar X_n=\frac{1}{n}(X_1+\dots+X_n)$ を $n$ の増加とともに描いてみます。

試行数 N ＝ 200

最初は大きく暴れる標本平均が、 $n$ を増やすと真の平均 $\mu$ （朱の破線）へ吸い込まれていきます。どの乱数列（「引き直す」）でも同じ。朱の帯 $\mu\pm 2\sigma/\sqrt{n}$ が $\sqrt{n}$ の速さで狭まり、軌道を漏斗のように絞っていくのが見えます。この「 $\sqrt{n}$ 分の $1$ 」——第3章で $\mathrm{Var}(\bar X_n)=\sigma^2/n$ と計算した、あの散らばりの縮みです。あとはこれを厳密な収束にするだけ。

弱法則：チェビシェフ三行

まず「確率収束」の意味での主張。証明は第3章の道具でほぼ済みます。

定理大数の弱法則（WLLN）

$X_1,X_2,\dots$ が独立同分布で、平均 $\mu=\mathbb{E}[X_1]$ ・分散 $\sigma^2<\infty$ をもつとする。このとき

\bar X_n \xrightarrow{P} \mu \qquad(n\to\infty),

すなわち任意の $\varepsilon>0$ に対し $P(|\bar X_n-\mu|\ge\varepsilon)\to 0$ 。

証明

期待値の線形性より $\mathbb{E}[\bar X_n]=\mu$ 。独立和の分散加法性（第3章）より $\mathrm{Var}(\bar X_n)=\dfrac{1}{n^2}\sum_{i=1}^n\sigma^2=\dfrac{\sigma^2}{n}$ 。 $\bar X_n$ にチェビシェフの不等式を当てると、任意の $\varepsilon>0$ で

P\big(|\bar X_n-\mu|\ge\varepsilon\big)\le \frac{\mathrm{Var}(\bar X_n)}{\varepsilon^2}=\frac{\sigma^2}{n\varepsilon^2}\xrightarrow[n\to\infty]{}0.

三行です。エンジンは二つ——独立和の分散が足し算（散らばりが $\sigma^2/n$ に縮む）と、 チェビシェフ（散らばりが小さければ大きなずれは稀）。第3章で仕込んだ武器がそのまま火を噴きました。

強法則：ボレル–カンテリで軌道を止める

弱法則は「各 $n$ でずれる確率が小さい」を言うだけ。でも上の実演で見た「軌道そのものが $\mu$ へ収束」は、もっと強い概収束の主張です。これが強法則。証明の心臓は前章のボレル–カンテリ第一補題です。

定理大数の強法則（SLLN, コルモゴロフ）

$X_1,X_2,\dots$ が独立同分布で $\mathbb{E}[|X_1|]<\infty$ （可積分）なら、平均 $\mu=\mathbb{E}[X_1]$ に対し

\bar X_n \xrightarrow{a.s.} \mu,\qquad\text{すなわち}\quad P\Big(\lim_{n\to\infty}\bar X_n=\mu\Big)=1.

一般の強法則はモーメントの切り落としなど手数が要るので、ここでは四次モーメント有限（ $\mathbb{E}[X_1^4]<\infty$ ）を仮定した見通しのよい証明を与えます。考え方（総和が有限なら軌道は収束）は本質的に同じで、これが第一補題の使い所を鮮やかに見せます。

証明

$\mu=0$ としてよい（ $X_i-\mu$ に置き換える）。 $S_n=X_1+\dots+X_n$ とし、 $\mathbb{E}[S_n^4]$ を評価する。展開すると、独立性と $\mathbb{E}[X_i]=0$ より、生き残るのは全指数が偶数の項だけ： $\mathbb{E}[X_i^4]$ 型が $n$ 個、 $\mathbb{E}[X_i^2]\mathbb{E}[X_j^2]$ 型が $3n(n-1)$ 個。よってある定数 $C$ で

\mathbb{E}[S_n^4]\le C n^2,\qquad\text{ゆえに}\quad \mathbb{E}\big[\bar X_n^4\big]=\frac{\mathbb{E}[S_n^4]}{n^4}\le \frac{C}{n^2}.

ここでマルコフ不等式： $P(|\bar X_n|\ge\varepsilon)=P(\bar X_n^4\ge\varepsilon^4)\le \dfrac{C}{n^2\varepsilon^4}$ 。 $n$ について足すと $\sum_n \dfrac{C}{n^2\varepsilon^4}<\infty$ （ $\sum 1/n^2$ は収束！）。総和が有限だから、 ボレル–カンテリ第一補題より「 $|\bar X_n|\ge\varepsilon$ 」は確率 $1$ で有限回しか起きない。これが任意の $\varepsilon$ （例えば $\varepsilon=1/k$ 全部）で言えるので、確率 $1$ で $\bar X_n\to 0$ 。

弱法則との差はどこか。弱法則で使ったチェビシェフは各 $n$ で $\sigma^2/(n\varepsilon^2)$ ——これは $\sum 1/n$ で発散し、総和を有限にできない。四次モーメントに上げると $C/n^2$ になり、 $\sum 1/n^2$ が収束して、初めてボレル–カンテリが使える。「各 $n$ で小さい（確率収束）」と「軌道が収束する（概収束）」を分ける決め手が、まさに確率の総和が有限かどうか——前章で予告した橋を、ここで渡りきったわけです。

なぜこの定理が世界を回すのか

大数の法則は「確率とは何か」への答えでもあります。事象 $A$ の指示関数 $X_i=\mathbf{1}_{A}$ （ $A$ が起きたら $1$ ）に強法則を当てると、 $\bar X_n=\dfrac{A \text{ の起きた回数}}{n}\to \mathbb{E}[\mathbf{1}_A]=P(A)$ 。つまり**「確率＝長い目で見た相対頻度」という頻度主義の直感が、公理から定理として導かれる**。最初にコンピュータに数を投げて「 $1$ 万回で $7$ 千回はおかしい」と感じた、あの確信の正体です。

応用も広い。モンテカルロ積分： $\mathbb{E}[g(X)]=\int g\,dP$ を、乱数で $g(X_i)$ をたくさん作って平均するだけで近似できる（強法則が収束を、次章の CLT が誤差 $\sim 1/\sqrt{n}$ を保証）。高次元積分で桁違いに強力な手法です。統計学では、標本平均が母平均へ収束することが「推定量の一致性」（第10章）の根拠そのものになります。

注意つまずきポイント

「 $n$ を増やせば偏りが取り返される」ではない（ギャンブラーの誤謬）。 表が続いても、次に裏が出やすくなるわけではない（独立！）。収束するのは割合 $\bar X_n$ であって、差 $S_n-n\mu$ はむしろ $\sqrt{n}$ で広がる（次章）。「割合が $\mu$ に寄る」と「累計のズレが消える」は別。
有限の分散（や平均）が要る。 コーシー分布は平均が存在せず、標本平均はいくら増やしても収束しない。法則は「可積分」という前提の上で成り立つ。
弱と強の違いは「各 $n$ 」か「軌道」か。 弱は確率収束、強は概収束。実演の「一本の道が $\mu$ に落ちる」は強法則の絵。

この章のまとめ

弱法則：独立同分布・分散有限なら $\bar X_n\xrightarrow{P}\mu$ 。証明は「分散 $\sigma^2/n$ ＋チェビシェフ」の三行。
強法則：可積分なら $\bar X_n\xrightarrow{a.s.}\mu$ 。四次モーメント版では $\mathbb{E}[\bar X_n^4]\le C/n^2$ を作り、 $\sum 1/n^2<\infty$ とボレル–カンテリ第一補題で軌道の収束を掴む。
指示関数に当てれば確率＝相対頻度の極限。モンテカルロ・統計的推定の土台。収束するのは割合で、差ではない。

割合は $\mu$ に収束する。では差 $S_n-n\mu$ はどう散らばるのか——それを $\sqrt{n}$ で拡大して覗くと、どんな分布からでも同じ釣鐘が現れます。次章、確率論の華中心極限定理へ。

第5章 大数の法則