⟐ 数学の作り方 How to make Mathematics

第3章 期待値・分散と不等式

分布まるごとは情報が多すぎる。実用では「だいたいどこ（中心）」と「どれくらいばらつく（散らばり）」の 二つの数字がまず欲しい。それが期待値と分散です。そして本章の主役は、これらを使って 確率を上から抑える不等式——次章以降の大定理はすべて、この素朴な不等式から生まれます。

期待値 ＝ 積分

期待値は「XX の平均的な値」。離散なら「値 × その確率」を足すだけです： E[X]=∑kxk P(X=xk)\mathbb{E}[X]=\sum_k x_k\,P(X=x_k)。サイコロなら (1+2+⋯+6)/6=3.5(1+2+\dots+6)/6=3.5。

連続型ではどうするか。値ごとに確率を掛けて足す——これはまさに積分です。

定義 期待値

確率変数 XX の期待値を、確率測度 PP に関するルベーグ積分で定める：

E[X]=∫ΩX(ω) dP(ω)=∫−∞∞x dPX(x).\mathbb{E}[X]=\int_{\Omega} X(\omega)\,dP(\omega)=\int_{-\infty}^{\infty} x\,dP_X(x).

連続型（密度 ff）なら E[X]=∫−∞∞xf(x) dx\mathbb{E}[X]=\int_{-\infty}^{\infty} x f(x)\,dx、離散型なら和。E[∣X∣]<∞\mathbb{E}[|X|]<\infty のとき可積分という。

「期待値は積分」——この一言で、測度論の全財産が確率にそのまま流れ込みます。 積分の線形性がそのまま期待値の線形性 E[aX+bY]=aE[X]+bE[Y]\mathbb{E}[aX+bY]=a\mathbb{E}[X]+b\mathbb{E}[Y] になり、 これは X,YX,Y が独立でなくても常に成り立つ強力な道具。極限と期待値の交換は 収束定理（単調収束・ファトゥ・優収束）がそのまま担います。

関数を通した期待値も、わざわざ g(X)g(X) の分布を求めずに計算できます（無意識の統計学者の法則）：

E[g(X)]=∫−∞∞g(x) f(x) dx.\mathbb{E}[g(X)]=\int_{-\infty}^{\infty} g(x)\,f(x)\,dx.

独立なら、積の期待値が期待値の積に割れます。これは前章の「独立＝直積測度」にフビニの定理を 当てたもの：

X,Y 独立 ⟹ E[XY]=E[X] E[Y].X,Y \text{ 独立}\ \Longrightarrow\ \mathbb{E}[XY]=\mathbb{E}[X]\,\mathbb{E}[Y].

分散 ＝ 散らばりの二乗平均

中心 μ=E[X]\mu=\mathbb{E}[X] からの「ずれ」の大きさを測ります。ずれ X−μX-\mu はそのまま平均すると 00（正負が打ち消す）。 そこで二乗してから平均する。

定義 分散と標準偏差

Var(X)=E[(X−μ)2]=E[X2]−μ2,σ(X)=Var(X).\mathrm{Var}(X)=\mathbb{E}\big[(X-\mu)^2\big]=\mathbb{E}[X^2]-\mu^2,\qquad \sigma(X)=\sqrt{\mathrm{Var}(X)}.

σ\sigma を標準偏差という（XX と同じ単位で散らばりを測る）。

右の等式 E[X2]−μ2\mathbb{E}[X^2]-\mu^2 は展開して線形性を使えば出ます（計算に便利）。分散の要点は 二乗のスケールです：Var(aX)=a2Var(X)\mathrm{Var}(aX)=a^2\mathrm{Var}(X)。そして独立なときの加法性——これが後で決定的に効きます。

定理 独立和の分散は足し算

X1,…,XnX_1,\dots,X_n が独立（無相関で十分）なら

Var(X1+⋯+Xn)=Var(X1)+⋯+Var(Xn).\mathrm{Var}(X_1+\dots+X_n)=\mathrm{Var}(X_1)+\dots+\mathrm{Var}(X_n).

証明

22 個で示せば十分。Var(X+Y)=E[(X+Y)2]−(μX+μY)2\mathrm{Var}(X+Y)=\mathbb{E}[(X+Y)^2]-(\mu_X+\mu_Y)^2 を展開すると、交差項は 2(E[XY]−μXμY)=2 Cov(X,Y)2(\mathbb{E}[XY]-\mu_X\mu_Y)=2\,\mathrm{Cov}(X,Y)。独立なら E[XY]=μXμY\mathbb{E}[XY]=\mu_X\mu_Y で共分散 00、交差項が消える。 残りが Var(X)+Var(Y)\mathrm{Var}(X)+\mathrm{Var}(Y)。

ここに、大数の法則の芽が隠れています。独立同分布な XiX_i（各分散 σ2\sigma^2）の平均 Xˉn=1n∑Xi\bar X_n=\frac1n\sum X_i を考えると、

Var(Xˉn)=1n2∑i=1nVar(Xi)=nσ2n2=σ2n →n→∞ 0.\mathrm{Var}(\bar X_n)=\frac{1}{n^2}\sum_{i=1}^n \mathrm{Var}(X_i)=\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n}\ \xrightarrow[n\to\infty]{}\ 0.

平均を取るほど散らばりが 1/n1/n で消える。標準偏差でいえば σ/n\sigma/\sqrt{n}——この「n\sqrt{n} 分の 11」が、 以後くり返し現れる確率論の基本テンポです。散らばりが消えるなら、Xˉn\bar X_n は中心 μ\mu に張り付くはず。 それを「確率が小さい」と厳密に言うのが、次の不等式です。

確率を抑える四つの不等式

定理 マルコフの不等式

X≥0X\ge 0 と a>0a>0 に対し

P(X≥a)≤E[X]a.P(X\ge a)\le \frac{\mathbb{E}[X]}{a}.

証明

指示関数を使う。X≥0X\ge 0 なら、a⋅1{X≥a}≤Xa\cdot\mathbf{1}_{\{X\ge a\}}\le X が各 ω\omega で成り立つ （X≥aX\ge a の所では左辺 a≤Xa\le X、それ以外は左辺 0≤X0\le X）。両辺の期待値（積分の単調性）を取ると a P(X≥a)≤E[X]a\,P(X\ge a)\le \mathbb{E}[X]。aa で割って完成。

たったこれだけ。「平均が小さければ、大きな値は稀」という当たり前を式にしただけ。なのにこれが恐ろしく効きます。 XX を (X−μ)2(X-\mu)^2 に取り替えると——

定理 チェビシェフの不等式

平均 μ\mu・分散 σ2\sigma^2 をもつ XX と k>0k>0 に対し

P(∣X−μ∣≥k)≤σ2k2.P\big(|X-\mu|\ge k\big)\le \frac{\sigma^2}{k^2}.

証明

∣X−μ∣≥k  ⟺  (X−μ)2≥k2|X-\mu|\ge k \iff (X-\mu)^2\ge k^2。非負の (X−μ)2(X-\mu)^2 にマルコフを適用（a=k2a=k^2）すれば P((X−μ)2≥k2)≤E[(X−μ)2]/k2=σ2/k2P((X-\mu)^2\ge k^2)\le \mathbb{E}[(X-\mu)^2]/k^2=\sigma^2/k^2。

チェビシェフは「中心から kk 以上ずれる確率は、分散に比例して小さい」。分布の形を一切仮定せず、 平均と分散だけで確率を抑える万能の道具です。これを先ほどの Xˉn\bar X_n（分散 σ2/n\sigma^2/n）に当てれば、 P(∣Xˉn−μ∣≥k)≤σ2/(nk2)→0P(|\bar X_n-\mu|\ge k)\le \sigma^2/(nk^2)\to 0——これがもう大数の弱法則の証明です（第5章で仕上げます）。

残り二つは、期待値どうしの関係を縛ります。

定理 イェンセンの不等式

φ\varphi が凸関数なら φ(E[X])≤E[φ(X)]\varphi(\mathbb{E}[X])\le \mathbb{E}[\varphi(X)]。（凹なら不等号が逆）

証明

凸関数は各点で接線の上にある：点 μ=E[X]\mu=\mathbb{E}[X] での接線を ℓ(x)=φ(μ)+c(x−μ)\ell(x)=\varphi(\mu)+c(x-\mu) とすると φ(x)≥ℓ(x)\varphi(x)\ge \ell(x) が全 xx で成り立つ。期待値を取ると、右辺は線形性で E[ℓ(X)]=φ(μ)\mathbb{E}[\ell(X)]=\varphi(\mu) （E[X−μ]=0\mathbb{E}[X-\mu]=0）。ゆえに E[φ(X)]≥φ(μ)\mathbb{E}[\varphi(X)]\ge\varphi(\mu)。

「平均してから曲げる」より「曲げてから平均する」方が大きい。φ(x)=x2\varphi(x)=x^2 なら E[X]2≤E[X2]\mathbb{E}[X]^2\le\mathbb{E}[X^2]、すなわち分散 ≥0\ge 0 が出ます。凸性一発で多くの不等式が統一されます。

定理 コーシー–シュワルツの不等式

∣E[XY]∣≤E[X2] E[Y2].\big|\mathbb{E}[XY]\big|\le \sqrt{\mathbb{E}[X^2]}\,\sqrt{\mathbb{E}[Y^2]}.

これは関数解析の L2L^2 内積そのもの——⟨X,Y⟩=E[XY]\langle X,Y\rangle=\mathbb{E}[XY] と見れば、 確率変数は内積空間の元、コーシー–シュワルツはその幾何です。ここから ∣Cov(X,Y)∣≤σXσY|\mathrm{Cov}(X,Y)|\le\sigma_X\sigma_Y が出て、相関係数 ρ=Cov(X,Y)/(σXσY)∈[−1,1]\rho=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)\in[-1,1] が 定義できます。ρ\rho は「XX と YY の直線的な連動の強さ」を測る、内積の言葉での「なす角の余弦」です。

つまずきポイント

注意 よくある誤解

  • 「無相関 ⇒ 独立」ではない。 独立なら Cov=0\mathrm{Cov}=0（無相関）だが、逆は偽。相関は「直線的な」連動しか捉えない。 X∼N(0,1), Y=X2X\sim N(0,1),\ Y=X^2 は無相関だが明らかに従属。独立は「あらゆる」関数で積が割れる、はるかに強い条件。
  • 期待値・分散が存在しない分布もある。 コーシー分布は ∫xf dx\int x f\,dx が発散し、期待値すら定義できない。 「平均は必ずある」と思い込まない。不等式は可積分性を前提にしている。
  • チェビシェフは緩い。 k=2σk=2\sigma で上界 1/41/4。正規分布の実際の 2σ2\sigma 外は約 4.6%4.6\%。 チェビシェフは分布に依らず成り立つ代償に甘い。だが「n→∞n\to\infty で 00」を言うにはこれで十分。

この章のまとめ

  • 期待値 ＝ 積分、分散 ＝ ずれの二乗平均。線形性・独立時の積分解・独立和の分散加法性が基本道具。
  • 独立同分布の平均 Xˉn\bar X_n は Var(Xˉn)=σ2/n→0\mathrm{Var}(\bar X_n)=\sigma^2/n\to 0。散らばりが 1/n1/\sqrt{n} で消える。
  • マルコフ→チェビシェフが確率を上から抑える。イェンセンは凸性、コーシー–シュワルツは L2L^2 の幾何（相関）。 チェビシェフ＋分散 σ2/n\sigma^2/n ＝ もう大数の弱法則の骨格。

次章では、Xˉn→μ\bar X_n\to\mu の「→\to」に何種類もの意味があること——確率変数の収束の諸相を整理します。