⟐ 数学の作り方 How to make Mathematics

第10章 統計的推定

ここまでの確率論は「分布が分かっている前提で、データの振る舞いを予言する」学問でした。統計学は、その矢を逆向きに します——手元のデータから、背後の分布（母集団）を推し量る。コインを 100100 回投げて表 5858 回。この pp は 本当に 0.50.5 なのか、それとも 0.580.58 なのか？ 確率論で鍛えた大数の法則・中心極限定理が、そのまま 「なぜ推定がうまくいくか」の保証として効いてきます。

舞台設定：統計モデルと母数

データ X1,…,XnX_1,\dots,X_n を、ある分布から独立に取られた標本と見ます。ただしその分布は完全には分からず、 未知の母数（パラメータ）θ\theta で決まる形をしていると仮定する。

定義 統計モデルと推定量

分布の族 {Pθ:θ∈Θ}\{P_\theta : \theta\in\Theta\} を統計モデル、θ\theta を母数という。 標本 X1,…,Xn∼PθX_1,\dots,X_n\sim P_\theta（独立同分布）に基づき θ\theta を言い当てる関数 θ^=θ^(X1,…,Xn)\hat\theta=\hat\theta(X_1,\dots,X_n) を推定量という。

例：コインの表確率 pp（Ber(p)\mathrm{Ber}(p) モデル）、製品寿命の平均 λ\lambda（Exp\mathrm{Exp} モデル）、 測定値の (μ,σ2)(\mu,\sigma^2)（正規モデル）。推定量は「データを入れると母数の推測値が出る関数」——確率変数です。 だから推定量そのものが分布（標本分布）を持ち、その良し悪しを確率論で評価できます。

良い推定量の条件：不偏性と一致性

推定量は無数に作れます。どれが「良い」のか。二つの基準が基本です。

定義 不偏性・一致性

  • 不偏：Eθ[θ^]=θ\mathbb{E}_\theta[\hat\theta]=\theta（すべての θ\theta で）。平均的に的の中心を射抜く（系統的な偏りがない）。
  • 一致：θ^n→Pθ\hat\theta_n\xrightarrow{P}\theta（n→∞n\to\infty）。データを増やせば真の値へ収束する。

標本平均 Xˉn\bar X_n を母平均 μ\mu の推定量にすると、両方を満たします。不偏は E[Xˉn]=μ\mathbb{E}[\bar X_n]=\mu（線形性、第3章）。一致はまさに大数の法則（第5章）Xˉn→Pμ\bar X_n\xrightarrow{P}\mu。 ——「なぜ標本平均で母平均を推定してよいのか」という統計の根本問いに、確率論が直接答えているのです。

散らばりの推定には少し注意が要ります。標本分散を 1n∑(Xi−Xˉn)2\frac1n\sum(X_i-\bar X_n)^2 とすると、平均を取ると n−1nσ2\frac{n-1}{n}\sigma^2 で、わずかに小さめ（偏る）。Xˉn\bar X_n をデータから作ったぶん自由度が一つ減るためです。 だから不偏にするには nn でなく n−1n-1 で割る：

定義 不偏標本分散

s2=1n−1∑i=1n(Xi−Xˉn)2,E[s2]=σ2.s^2=\frac{1}{n-1}\sum_{i=1}^n (X_i-\bar X_n)^2,\qquad \mathbb{E}[s^2]=\sigma^2.

この「n−1n-1 で割る」（自由度の補正）は統計の顔とも言える約束事で、偏りを消すための必然です。

推定量の作り方：最尤法

「良い推定量」を毎回天下り式に思いつくのは大変です。汎用の製造法が最尤推定。発想は素朴で強力： 「観測されたデータが、最も起こりやすくなるような θ\theta を選べ」。

定義 尤度と最尤推定量

データ x1,…,xnx_1,\dots,x_n に対し、それが得られる確率（密度）を θ\theta の関数と見たものを尤度

L(θ)=∏i=1nf(xi;θ)L(\theta)=\prod_{i=1}^n f(x_i;\theta)

という。L(θ)L(\theta)（または扱いやすい log⁡L\log L）を最大化する θ^ML\hat\theta_{\mathrm{ML}} を最尤推定量という。

積は微分しにくいので、対数を取って和にする（対数尤度 ℓ(θ)=∑log⁡f(xi;θ)\ell(\theta)=\sum\log f(x_i;\theta)）のが定石。 ℓ′(θ)=0\ell'(\theta)=0 を解けば求まります。

例（コイン）： Ber(p)\mathrm{Ber}(p) で表が kk 回／nn 回。ℓ(p)=klog⁡p+(n−k)log⁡(1−p)\ell(p)=k\log p+(n-k)\log(1-p)、 ℓ′(p)=kp−n−k1−p=0\ell'(p)=\frac{k}{p}-\frac{n-k}{1-p}=0 より p^=k/n\hat p=k/n。表の割合——直感どおりの答えが、最尤法から自動で出ます。 100100 回で 5858 回なら p^=0.58\hat p=0.58。正規モデルなら最尤推定は μ^=Xˉn, σ^2=1n∑(Xi−Xˉ)2\hat\mu=\bar X_n,\ \hat\sigma^2=\frac1n\sum(X_i-\bar X)^2。

最尤推定量は、緩い条件のもとで一致性を持ち、しかも nn が大きいとき漸近正規： n(θ^ML−θ)→dN ⁣(0, I(θ)−1)\sqrt{n}(\hat\theta_{\mathrm{ML}}-\theta)\xrightarrow{d}N\!\big(0,\,I(\theta)^{-1}\big)。CLT の香りがここにも漂います。 I(θ)I(\theta) が次のフィッシャー情報量で、精度の限界を決めます。

情報の限界：クラメール–ラオの不等式

「どんなに賢い推定量でも、これ以上は精度を上げられない」という下限があります。データがどれだけ θ\theta の 情報を持つかを測るのがフィッシャー情報量 I(θ)=E[(∂θlog⁡f(X;θ))2]I(\theta)=\mathbb{E}\big[(\partial_\theta\log f(X;\theta))^2\big]。

定理 クラメール–ラオの不等式

θ^\hat\theta を（θ\theta の）不偏推定量とすると、緩い正則条件のもとで

Varθ(θ^) ≥ 1n I(θ).\mathrm{Var}_\theta(\hat\theta)\ \ge\ \frac{1}{n\,I(\theta)}.

証明

（骨子）スコア U=∑i∂θlog⁡f(Xi;θ)U=\sum_i \partial_\theta\log f(X_i;\theta) は E[U]=0\mathbb{E}[U]=0、Var(U)=nI(θ)\mathrm{Var}(U)=nI(\theta)。 不偏性 E[θ^]=θ\mathbb{E}[\hat\theta]=\theta を θ\theta で微分して積分と交換すると Cov(θ^,U)=1\mathrm{Cov}(\hat\theta,U)=1 が出る。 これにコーシー–シュワルツ（第3章）を当てると 1=Cov(θ^,U)2≤Var(θ^) Var(U)=Var(θ^)⋅nI(θ)1=\mathrm{Cov}(\hat\theta,U)^2\le \mathrm{Var}(\hat\theta)\,\mathrm{Var}(U)=\mathrm{Var}(\hat\theta)\cdot nI(\theta)。移項して結論。

第3章で仕込んだコーシー–シュワルツが、推定精度の理論限界を導く——確率論の不等式が統計に直結する好例です。 この下限を達成する（Var=1/(nI)\mathrm{Var}=1/(nI)）不偏推定量を有効推定量と呼び、最良の証です。

データを圧縮する：十分統計量

100100 回のコイン投げの記録は「TTH, TTT, HHH, …」と長大ですが、pp を推定するのに本当に要る情報は 表の総数 kk だけ。順序は pp について何も語らない。この「母数についての情報を余さず持つ要約」が 十分統計量です。

定義 十分統計量

統計量 T(X1,…,Xn)T(X_1,\dots,X_n) が θ\theta に対し十分とは、TT を与えたときのデータの条件付き分布が θ\theta に依存しないこと。同値な判定（分解定理）：尤度が L(θ)=g(T(x);θ) h(x)L(\theta)=g(T(x);\theta)\,h(x) と分解できること。

コインなら T=∑XiT=\sum X_i（表の数）が十分：尤度 pk(1−p)n−kp^k(1-p)^{n-k} は k=∑xik=\sum x_i だけで pp 依存部分が書ける。 十分統計量は「データを情報を失わずに圧縮」したもので、良い推定量は必ずこれの関数として作れます （ラオ–ブラックウェルの定理：任意の推定量を十分統計量で条件づけると分散が下がる——ここでも条件付き期待値が主役）。

注意 つまずきポイント

  • 不偏と一致は別。 不偏は「各 nn で偏りゼロ」、一致は「n→∞n\to\infty で収束」。標本分散（nn 割り）は偏るが一致はする。 最尤推定は一般に不偏でないが一致する。両立が理想だが、必ずしも同時でない。
  • 尤度は θ\theta の関数であって、確率分布ではない。 ∫L(θ) dθ=1\int L(\theta)\,d\theta=1 とは限らない。データを固定して θ\theta を動かす「もっともらしさ」の指標。ベイズ（第12章）で θ\theta に確率を入れる話と混同しない。
  • クラメール–ラオは不偏推定量の下限。 偏りを許せば分散はもっと小さくできる（バイアス–バリアンスの取引）。 「絶対的な精度の壁」ではない点に注意。

この章のまとめ

  • 統計は確率の矢を逆向きにし、データから母数 θ\theta を推定する。良さの基準は不偏（偏りゼロ）と 一致（n→∞n\to\infty で収束）。標本平均が母平均の良い推定量である根拠は、線形性と大数の法則そのもの。
  • 最尤推定は「データを最も起こりやすくする θ\theta」。一致・漸近正規。クラメール–ラオが分散の下限 1/(nI(θ))1/(nI(\theta)) を与え、証明はコーシー–シュワルツ。十分統計量はデータの無損失圧縮。
  • 確率論の不等式・収束定理・条件付き期待値が、推定の性能保証としてそのまま働く。

推定は「一点」を当てました。しかし当てた値には必ず誤差がある。次章では、その誤差を区間で表し、 仮説を検定する——中心極限定理が実務の道具になる場面です。