第12章ベイズ統計

前章まで、母数 $\theta$ は「未知だが定まった定数」でした。だから「 $\theta$ が区間に入る確率」は語れず、 p値も「 $\theta$ が正しい確率」ではないと何度も釘を刺しました。ベイズ統計は、この立場を根本から変えます—— $\theta$ そのものを確率変数と見て、データを見た後の「 $\theta$ の確率」を堂々と計算する。第7章の条件付き期待値、そして第2章のベイズの定理が、ここで主役として舞台の中央に立ちます。確率論の締めくくりにふさわしい転回です。

発想の転換：母数に確率を入れる

コインの $p$ を推定する。頻度論は「 $p$ は定数、データがランダム」と考えました。ベイズはこう考えます： 「 $p$ について、データを見る前に持っている信念があり、データを見てそれを更新する」。

事前分布 $\pi(\theta)$ ：データを見る前の $\theta$ についての信念（確率分布）。「 $p$ は $0.5$ 付近だろう」など。
尤度 $L(\theta)=p(\text{data}\mid\theta)$ ： $\theta$ のもとでデータが得られる確率（第10章と同じ）。
事後分布 $\pi(\theta\mid\text{data})$ ：データを見た後の、更新された信念。

これらを結ぶのが、第2章で見たベイズの定理。条件付き確率の定義を組み替えるだけの、ごく素朴な等式です。

定理ベイズの定理（統計版）

\pi(\theta\mid \text{data})=\frac{p(\text{data}\mid\theta)\,\pi(\theta)}{p(\text{data})} =\frac{L(\theta)\,\pi(\theta)}{\displaystyle\int L(\theta)\,\pi(\theta)\,d\theta}\ \propto\ L(\theta)\,\pi(\theta).

言葉にすれば 事後 $\propto$ 尤度 $\times$ 事前。分母 $p(\text{data})$ は $\theta$ に依らない正規化定数。

「事後 ∝ 尤度 × 事前」——このリズムがベイズのすべてです。データが尤度を通じて事前の信念を変形し、事後を作る。頻度論が捨てていた「 $\theta$ の分布」を、事前という代償と引き換えに手に入れます。第11章のつまずきで警告した $P(\text{data}\mid\theta)$ と $P(\theta\mid\text{data})$ の取り違え——ベイズの定理は、両者を正しく結ぶ変換式そのものです。

手を動かす：ベータ–二項の更新

コインで実感しましょう。 $p$ の事前をベータ分布 $\mathrm{Beta}(a,b)$ （ $\pi(p)\propto p^{a-1}(1-p)^{b-1}$ ）に取ります。 $a=b=1$ なら一様分布（何も知らない）。 $n$ 回中 $k$ 回表なら、尤度は $L(p)=p^k(1-p)^{n-k}$ 。事後は

\pi(p\mid\text{data})\ \propto\ \underbrace{p^k(1-p)^{n-k}}_{\text{尤度}}\cdot\underbrace{p^{a-1}(1-p)^{b-1}}_{\text{事前}} = p^{(a+k)-1}(1-p)^{(b+n-k)-1}.

これは $\mathrm{Beta}(a+k,\ b+n-k)$ ——事前と同じベータ族のまま、パラメータが更新されただけ。「表を見たら第一パラメータに $+1$ 、裏を見たら第二に $+1$ 」という気持ちのいい更新則になります。このように事前と事後が同じ族に収まる事前を共役事前分布と呼び、計算が閉じるので古典的に重宝されます（正規には正規、ポアソンにはガンマ、など）。

数字を入れます。事前 $\mathrm{Beta}(1,1)$ （無情報）＋データ $k=58,\ n=100$ なら事後は $\mathrm{Beta}(59,43)$ 。その平均は $\frac{59}{59+43}=\frac{59}{102}\approx0.578$ ——最尤の $0.58$ とほぼ一致。ベイズでは「 $P(p>0.5\mid\text{data})$ 」も事後分布の積分としてそのまま計算でき、 $\approx 0.94$ 程度。頻度論では禁じられた「 $p$ が $0.5$ を超える確率」を、ベイズは正面から答えます。

事後をどう使うか：ベイズ推定と信用区間

事後分布 $\pi(\theta\mid\text{data})$ は「データを見た後の $\theta$ についての完全な知識」。点推定が欲しければ代表値を取ります。

定義ベイズ推定量と信用区間

事後平均 $\hat\theta_{\mathrm{Bayes}}=\mathbb{E}[\theta\mid\text{data}]=\int\theta\,\pi(\theta\mid\text{data})\,d\theta$ 。これは二乗誤差を最小化する推定量——第7章の条件付き期待値＝最良予測そのもの。
MAP 推定：事後を最大化する $\theta$ （事後最頻値）。
信用区間：事後確率が $95\%$ となる $\theta$ の区間。「 $\theta$ がこの区間に入る確率が $95\%$ 」と、頻度論の信頼区間では言えなかった素直な解釈がそのまま成り立つ。

事後平均が条件付き期待値だという事実は象徴的です。「データという情報 $\mathcal{G}$ を得たもとでの $\theta$ の最良予測」—— 第7章で射影として定義したものが、そのままベイズ推定の答えになっている。理論が一周してつながります。

データが増えるとどうなるか。尤度 $L(\theta)$ は $n$ とともに鋭く尖り、事前 $\pi(\theta)$ の影響を圧倒します。結果、事後は真の値の近くに集中し、事前の取り方によらず同じ答えに収束する（ベルンシュタイン–フォン・ミーゼス：事後は漸近的に正規で、頻度論の結果と一致）。「たくさんデータがあれば、事前の主観は洗い流される」——ここでも背後で大数の法則が働いています。少ないデータでは事前が効き、多ければ消える。それがベイズの自然な振る舞いです。

頻度論とベイズ：二つの世界観

注意立場の違いを一枚に

頻度論： $\theta$ は定数、データがランダム。「手続きを繰り返したときの性能」（信頼区間の被覆率、検定の水準）で正当化。 $\theta$ の確率は語らない。客観的だが、解釈が回りくどい。
ベイズ： $\theta$ は確率変数、事前の信念をデータで更新。「 $\theta$ の確率」を直接語れて解釈が素直。代償は 事前の選択という主観が入ること。無情報事前や階層事前で緩和する。
実用：計算は事後を求める積分が難物だが、MCMC（マルコフ連鎖モンテカルロ）——第8章のマルコフ性を使い、事後分布を定常分布とする連鎖を走らせてサンプリングする手法——で高次元でも扱えるようになり、現代のデータ解析・機械学習で広く使われる。

どちらが正しいという話ではありません。問いに応じて使い分ける二つのレンズです。大事なのは、両者とも 同じコルモゴロフの確率空間（第1章）の上に立っていること——ベイズは $\theta$ を確率変数として同じ土台に乗せ直しただけ。確率論という一つの言語の、二つの方言なのです。

この章のまとめ

ベイズ統計は母数 $\theta$ を確率変数と見て、事後 $\propto$ 尤度 $\times$ 事前（ベイズの定理）で信念を更新する。
共役事前（ベータ–二項など）なら更新が同じ族で閉じる。事後平均は第7章の条件付き期待値＝最良予測、 信用区間は「 $\theta$ が入る確率」を素直に語れる。データが増えれば事前は洗い流される。
頻度論とベイズは、同じ確率空間の上の二つの世界観。MCMC が計算を実用化した。

確率論を振り返って

第1章で「偶然を測度で測る」と決めてから、私たちは一本の道を歩いてきました。確率空間という土台の上で、 大数の法則（割合は真の値へ）と中心極限定理（揺らぎは釣鐘へ）という二つの極限定理を証明し、 条件付き期待値で情報を、マルチンゲールで公平な賭けを、ブラウン運動で連続の偶然を捉えた。そして最後に、その全財産を統計学——推定・検定・ベイズ——として現実のデータへ向けました。

一貫していたのは、確率は測度、期待値は積分、独立は直積、条件づけは射影という翻訳です。測度論・関数解析・フーリエ解析で鍛えた道具が、そっくりそのまま偶然の言葉になった。偶然は、もはや手に負えない混沌ではありません。厳密な解析の対象として、私たちの手の中にあります。

第12章 ベイズ統計