数学の作り方 How to make Mathematics

第11章 仮説検定と区間推定

前章で p^=0.58\hat p=0.58 と点で推定しました。でも 100100 回投げただけ。「0.580.58 です」と言い切るのは危うい。 本当に知りたいのは「pp はどのくらいの範囲にありそうか」、そして「p=0.5p=0.5(公平)という仮説は棄てるべきか」。 ここで中心極限定理が実務の道具に変わります。推定の誤差を区間で表し、仮説を白黒つける——統計学が 一番よく使われる場面です。

信頼区間:誤差を区間で表す

CLT(第6章)は、標本平均 Xˉn\bar X_n が母平均 μ\mu を中心に、標準偏差 σ/n\sigma/\sqrt{n} の正規分布で ばらつくと言いました。これを逆に読むと、μ\mu を囲い込む区間が作れます。

Zn=Xˉnμσ/nN(0,1)Z_n=\dfrac{\bar X_n-\mu}{\sigma/\sqrt n}\approx N(0,1) なので、標準正規が 95%95\% の確率で入る範囲 [1.96,1.96][-1.96,\,1.96] を使えば、P(1.96Xˉnμσ/n1.96)0.95P\big(-1.96\le \frac{\bar X_n-\mu}{\sigma/\sqrt n}\le 1.96\big)\approx 0.95μ\mu について解くと:

定義 信頼区間(母平均、大標本)

[ Xˉn1.96σn,  Xˉn+1.96σn ]\left[\ \bar X_n-1.96\,\frac{\sigma}{\sqrt n},\ \ \bar X_n+1.96\,\frac{\sigma}{\sqrt n}\ \right]

はおよそ95%95\% 信頼区間σ\sigma が未知なら標本標準偏差 ss(第10章)で置き換える(大標本で正当化。 小標本・正規母集団では tt 分布を使う)。

区間の幅は 2×1.96σ/n2\times1.96\,\sigma/\sqrt n——精度は 1/n1/\sqrt n でしか上がらない。誤差を半分にするには データを 44 倍。CLT の n\sqrt n 則が、そのまま「必要な標本数」を決めます。コインの例(p^=0.58, n=100\hat p=0.58,\ n=100σ=p(1p)0.5\sigma=\sqrt{p(1-p)}\approx0.5)なら幅は ±1.96×0.05±0.098\pm 1.96\times0.05\approx\pm0.098、区間は約 [0.48,0.68][0.48,\,0.68]0.50.5 を含む——「公平」を否定しきれません。

注意 信頼区間の意味(最頻出の誤解)

「この区間に μ\mu95%95\% の確率で入る」は厳密には誤り(頻度論では μ\mu は定数、確率変数ではない)。正しくは 「同じ手続きで区間を作る操作を繰り返せば、そのうち約 95%95\% の区間が真の μ\mu を含む」。ランダムなのは区間の方。 μ\mu に確率を付けたいなら、母数を確率変数と見るベイズ統計(次章)へ行く必要がある。

仮説検定:仮説を白黒つける

p=0.5p=0.5 か否か」に判定を下す枠組みが仮説検定。裁判に似た論法を使います。まず 帰無仮説 H0H_0(「差はない」「効果はない」など、否定したい保守的な仮説。例:p=0.5p=0.5)を立て、 **「H0H_0 が正しいと仮定したら、観測データはどれほど珍しいか」**を測る。珍しすぎれば H0H_0 を棄てる。

定義 検定の枠組み

H0H_0 vs 対立仮説 H1H_1。データから検定統計量を計算し、H0H_0 のもとでそれが落ちる確率分布(帰無分布)を求める。 統計量が「H0H_0 では起こりにくい領域(棄却域)」に入れば H0H_0棄却する。棄却域の大きさを 有意水準 α\alpha(例 5%5\%)で決める。

コインの例。H0:p=0.5H_0: p=0.5 のもとで XˉnN(0.5, 0.25/n)\bar X_n\approx N(0.5,\ 0.25/n)。観測 p^=0.58\hat p=0.58 を標準化すると z=0.580.50.5/100=0.080.05=1.6z=\dfrac{0.58-0.5}{0.5/\sqrt{100}}=\dfrac{0.08}{0.05}=1.6。両側 5%5\% の棄却域は z>1.96|z|>1.961.6<1.961.6<1.96 なので 棄却できない(信頼区間が 0.50.5 を含んだことと整合)。もし n=400n=400 で同じ p^=0.58\hat p=0.58 なら z=3.2z=3.2 で棄却。 同じズレでも、データが多いほど「偶然では説明しにくい」——ここでも n\sqrt n が効いています。

判定には二種類の間違いが必ず伴います。

定義 二種類の誤りと検出力

  • 第一種の誤り(偽陽性):H0H_0 が正しいのに棄却する。確率 =α=\alpha(有意水準)。
  • 第二種の誤り(偽陰性):H1H_1 が正しいのに棄却しない。確率 =β=\beta
  • 検出力1β1-\betaH1H_1 が正しいとき正しく棄却する確率)。

α\alpha を小さくする(棄却しにくくする)と β\beta が増える——トレードオフです。裁判の「疑わしきは罰せず」は α\alpha(無実を有罪にする誤り)を特に小さく抑える思想。両方同時には下げられないので、α\alpha を固定して β\beta を最小化(検出力を最大化)するのが定石。それを実現する検定を、次の補題が構成します。

p値の正しい意味

実務では棄却域よりp値で報告します。

定義 p値

p値とは「H0H_0 が正しいと仮定したとき、実際に観測された統計量以上に極端な値が出る確率」。 p<αp<\alpha なら H0H_0 を棄却する。

上のコイン(z=1.6z=1.6)なら p値 =P(Z1.6)0.11=P(|Z|\ge1.6)\approx0.110.11>0.050.11>0.05 なので棄却しない。 p値は「データが H0H_0 とどれだけ折り合わないか」の目盛りです。ただし誤解が非常に多い概念です。

注意 p値は「H₀ が正しい確率」ではない

p値 =0.11=0.11 は「H0H_0 が正しい確率が 11%11\%」では断じてない。p値は「H0H_0 を仮定した上での、データの珍しさ」。 P(データH0)P(\text{データ}\mid H_0) 型であって P(H0データ)P(H_0\mid\text{データ}) ではない(両者を入れ替える誤りは第12章のベイズで正される)。 また「pαp\ge\alpha」は「H0H_0 が正しい」ことの証明ではなく、単に「棄てるだけの証拠がない」。有意でも効果が 大きいとは限らない(nn を増やせば些細な差でも有意になる)——p値と効果量は別物。

最強の検定:ネイマン–ピアソンの補題

有意水準 α\alpha を守る検定は無数にあります。そのうち検出力が最大なものは何か。単純仮説どうし (H0:θ=θ0H_0:\theta=\theta_0 vs H1:θ=θ1H_1:\theta=\theta_1)なら、答えは尤度比という一つの量で完全に決まります。

定理 ネイマン–ピアソンの補題

H0:θ0H_0:\theta_0 vs H1:θ1H_1:\theta_1 の検定で、水準 α\alpha を満たすもののうち検出力を最大にするのは、 尤度比が大きいところを棄却する検定:

Λ(x)=L(θ1)L(θ0)=f(xi;θ1)f(xi;θ0)>c\Lambda(x)=\frac{L(\theta_1)}{L(\theta_0)}=\frac{\prod f(x_i;\theta_1)}{\prod f(x_i;\theta_0)}>c

で棄却する(cc は水準 α\alpha に合わせて決める)。この検定が最強力(most powerful)。

心は直感的です。棄却域に入れる xx を選ぶとき、「H1H_1 のもとで起こりやすく(L(θ1)L(\theta_1) 大)、H0H_0 のもとで 起こりにくい(L(θ0)L(\theta_0) 小)」点ほど、H1H_1 の証拠として価値が高い。だから尤度比の大きい順に棄却域へ 詰め込むのが、限られた α\alpha の予算で検出力を最大化する最適な使い方——ちょうど、限られた重量で価値を 最大化する荷造りと同じ発想です。多くの実用検定(zz 検定・tt 検定・χ2\chi^2 検定)は、この尤度比検定の 具体形になっています。

この章のまとめ

  • 信頼区間は CLT から:Xˉn±1.96σ/n\bar X_n\pm1.96\,\sigma/\sqrt n がおよそ 95%95\% 区間。幅は 1/n1/\sqrt n でしか縮まない。 「区間が μ\mu を含む確率」でなく「手続きを繰り返せば 95%95\% の区間が含む」が正しい意味。
  • 仮説検定H0H_0 を仮定してデータの珍しさを測る。第一種の誤り=α=\alpha)と第二種=β=\beta)は トレードオフ。p値P(データ以上に極端H0)P(\text{データ以上に極端}\mid H_0) で、「H0H_0 が正しい確率」ではない。
  • ネイマン–ピアソン:単純仮説では尤度比検定が最強力。実用検定の理論的な芯。

信頼区間もp値も「母数は定数」という頻度論の立場でした。最後の章では立場を変え、母数そのものに確率を入れて 「データを見た後の θ\theta の確率」を語る——ベイズ統計へ進みます。