第11章 仮説検定と区間推定
前章で p^=0.58 と点で推定しました。でも 100 回投げただけ。「0.58 です」と言い切るのは危うい。
本当に知りたいのは「p はどのくらいの範囲にありそうか」、そして「p=0.5(公平)という仮説は棄てるべきか」。
ここで中心極限定理が実務の道具に変わります。推定の誤差を区間で表し、仮説を白黒つける——統計学が
一番よく使われる場面です。
信頼区間:誤差を区間で表す
CLT(第6章)は、標本平均 Xˉn が母平均 μ を中心に、標準偏差 σ/n の正規分布で
ばらつくと言いました。これを逆に読むと、μ を囲い込む区間が作れます。
Zn=σ/nXˉn−μ≈N(0,1) なので、標準正規が 95% の確率で入る範囲
[−1.96,1.96] を使えば、P(−1.96≤σ/nXˉn−μ≤1.96)≈0.95。
μ について解くと:
定義 信頼区間(母平均、大標本)
[ Xˉn−1.96nσ, Xˉn+1.96nσ ]はおよそ95% 信頼区間。σ が未知なら標本標準偏差 s(第10章)で置き換える(大標本で正当化。
小標本・正規母集団では t 分布を使う)。
区間の幅は 2×1.96σ/n——精度は 1/n でしか上がらない。誤差を半分にするには
データを 4 倍。CLT の n 則が、そのまま「必要な標本数」を決めます。コインの例(p^=0.58, n=100、
σ=p(1−p)≈0.5)なら幅は ±1.96×0.05≈±0.098、区間は約 [0.48,0.68]。
0.5 を含む——「公平」を否定しきれません。
注意 信頼区間の意味(最頻出の誤解)
「この区間に μ が 95% の確率で入る」は厳密には誤り(頻度論では μ は定数、確率変数ではない)。正しくは
「同じ手続きで区間を作る操作を繰り返せば、そのうち約 95% の区間が真の μ を含む」。ランダムなのは区間の方。
μ に確率を付けたいなら、母数を確率変数と見るベイズ統計(次章)へ行く必要がある。
仮説検定:仮説を白黒つける
「p=0.5 か否か」に判定を下す枠組みが仮説検定。裁判に似た論法を使います。まず
帰無仮説 H0(「差はない」「効果はない」など、否定したい保守的な仮説。例:p=0.5)を立て、
**「H0 が正しいと仮定したら、観測データはどれほど珍しいか」**を測る。珍しすぎれば H0 を棄てる。
定義 検定の枠組み
H0 vs 対立仮説 H1。データから検定統計量を計算し、H0 のもとでそれが落ちる確率分布(帰無分布)を求める。
統計量が「H0 では起こりにくい領域(棄却域)」に入れば H0 を棄却する。棄却域の大きさを
有意水準 α(例 5%)で決める。
コインの例。H0:p=0.5 のもとで Xˉn≈N(0.5, 0.25/n)。観測 p^=0.58 を標準化すると
z=0.5/1000.58−0.5=0.050.08=1.6。両側 5% の棄却域は ∣z∣>1.96。1.6<1.96 なので
棄却できない(信頼区間が 0.5 を含んだことと整合)。もし n=400 で同じ p^=0.58 なら z=3.2 で棄却。
同じズレでも、データが多いほど「偶然では説明しにくい」——ここでも n が効いています。
判定には二種類の間違いが必ず伴います。
定義 二種類の誤りと検出力
- 第一種の誤り(偽陽性):H0 が正しいのに棄却する。確率 =α(有意水準)。
- 第二種の誤り(偽陰性):H1 が正しいのに棄却しない。確率 =β。
- 検出力:1−β(H1 が正しいとき正しく棄却する確率)。
α を小さくする(棄却しにくくする)と β が増える——トレードオフです。裁判の「疑わしきは罰せず」は
α(無実を有罪にする誤り)を特に小さく抑える思想。両方同時には下げられないので、α を固定して
β を最小化(検出力を最大化)するのが定石。それを実現する検定を、次の補題が構成します。
p値の正しい意味
実務では棄却域よりp値で報告します。
定義 p値
p値とは「H0 が正しいと仮定したとき、実際に観測された統計量以上に極端な値が出る確率」。
p<α なら H0 を棄却する。
上のコイン(z=1.6)なら p値 =P(∣Z∣≥1.6)≈0.11。0.11>0.05 なので棄却しない。
p値は「データが H0 とどれだけ折り合わないか」の目盛りです。ただし誤解が非常に多い概念です。
注意 p値は「H₀ が正しい確率」ではない
p値 =0.11 は「H0 が正しい確率が 11%」では断じてない。p値は「H0 を仮定した上での、データの珍しさ」。
P(データ∣H0) 型であって P(H0∣データ) ではない(両者を入れ替える誤りは第12章のベイズで正される)。
また「p≥α」は「H0 が正しい」ことの証明ではなく、単に「棄てるだけの証拠がない」。有意でも効果が
大きいとは限らない(n を増やせば些細な差でも有意になる)——p値と効果量は別物。
最強の検定:ネイマン–ピアソンの補題
有意水準 α を守る検定は無数にあります。そのうち検出力が最大なものは何か。単純仮説どうし
(H0:θ=θ0 vs H1:θ=θ1)なら、答えは尤度比という一つの量で完全に決まります。
定理 ネイマン–ピアソンの補題
H0:θ0 vs H1:θ1 の検定で、水準 α を満たすもののうち検出力を最大にするのは、
尤度比が大きいところを棄却する検定:
Λ(x)=L(θ0)L(θ1)=∏f(xi;θ0)∏f(xi;θ1)>cで棄却する(c は水準 α に合わせて決める)。この検定が最強力(most powerful)。
心は直感的です。棄却域に入れる x を選ぶとき、「H1 のもとで起こりやすく(L(θ1) 大)、H0 のもとで
起こりにくい(L(θ0) 小)」点ほど、H1 の証拠として価値が高い。だから尤度比の大きい順に棄却域へ
詰め込むのが、限られた α の予算で検出力を最大化する最適な使い方——ちょうど、限られた重量で価値を
最大化する荷造りと同じ発想です。多くの実用検定(z 検定・t 検定・χ2 検定)は、この尤度比検定の
具体形になっています。
この章のまとめ
- 信頼区間は CLT から:Xˉn±1.96σ/n がおよそ 95% 区間。幅は 1/n でしか縮まない。
「区間が μ を含む確率」でなく「手続きを繰り返せば 95% の区間が含む」が正しい意味。
- 仮説検定は H0 を仮定してデータの珍しさを測る。第一種の誤り(=α)と第二種(=β)は
トレードオフ。p値は P(データ以上に極端∣H0) で、「H0 が正しい確率」ではない。
- ネイマン–ピアソン:単純仮説では尤度比検定が最強力。実用検定の理論的な芯。
信頼区間もp値も「母数は定数」という頻度論の立場でした。最後の章では立場を変え、母数そのものに確率を入れて
「データを見た後の θ の確率」を語る——ベイズ統計へ進みます。