数学の作り方 How to make Mathematics

第2章 分布と独立性

前章で「確率論の主役は分布」と言いました。では分布そのものを、どう手に取って計算するのか。 そしてこの分野を測度論から分けている決定的な概念——独立性——を導入します。

分布を一本の関数で捉える:分布関数

分布 PXP_X は「R\mathbb{R} の集合 → 確率」という関数で、集合を相手にするので扱いにくい。 そこで、一点までの累積という一変数関数に情報を圧縮します。

定義 分布関数(累積分布関数 CDF)

確率変数 XX分布関数FX(x)=P(Xx)F_X(x)=P(X\le x) と定める。

FXF_X は「xx 以下に落ちる確率」。xx を左から右へ動かすと確率が溜まっていくので、FF単調増加(広義)、右連続、そして xx\to-\infty00x+x\to+\infty11。逆にこの三性質をもつ関数は 必ずある分布の分布関数になります。FF さえ決まれば分布は完全に決まる——集合を相手にする代わりに、 一本のグラフを見ればよいわけです。区間の確率も差で読めます:P(a<Xb)=F(b)F(a)P(a<X\le b)=F(b)-F(a)

分布には大きく二つの顔があります。

離散型XX が飛び飛びの値 x1,x2,x_1,x_2,\dots しか取らない。各値の確率 p(xk)=P(X=xk)p(x_k)=P(X=x_k)確率質量関数と呼び、FF は階段状に跳ね上がります(跳びの高さ=その点の確率)。 サイコロ、コインの表回数(二項分布)、稀な事象の回数(ポアソン分布)など。

連続型FF がなめらかに増え、ある関数 f0f\ge 0 を使って

F(x)=xf(t)dt,P(a<Xb)=abf(t)dtF(x)=\int_{-\infty}^{x} f(t)\,dt,\qquad P(a<X\le b)=\int_a^b f(t)\,dt

と書ける。この ff確率密度関数(PDF)と呼びます。密度は「確率そのもの」ではなく 確率の込み具合——微小区間 [x,x+dx][x,x+dx] の確率が f(x)dxf(x)\,dx。全体で f=1\int_{-\infty}^{\infty} f=1。 連続型では P(X=x)=0P(X=x)=0 なので、一点の確率は密度で語れないことに注意(第1章のつまずき)。

注意 測度の言葉ではひとつ

離散も連続も、測度論では同じ枠に収まります。分布 PXP_X を、離散なら「点に質量を置いた測度」、 連続なら「密度 ff に対するルベーグ測度の積分」と見るだけ。密度 ffラドン–ニコディム微分 f=dPXdλf=\dfrac{dP_X}{d\lambda} に他なりません。両者を統一的に扱えるのが、 測度論を土台にしたご利益です。混合型(一部が離散・一部が連続)も自然に入ります。

何度も戻る代表選手

具体的な計算のため、頻出の分布を顔なじみにしておきましょう。

  • ベルヌーイ Ber(p)\mathrm{Ber}(p)11(成功)を確率 pp001p1-p。あらゆる「はい/いいえ」の素。
  • 二項 Bin(n,p)\mathrm{Bin}(n,p):独立なベルヌーイ試行 nn 回の成功数。P(X=k)=(nk)pk(1p)nkP(X=k)=\binom{n}{k}p^k(1-p)^{n-k}
  • ポアソン Poi(λ)\mathrm{Poi}(\lambda)P(X=k)=eλλk/k!P(X=k)=e^{-\lambda}\lambda^k/k!。単位時間に稀に起こる事象の回数(放射線、来客)。
  • 一様 U[a,b]U[a,b]:密度 f=1baf=\dfrac{1}{b-a}(区間内で平ら)。「無作為に選ぶ」の標準形。
  • 指数 Exp(λ)\mathrm{Exp}(\lambda):密度 λeλx (x0)\lambda e^{-\lambda x}\ (x\ge0)。待ち時間。「無記憶性」をもつ。
  • 正規(ガウス) N(μ,σ2)N(\mu,\sigma^2):密度 12πσe(xμ)2/(2σ2)\dfrac{1}{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/(2\sigma^2)}。 釣鐘型。第6章で見るように、多くの偶然を足すと必ず現れる「万物の帰着先」。

確率論の宝:独立性

ここからが、確率論を測度論から分ける核心です。測度論には無い、確率だけの主役概念——独立性。

直感は「一方の情報が他方の確率を変えない」。コインを 22 枚投げる。11 枚目が表と分かっても、 22 枚目が表の確率は 1/21/2 のまま。互いに影響しない。これを数式にすると、驚くほど簡潔になります。

定義 独立性

事象 A,BA,B独立とは P(AB)=P(A)P(B)P(A\cap B)=P(A)\,P(B)
確率変数 X,YX,Y が独立とは、任意の(ボレル)集合 B1,B2B_1,B_2 について

P(XB1, YB2)=P(XB1)P(YB2).P(X\in B_1,\ Y\in B_2)=P(X\in B_1)\,P(Y\in B_2).

多数 X1,,XnX_1,\dots,X_n が独立とは、任意の組で同時確率が各確率の積に分解すること。

「独立 = 確率が積で決まる」。この一行が、この先すべての大定理(大数の法則・中心極限定理)の エンジンになります。分布関数・密度でも同じことで、独立なら同時分布が周辺分布の積FX,Y(x,y)=FX(x)FY(y)F_{X,Y}(x,y)=F_X(x)F_Y(y)、密度なら fX,Y(x,y)=fX(x)fY(y)f_{X,Y}(x,y)=f_X(x)f_Y(y)

なぜ「積」なのか。測度論の言葉では、独立とは同時分布が直積測度になること。 22 変数の同時分布が、それぞれの分布の「掛け算(直積)」で作られる——だからフビニの定理が使え、 22 重の期待値が積に分解します(次章で活躍)。独立性は「直積測度」の確率的な名前なのです。

注意 独立と排反はまるで別物(最頻出の混同)

「排反」AB=A\cap B=\varnothing(同時に起こらない)と「独立」P(AB)=P(A)P(B)P(A\cap B)=P(A)P(B) を混同しがち。むしろに近い: P(A),P(B)>0P(A),P(B)>0 の排反事象は、AA が起きたら BB は絶対起きない=強く依存していて、独立ではない。 「排反」は集合の話、「独立」は確率の積の話。別次元の概念だと肝に銘じる。

独立な和の分布:たたみ込み

独立性の最初のご褒美。独立な X,YX,YX+YX+Y の分布が、きれいな公式で書けます。

X+YzX+Y\le z になるのは、平面 (x,y)(x,y)x+yzx+y\le z の領域。独立だから同時密度は fX(x)fY(y)f_X(x)f_Y(y)。 これを領域で積分して zz で微分すると、和の密度は

定理 たたみ込み(畳み込み)

独立な連続型 X,YX,Y の和 Z=X+YZ=X+Y の密度は

fZ(z)=fX(x)fY(zx)dx  =  (fXfY)(z).f_Z(z)=\int_{-\infty}^{\infty} f_X(x)\,f_Y(z-x)\,dx \;=\;(f_X * f_Y)(z).

離散型なら和 P(Z=z)=xP(X=x)P(Y=zx)P(Z=z)=\sum_x P(X=x)\,P(Y=z-x)

「和の分布 = 密度のたたみ込み」。フーリエ解析で「たたみ込みは変換すると積になる」と学びました。 だから確率変数の和は、うまい変換を通すと積になるはず——この着想が第6章の特性関数(分布のフーリエ変換)へ まっすぐ繋がり、中心極限定理の証明を動かします。今は「独立な和はたたみ込み、変換で積になりそう」と覚えておけば十分です。

具体例:独立な Poi(λ)\mathrm{Poi}(\lambda)Poi(μ)\mathrm{Poi}(\mu) の和は Poi(λ+μ)\mathrm{Poi}(\lambda+\mu)。 独立な正規 N(μ1,σ12)N(\mu_1,\sigma_1^2)N(μ2,σ22)N(\mu_2,\sigma_2^2) の和は N(μ1+μ2, σ12+σ22)N(\mu_1+\mu_2,\ \sigma_1^2+\sigma_2^2)。 正規は足しても正規のまま(自己再生性)——これも後で効きます。

この章のまとめ

  • 分布は分布関数 F(x)=P(Xx)F(x)=P(X\le x)で一本化できる(単調・右連続・端で 0,10,1)。 離散は確率質量、連続は密度F=fF=\int f)。測度論では両者は同じ枠で、密度=ラドン–ニコディム微分。
  • 独立 = 確率が積で決まるP(AB)=P(A)P(B)P(A\cap B)=P(A)P(B))。同時分布が周辺分布の直積測度。 「排反」とは別物——むしろ排反は強い依存。
  • 独立な和の分布はたたみ込み fXfYf_X*f_Y。「変換すれば積になる」予感が、特性関数と CLT への伏線。

次章では、分布から一つの代表値と散らばりを取り出す——期待値と分散、そしてそれらを縛る基本不等式へ進みます。