正規分布は、左右対称の釣り鐘型をした分布である。身長や測定誤差などのばらつきを表す際によく使われる。中心の位置を「平均」、広がりを「分散」という二つの数値で表せるため、何を推定しているかを整理しやすい。また、個々の観測値が正規分布に従わなくても、多数の観測値の平均は正規分布で近似できることがある。これを支えるのが、本章で説明する中心極限定理である。
本章では、まず個体差の大きさを知っている場合に、母平均をどう推定するかを学ぶ。次に、母平均も個体差の大きさも未知の場合へ進み、次の1個の観測値を予測する。その後、事前情報を使う推定がどのような場面で役立つかを比較し、最後に、正規分布に似ていないデータでも使える結論と、使えない結論を分けて考える。
本ノートは、提供された第5章の節構成・主要な議論・数式を残し、その間に導出と具体例を補ったものである。本文の
R コードは NumPy・SciPy
に置き換えた。本章の共役モデルでは事後分布が解析的に求まるため、MCMCを使わずに厳密計算と独立な乱数生成ができる。原文と付属データ・コードの不一致、および数式の解釈上必要な条件は該当箇所に記す。
5.2 分散がわかっている場合の平均の推定
まず、個体差の大きさを表す分散 σ 2 \sigma^2 σ 2
はわかっており、母平均 θ \theta θ
だけが未知だとする。各観測は、同じ平均と分散を持つ正規分布から、互いに独立に得られるものと考える。これを次のように書く。
{ Y ( 1 ) , … , Y ( n ) ∣ θ , σ 2 } ∼ i.i.d. normal ( θ , σ 2 ) \{Y^{(1)},\ldots,Y^{(n)}\mid\theta,\sigma^2\}\sim\text{i.i.d. }\operatorname{normal}(\theta,\sigma^2) { Y ( 1 ) , … , Y ( n ) ∣ θ , σ 2 } ∼ i.i.d. normal ( θ , σ 2 )
ここで i.i.d.
は「独立で、同じ分布に従う」という意味である。独立な観測の密度は掛け合わせられるため、全データの同時密度は次のようになる。観測値を固定し、未知の
θ \theta θ によってこの値がどう変わるかを見るとき、同じ式を
尤度 と呼ぶ。
p ( y ( 1 ) , … , y ( n ) ∣ θ , σ 2 ) = ∏ i = 1 n p ( y ( i ) ∣ θ , σ 2 ) = ∏ i = 1 n 1 2 π σ 2 exp { − 1 2 ( y ( i ) − θ σ ) 2 } = ( 2 π σ 2 ) − n / 2 exp { − 1 2 ∑ i = 1 n ( y ( i ) − θ σ ) 2 } . \begin{aligned}
p(y^{(1)},\ldots,y^{(n)}\mid\theta,\sigma^2)
&=\prod_{i=1}^n p(y^{(i)}\mid\theta,\sigma^2)\\
&=\prod_{i=1}^n\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left\{-\frac12\left(\frac{y^{(i)}-\theta}{\sigma}\right)^2\right\}\\
&=(2\pi\sigma^2)^{-n/2}
\exp\left\{-\frac12\sum_{i=1}^n\left(\frac{y^{(i)}-\theta}{\sigma}\right)^2\right\}.
\end{aligned} p ( y ( 1 ) , … , y ( n ) ∣ θ , σ 2 ) = i = 1 ∏ n p ( y ( i ) ∣ θ , σ 2 ) = i = 1 ∏ n 2 π σ 2 1 exp { − 2 1 ( σ y ( i ) − θ ) 2 } = ( 2 π σ 2 ) − n /2 exp { − 2 1 i = 1 ∑ n ( σ y ( i ) − θ ) 2 } .
指数の中にある二次の項を展開すると、 p ( y ( 1 ) , … , y ( n ) ∣ θ , σ 2 ) p(y^{(1)},\ldots,y^{(n)}\mid\theta,\sigma^2) p ( y ( 1 ) , … , y ( n ) ∣ θ , σ 2 ) が
y ( 1 ) , … , y ( n ) y^{(1)},\ldots,y^{(n)} y ( 1 ) , … , y ( n )
にどう依存しているかが、以下のようにしてわかる。
∑ i = 1 n ( y ( i ) − θ σ ) 2 = 1 σ 2 ∑ i ( y ( i ) ) 2 − 2 θ σ 2 ∑ i y ( i ) + n θ 2 σ 2 . \sum_{i=1}^n\left(\frac{y^{(i)}-\theta}{\sigma}\right)^2
=\frac{1}{\sigma^2}\sum_i (y^{(i)})^2
-2\frac{\theta}{\sigma^2}\sum_i y^{(i)}
+n\frac{\theta^2}{\sigma^2}. i = 1 ∑ n ( σ y ( i ) − θ ) 2 = σ 2 1 i ∑ ( y ( i ) ) 2 − 2 σ 2 θ i ∑ y ( i ) + n σ 2 θ 2 .
これより、 { ∑ ( y ( i ) ) 2 , ∑ y ( i ) } \{\sum (y^{(i)})^2,\sum y^{(i)}\} { ∑ ( y ( i ) ) 2 , ∑ y ( i ) }
が二次元の十分統計量になることが示される。これらの値を知ることは、
y ˉ = ∑ y ( i ) n , s 2 = ∑ ( y ( i ) − y ˉ ) 2 n − 1 \bar y=\frac{\sum y^{(i)}}{n},
\qquad
s^2=\frac{\sum (y^{(i)}-\bar y)^2}{n-1} y ˉ = n ∑ y ( i ) , s 2 = n − 1 ∑ ( y ( i ) − y ˉ ) 2
の値を知ることと同値であるので、 { y ˉ , s 2 } \{\bar y,s^2\} { y ˉ , s 2 }
もまた十分統計量である。
十分統計量を三つの数値で確かめる
架空の観測値を ( y ( 1 ) , y ( 2 ) , y ( 3 ) ) = ( 2 , 4 , 6 ) (y^{(1)},y^{(2)},y^{(3)})=(2,4,6) ( y ( 1 ) , y ( 2 ) , y ( 3 ) ) = ( 2 , 4 , 6 ) とすると、 n = 3 n=3 n = 3
、 y ˉ = 4 \bar y=4 y ˉ = 4 、 s 2 = ( 4 + 0 + 4 ) / 2 = 4 s^2=(4+0+4)/2=4 s 2 = ( 4 + 0 + 4 ) /2 = 4 である。一方、
∑ i y ( i ) = 12 \sum_i y^{(i)}=12 ∑ i y ( i ) = 12 、 ∑ i ( y ( i ) ) 2 = 56 \sum_i (y^{(i)})^2=56 ∑ i ( y ( i ) ) 2 = 56 である。一般に、
n n n が既知ならば、
∑ i y ( i ) = n y ˉ , ∑ i ( y ( i ) ) 2 = ( n − 1 ) s 2 + n y ˉ 2 \sum_i y^{(i)}=n\bar y,\qquad
\sum_i (y^{(i)})^2=(n-1)s^2+n\bar y^2 i ∑ y ( i ) = n y ˉ , i ∑ ( y ( i ) ) 2 = ( n − 1 ) s 2 + n y ˉ 2
だから、この例でも 2 × 4 + 3 × 16 = 56 2\times4+3\times16=56 2 × 4 + 3 × 16 = 56
と復元できる。「十分」とは、仮定した正規モデルのパラメータを推定するうえで、元のデータが持つ情報をこの要約に集められるという意味である。外れ値や多峰性を調べるために元データが不要になる、という意味ではない。
さらに便利なのが次の分解である。
∑ i ( y ( i ) − θ ) 2 = ∑ i { ( y ( i ) − y ˉ ) + ( y ˉ − θ ) } 2 = ∑ i ( y ( i ) − y ˉ ) 2 + n ( y ˉ − θ ) 2 = ( n − 1 ) s 2 + n ( y ˉ − θ ) 2 . \begin{aligned}
\sum_i(y^{(i)}-\theta)^2
&=\sum_i\{(y^{(i)}-\bar y)+(\bar y-\theta)\}^2\\
&=\sum_i(y^{(i)}-\bar y)^2+n(\bar y-\theta)^2\\
&=(n-1)s^2+n(\bar y-\theta)^2.
\end{aligned} i ∑ ( y ( i ) − θ ) 2 = i ∑ {( y ( i ) − y ˉ ) + ( y ˉ − θ ) } 2 = i ∑ ( y ( i ) − y ˉ ) 2 + n ( y ˉ − θ ) 2 = ( n − 1 ) s 2 + n ( y ˉ − θ ) 2 .
交差項は ∑ i ( y ( i ) − y ˉ ) = 0 \sum_i(y^{(i)}-\bar y)=0 ∑ i ( y ( i ) − y ˉ ) = 0 なので消える。たとえば
θ = 5 \theta=5 θ = 5 なら、左辺は 9 + 1 + 1 = 11 9+1+1=11 9 + 1 + 1 = 11 、右辺も
8 + 3 = 11 8+3=11 8 + 3 = 11 である。 σ 2 \sigma^2 σ 2 を既知とすれば第1項は
θ \theta θ に依存しないため、平均の推定には
y ˉ \bar y y ˉ だけがあればよい。一方、分散も推定するときには
s 2 s^2 s 2 が必要となる。
本ノートでは normal ( μ , v ) \operatorname{normal}(\mu,v) normal ( μ , v ) を平均 μ \mu μ ・分散
v v v の分布と書く。一方、密度を数値評価する
normalPDF ( x , μ , s ) \operatorname{normalPDF}(x,\mu,s) normalPDF ( x , μ , s ) の第3引数は標準偏差であり、Pythonの
norm.pdf(x, loc=mu, scale=s)
に対応する。分布の記法と関数の引数の約束を区別する。
ここでは σ 2 \sigma^2 σ 2 を固定して、 θ \theta θ
の事前分布をデータで更新する。ベイズの公式より、事後分布は「事前分布 ×
尤度」に比例する。任意の事前分布 p ( θ ∣ σ 2 ) p(\theta\mid\sigma^2) p ( θ ∣ σ 2 )
について、次の式が成り立つ。
p ( θ ∣ y ( 1 ) , … , y ( n ) , σ 2 ) ∝ p ( θ ∣ σ 2 ) × e − 1 2 σ 2 ∑ ( y ( i ) − θ ) 2 ∝ p ( θ ∣ σ 2 ) × e c 1 ( θ − c 2 ) 2 . \begin{aligned}
p(\theta\mid y^{(1)},\ldots,y^{(n)},\sigma^2)
&\propto p(\theta\mid\sigma^2)
\times e^{-\frac{1}{2\sigma^2}\sum (y^{(i)}-\theta)^2}\\
&\propto p(\theta\mid\sigma^2)\times e^{c_1(\theta-c_2)^2}.
\end{aligned} p ( θ ∣ y ( 1 ) , … , y ( n ) , σ 2 ) ∝ p ( θ ∣ σ 2 ) × e − 2 σ 2 1 ∑ ( y ( i ) − θ ) 2 ∝ p ( θ ∣ σ 2 ) × e c 1 ( θ − c 2 ) 2 .
事前分布のクラスが共役であるとは、事後分布が同じクラスに属することであった。上の尤度の形を見ると、指数部が
c 1 ( θ − c 2 ) 2 c_1(\theta-c_2)^2 c 1 ( θ − c 2 ) 2
という二次式の事前密度を選べば、掛け合わせた後も同じ形を保てる。ここでは
c 1 = − n / ( 2 σ 2 ) < 0 c_1=-n/(2\sigma^2)<0 c 1 = − n / ( 2 σ 2 ) < 0 、 c 2 = y ˉ c_2=\bar y c 2 = y ˉ である。そのような
R \mathbb{R} R
上の確率分布のクラスで最も単純なものは正規分布族である。つまり、
p ( θ ∣ σ 2 ) p(\theta\mid\sigma^2) p ( θ ∣ σ 2 ) が正規分布で、かつ Y ( 1 ) , … , Y ( n ) Y^{(1)},\ldots,Y^{(n)} Y ( 1 ) , … , Y ( n )
が独立に同一の normal ( θ , σ 2 ) \operatorname{normal}(\theta,\sigma^2) normal ( θ , σ 2 ) に従うならば、 p ( θ ∣ y ( 1 ) , … , y ( n ) , σ 2 ) p(\theta\mid y^{(1)},\ldots,y^{(n)},\sigma^2) p ( θ ∣ y ( 1 ) , … , y ( n ) , σ 2 )
もまた正規分布になる。この主張を確かめよう。 θ ∼ normal ( μ 0 , τ 0 2 ) \theta\sim\operatorname{normal}(\mu_0,\tau_0^2) θ ∼ normal ( μ 0 , τ 0 2 )
のとき、
p ( θ ∣ y ( 1 ) , … , y ( n ) , σ 2 ) = p ( θ ∣ σ 2 ) p ( y ( 1 ) , … , y ( n ) ∣ θ , σ 2 ) p ( y ( 1 ) , … , y ( n ) ∣ σ 2 ) ∝ p ( θ ∣ σ 2 ) p ( y ( 1 ) , … , y ( n ) ∣ θ , σ 2 ) ∝ exp { − 1 2 τ 0 2 ( θ − μ 0 ) 2 } exp { − 1 2 σ 2 ∑ ( y ( i ) − θ ) 2 } . \begin{aligned}
p(\theta\mid y^{(1)},\ldots,y^{(n)},\sigma^2)
&=\frac{p(\theta\mid\sigma^2)p(y^{(1)},\ldots,y^{(n)}\mid\theta,\sigma^2)}{p(y^{(1)},\ldots,y^{(n)}\mid\sigma^2)}\\
&\propto p(\theta\mid\sigma^2)p(y^{(1)},\ldots,y^{(n)}\mid\theta,\sigma^2)\\
&\propto
\exp\left\{-\frac{1}{2\tau_0^2}(\theta-\mu_0)^2\right\}
\exp\left\{-\frac{1}{2\sigma^2}\sum(y^{(i)}-\theta)^2\right\}.
\end{aligned} p ( θ ∣ y ( 1 ) , … , y ( n ) , σ 2 ) = p ( y ( 1 ) , … , y ( n ) ∣ σ 2 ) p ( θ ∣ σ 2 ) p ( y ( 1 ) , … , y ( n ) ∣ θ , σ 2 ) ∝ p ( θ ∣ σ 2 ) p ( y ( 1 ) , … , y ( n ) ∣ θ , σ 2 ) ∝ exp { − 2 τ 0 2 1 ( θ − μ 0 ) 2 } exp { − 2 σ 2 1 ∑ ( y ( i ) − θ ) 2 } .
二つの指数関数の積は、指数の中身を足した一つの指数関数にまとめられる。そこで、共通の係数
− 1 / 2 -1/2 − 1/2 の内側だけを取り出し、 θ 2 \theta^2 θ 2 の項、
θ \theta θ の項、残りの定数に整理する。
1 τ 0 2 ( θ 2 − 2 θ μ 0 + μ 0 2 ) + 1 σ 2 ( ∑ ( y ( i ) ) 2 − 2 θ ∑ y ( i ) + n θ 2 ) = a θ 2 − 2 b θ + c , \frac{1}{\tau_0^2}(\theta^2-2\theta\mu_0+\mu_0^2)
+\frac{1}{\sigma^2}\left(\sum (y^{(i)})^2-2\theta\sum y^{(i)}+n\theta^2\right)
=a\theta^2-2b\theta+c, τ 0 2 1 ( θ 2 − 2 θ μ 0 + μ 0 2 ) + σ 2 1 ( ∑ ( y ( i ) ) 2 − 2 θ ∑ y ( i ) + n θ 2 ) = a θ 2 − 2 b θ + c ,
ここで、
a = 1 τ 0 2 + n σ 2 , b = μ 0 τ 0 2 + ∑ y ( i ) σ 2 , c = c ( μ 0 , τ 0 2 , σ 2 , y ( 1 ) , … , y ( n ) ) . a=\frac{1}{\tau_0^2}+\frac{n}{\sigma^2},
\qquad
b=\frac{\mu_0}{\tau_0^2}+\frac{\sum y^{(i)}}{\sigma^2},
\qquad
c=c(\mu_0,\tau_0^2,\sigma^2,y^{(1)},\ldots,y^{(n)}). a = τ 0 2 1 + σ 2 n , b = τ 0 2 μ 0 + σ 2 ∑ y ( i ) , c = c ( μ 0 , τ 0 2 , σ 2 , y ( 1 ) , … , y ( n ) ) .
ここで c c c は θ \theta θ
を変えても変わらない部分をまとめた定数である。事後密度を
θ \theta θ
の関数として比べるときには、この部分を比例定数にまとめられる。次に、
a θ 2 − 2 b θ = a ( θ − b / a ) 2 − b 2 / a a\theta^2-2b\theta=a(\theta-b/a)^2-b^2/a a θ 2 − 2 b θ = a ( θ − b / a ) 2 − b 2 / a と平方完成し、正規密度の形に直す。
p ( θ ∣ σ 2 , y ( 1 ) , … , y ( n ) ) ∝ exp { − 1 2 ( a θ 2 − 2 b θ ) } = exp { − 1 2 a ( θ 2 − 2 b θ / a + b 2 / a 2 ) + 1 2 b 2 / a } ∝ exp { − 1 2 a ( θ − b / a ) 2 } = exp { − 1 2 ( θ − b / a 1 / a ) 2 } . \begin{aligned}
p(\theta\mid\sigma^2,y^{(1)},\ldots,y^{(n)})
&\propto \exp\left\{-\frac12(a\theta^2-2b\theta)\right\}\\
&=\exp\left\{-\frac12a(\theta^2-2b\theta/a+b^2/a^2)+\frac12b^2/a\right\}\\
&\propto \exp\left\{-\frac12a(\theta-b/a)^2\right\}\\
&=\exp\left\{-\frac12\left(\frac{\theta-b/a}{1/\sqrt a}\right)^2\right\}.
\end{aligned} p ( θ ∣ σ 2 , y ( 1 ) , … , y ( n ) ) ∝ exp { − 2 1 ( a θ 2 − 2 b θ ) } = exp { − 2 1 a ( θ 2 − 2 b θ / a + b 2 / a 2 ) + 2 1 b 2 / a } ∝ exp { − 2 1 a ( θ − b / a ) 2 } = exp { − 2 1 ( 1/ a θ − b / a ) 2 } .
この関数の形はまさに正規分布の密度と同じであり、 1 / a 1/\sqrt a 1/ a
は標準偏差、 b / a b/a b / a
は平均の役割を果たしている。確率分布はその形状によって決まるので、
p ( θ ∣ σ 2 , y ( 1 ) , … , y ( n ) ) p(\theta\mid\sigma^2,y^{(1)},\ldots,y^{(n)}) p ( θ ∣ σ 2 , y ( 1 ) , … , y ( n ) )
は確かに正規分布の密度である。この分布の平均と分散をそれぞれ
μ n \mu_n μ n と τ n 2 \tau_n^2 τ n 2
で表す。具体的には、以下のようにおく。
τ n 2 = 1 a = 1 1 / τ 0 2 + n / σ 2 , μ n = b a = ( 1 / τ 0 2 ) μ 0 + ( n / σ 2 ) y ˉ 1 / τ 0 2 + n / σ 2 . \tau_n^2=\frac{1}{a}=\frac{1}{1/\tau_0^2+n/\sigma^2},
\qquad
\mu_n=\frac{b}{a}
=\frac{(1/\tau_0^2)\mu_0+(n/\sigma^2)\bar y}{1/\tau_0^2+n/\sigma^2}. τ n 2 = a 1 = 1/ τ 0 2 + n / σ 2 1 , μ n = a b = 1/ τ 0 2 + n / σ 2 ( 1/ τ 0 2 ) μ 0 + ( n / σ 2 ) y ˉ .
平方完成を数字で追う
先ほどの架空データ ∣ y ⟩ = ( 2 , 4 , 6 ) T \ket{y}=(2,4,6)^{\mathsf{T}} ∣ y ⟩ = ( 2 , 4 , 6 ) T に対し、個々の測定の分散を
σ 2 = 4 \sigma^2=4 σ 2 = 4 とし、母平均の事前分布を θ ∼ normal ( 2 , 4 ) \theta\sim\operatorname{normal}(2,4) θ ∼ normal ( 2 , 4 )
とする。すると、
a = 1 4 + 3 4 = 1 , b = 2 4 + 12 4 = 3.5. a=\frac14+\frac34=1,\qquad
b=\frac24+\frac{12}{4}=3.5. a = 4 1 + 4 3 = 1 , b = 4 2 + 4 12 = 3.5.
したがって、 θ \theta θ に依存する二次式は
a θ 2 − 2 b θ = θ 2 − 7 θ = ( θ − 3.5 ) 2 − 12.25 a\theta^2-2b\theta=\theta^2-7\theta
=(\theta-3.5)^2-12.25 a θ 2 − 2 b θ = θ 2 − 7 θ = ( θ − 3.5 ) 2 − 12.25
となる。最後の − 12.25 -12.25 − 12.25 はどの θ \theta θ
にも共通なので、事後分布を面積1に正規化すると吸収される。残る形は平均3.5、分散1の正規密度である。
θ ∣ ∣ y ⟩ , σ 2 = 4 ∼ normal ( 3.5 , 1 ) . \theta\mid\ket{y},\sigma^2=4\sim\operatorname{normal}(3.5,1). θ ∣ ∣ y ⟩ , σ 2 = 4 ∼ normal ( 3.5 , 1 ) .
共通係数 − 1 / 2 -1/2 − 1/2
は、二次式を整理した後に戻している。これを密度から消してしまうと、分布の形が変わってしまう。また、
σ 2 \sigma^2 σ 2 も推定する場合には、 σ 2 \sigma^2 σ 2
に依存する係数を定数扱いして落としてはいけない。
情報の統合
事後分布の式は、「どちらの情報を、どれだけ重く見るか」という形で読むと理解しやすい。まず分散から考える。分散が小さい分布ほど、候補となる値が狭い範囲に集まっている。その逆数を
精度(precision)
と呼ぶ。精度が大きいほど、値を絞り込めているということである。
本章で使う精度の記号をまとめる。チルダ付きの記号は、二乗が付いていても分散ではなく、その逆数を表す。
σ ~ 2 = 1 / σ 2 :1観測の精度 , τ ~ 0 2 = 1 / τ 0 2 :母平均の事前精度 , τ ~ n 2 = 1 / τ n 2 :母平均の事後精度 . \begin{aligned}
\tilde\sigma^2&=1/\sigma^2 &&\text{:1観測の精度},\\
\tilde\tau_0^2&=1/\tau_0^2 &&\text{:母平均の事前精度},\\
\tilde\tau_n^2&=1/\tau_n^2 &&\text{:母平均の事後精度}.
\end{aligned} σ ~ 2 τ ~ 0 2 τ ~ n 2 = 1/ σ 2 = 1/ τ 0 2 = 1/ τ n 2 : 1 観測の精度 , :母平均の事前精度 , :母平均の事後精度 .
1観測の分散は σ 2 \sigma^2 σ 2 だが、独立な n n n
個の平均の分散は σ 2 / n \sigma^2/n σ 2 / n
である。したがって、データ全体が母平均について持つ精度は
n / σ 2 n/\sigma^2 n / σ 2 となる。先ほどの事後分散の式を逆数にすると、
1 τ n 2 ⏟ 事後の精度 = 1 τ 0 2 ⏟ 事前の精度 + n σ 2 ⏟ データ全体の精度 . (5.1) \underbrace{\frac{1}{\tau_n^2}}_{\text{事後の精度}}
=\underbrace{\frac{1}{\tau_0^2}}_{\text{事前の精度}}
+\underbrace{\frac{n}{\sigma^2}}_{\text{データ全体の精度}}. \tag{5.1} 事後の精度 τ n 2 1 = 事前の精度 τ 0 2 1 + データ全体の精度 σ 2 n . ( 5.1 )
つまり、式 (5.1)
は「事前の情報に、データの情報を足す」と読める。チルダ付きの記号なら
τ ~ n 2 = τ ~ 0 2 + n σ ~ 2 \tilde\tau_n^2=\tilde\tau_0^2+n\tilde\sigma^2 τ ~ n 2 = τ ~ 0 2 + n σ ~ 2
である。この加法性は、ここで扱う分散既知の正規モデルで得られる性質である。
一方、事後平均は次のようになる。
μ n = 1 / τ 0 2 1 / τ 0 2 + n / σ 2 μ 0 + n / σ 2 1 / τ 0 2 + n / σ 2 y ˉ = τ ~ 0 2 τ ~ 0 2 + n σ ~ 2 μ 0 + n σ ~ 2 τ ~ 0 2 + n σ ~ 2 y ˉ . \begin{aligned}
\mu_n
&=\frac{1/\tau_0^2}{1/\tau_0^2+n/\sigma^2}\mu_0
+\frac{n/\sigma^2}{1/\tau_0^2+n/\sigma^2}\bar y \\
&=\frac{\tilde\tau_0^2}{\tilde\tau_0^2+n \tilde\sigma^2}\mu_0
+\frac{n \tilde\sigma^2}{\tilde\tau_0^2+n \tilde\sigma^2}\bar y.
\end{aligned} μ n = 1/ τ 0 2 + n / σ 2 1/ τ 0 2 μ 0 + 1/ τ 0 2 + n / σ 2 n / σ 2 y ˉ = τ ~ 0 2 + n σ ~ 2 τ ~ 0 2 μ 0 + τ ~ 0 2 + n σ ~ 2 n σ ~ 2 y ˉ .
二つの重みの和は1である。したがって、事後平均は事前平均と標本平均の間に入り、精度の高い方へ近づく。データが少なければ事前情報の影響が残り、データが増えれば標本平均の影響が強くなる。
さらに、事前情報の強さを「観測 κ 0 \kappa_0 κ 0
個分」と表したいなら、 τ 0 2 = σ 2 / κ 0 \tau_0^2=\sigma^2/\kappa_0 τ 0 2 = σ 2 / κ 0 とおく。このとき、共通の
1 / σ 2 1/\sigma^2 1/ σ 2 が約分され、
μ n = κ 0 κ 0 + n μ 0 + n κ 0 + n y ˉ \mu_n=\frac{\kappa_0}{\kappa_0+n}\mu_0+\frac{n}{\kappa_0+n}\bar y μ n = κ 0 + n κ 0 μ 0 + κ 0 + n n y ˉ
となる。こちらは、事前平均を κ 0 \kappa_0 κ 0 個分、標本平均を
n n n 個分として混ぜる式である。
精度による重みを数値で読む
上の例では事前精度が 1 / 4 1/4 1/4 、データ全体の精度が
3 / 4 3/4 3/4 なので、事前とデータの重みは 1 : 3 1:3 1 : 3
である。したがって、事後平均は
μ n = 1 4 × 2 + 3 4 × 4 = 3.5 \mu_n=\frac14\times2+\frac34\times4=3.5 μ n = 4 1 × 2 + 4 3 × 4 = 3.5
となる。事後分散は 1 / ( 1 / 4 + 3 / 4 ) = 1 1/(1/4+3/4)=1 1/ ( 1/4 + 3/4 ) = 1
であり、事前分散4より小さい。各観測が平均についての手がかりを追加するため、精度は足し算になる。
κ 0 = σ 2 / τ 0 2 \kappa_0=\sigma^2/\tau_0^2 κ 0 = σ 2 / τ 0 2
は、事前情報を「観測何個分に相当するか」で表す量である。この例では
κ 0 = 1 \kappa_0=1 κ 0 = 1
であり、事前平均2を1個分、観測平均4を3個分として合わせている。ただし、
κ 0 \kappa_0 κ 0
は正の実数でもよく、実在する過去の観測数とは限らない。また、今回使うデータを事前分布の作成にも使うと、同じ情報を二重に数えることになる。
予測
( Y ( 1 ) = y ( 1 ) , … , Y ( n ) = y ( n ) ) (Y^{(1)}=y^{(1)},\ldots,Y^{(n)}=y^{(n)}) ( Y ( 1 ) = y ( 1 ) , … , Y ( n ) = y ( n ) ) を観測した後に、母集団から新たに得られる観測値
Y ~ \tilde Y Y ~
を予測することを考える。予測分布を見つけるにあたり、次の事実を用いる。
{ Y ~ ∣ θ , σ 2 } ∼ normal ( θ , σ 2 ) ⟺ Y ~ = θ + ϵ ~ , { ϵ ~ ∣ θ , σ 2 } ∼ normal ( 0 , σ 2 ) . \{\tilde Y\mid\theta,\sigma^2\}\sim\operatorname{normal}(\theta,\sigma^2)
\Longleftrightarrow
\tilde Y=\theta+\tilde\epsilon,
\qquad
\{\tilde\epsilon\mid\theta,\sigma^2\}\sim\operatorname{normal}(0,\sigma^2). { Y ~ ∣ θ , σ 2 } ∼ normal ( θ , σ 2 ) ⟺ Y ~ = θ + ϵ ~ , { ϵ ~ ∣ θ , σ 2 } ∼ normal ( 0 , σ 2 ) .
いいかえれば、 Y ~ \tilde Y Y ~ が平均 θ \theta θ
の正規分布に従うということと、 Y ~ \tilde Y Y ~ が
θ \theta θ
と平均ゼロの正規分布に従うノイズの和で書けるということは同じである。新しい観測のノイズは、母平均と過去の観測から独立に生じるとする。この結果を用いて、まず
Y ~ \tilde Y Y ~ の事後分布の平均と分散を計算する。
E [ Y ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = E [ θ + ϵ ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = E [ θ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] + E [ ϵ ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = μ n , V a r [ Y ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = V a r [ θ + ϵ ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = V a r [ θ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] + V a r [ ϵ ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = τ n 2 + σ 2 . \begin{gathered}
\begin{aligned}
\mathrm{E}[\tilde Y\mid y^{(1)},\ldots,y^{(n)},\sigma^2]
&=\mathrm{E}[\theta+\tilde\epsilon\mid y^{(1)},\ldots,y^{(n)},\sigma^2]\\
&=\mathrm{E}[\theta\mid y^{(1)},\ldots,y^{(n)},\sigma^2]
+\mathrm{E}[\tilde\epsilon\mid y^{(1)},\ldots,y^{(n)},\sigma^2]\\
&=\mu_n,
\end{aligned}\\
\begin{aligned}
\mathrm{Var}[\tilde Y\mid y^{(1)},\ldots,y^{(n)},\sigma^2]
&=\mathrm{Var}[\theta+\tilde\epsilon\mid y^{(1)},\ldots,y^{(n)},\sigma^2]\\
&=\mathrm{Var}[\theta\mid y^{(1)},\ldots,y^{(n)},\sigma^2]
+\mathrm{Var}[\tilde\epsilon\mid y^{(1)},\ldots,y^{(n)},\sigma^2]\\
&=\tau_n^2+\sigma^2.
\end{aligned}
\end{gathered} E [ Y ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = E [ θ + ϵ ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = E [ θ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] + E [ ϵ ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = μ n , Var [ Y ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = Var [ θ + ϵ ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = Var [ θ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] + Var [ ϵ ~ ∣ y ( 1 ) , … , y ( n ) , σ 2 ] = τ n 2 + σ 2 .
本章のはじめに述べたように、独立な正規確率変数の和もまた正規分布に従う。このことから、
y ( 1 ) , … , y ( n ) y^{(1)},\ldots,y^{(n)} y ( 1 ) , … , y ( n ) と σ 2 \sigma^2 σ 2 を条件付けたもとで、
θ \theta θ も ϵ ~ \tilde\epsilon ϵ ~ も正規分布に従うため、
Y ~ = θ + ϵ ~ \tilde Y=\theta+\tilde\epsilon Y ~ = θ + ϵ ~ も正規分布に従う。したがって、予測分布は
Y ~ ∣ σ 2 , y ( 1 ) , … , y ( n ) ∼ normal ( μ n , τ n 2 + σ 2 ) \tilde Y\mid\sigma^2,y^{(1)},\ldots,y^{(n)}
\sim\operatorname{normal}(\mu_n,\tau_n^2+\sigma^2) Y ~ ∣ σ 2 , y ( 1 ) , … , y ( n ) ∼ normal ( μ n , τ n 2 + σ 2 )
となる。 Y ~ \tilde Y Y ~
の分散の形について直感的な説明を与えよう。一般に、新たな標本
Y ~ \tilde Y Y ~ に関する不確実性は、母集団の中心に関する不確実性(
τ n 2 \tau_n^2 τ n 2 )と母集団のばらつき( σ 2 \sigma^2 σ 2
)の関数である。 n → ∞ n\to\infty n → ∞ となるにつれ、われわれは
θ \theta θ の位置についてより確信し、 θ \theta θ
の事後分散 τ n 2 \tau_n^2 τ n 2 はゼロに近づく。しかし、
θ \theta θ に関する確信は標本のばらつき σ 2 \sigma^2 σ 2
を減らすわけではないので、 Y ~ \tilde Y Y ~ に関する不確実性も決して
σ 2 \sigma^2 σ 2 を下回ることはない。
平均の信用区間と、次の観測の予測区間
架空例では μ n = 3.5 \mu_n=3.5 μ n = 3.5 、 τ n 2 = 1 \tau_n^2=1 τ n 2 = 1 、
σ 2 = 4 \sigma^2=4 σ 2 = 4
だった。母平均と次の1観測について、それぞれの中央95%を計算すると、
θ : 3.5 ± 1.96 1 = [ 1.54 , 5.46 ] , Y ~ : 3.5 ± 1.96 1 + 4 ≈ [ − 0.883 , 7.883 ] \begin{gathered}
\theta:\quad3.5\pm1.96\sqrt1=[1.54,5.46],\\
\tilde Y:\quad3.5\pm1.96\sqrt{1+4}\approx[-0.883,7.883]
\end{gathered} θ : 3.5 ± 1.96 1 = [ 1.54 , 5.46 ] , Y ~ : 3.5 ± 1.96 1 + 4 ≈ [ − 0.883 , 7.883 ]
となる。前者は平均の位置についての信用区間、後者は新しい観測の予測区間である。後者には、平均を知っていても残る個体差が加わるため、幅が広い。ここでは実数全体を取りうる架空の測定量を考えている。
この差が標本数を増やしても残ることを、同じ σ 2 = 4 \sigma^2=4 σ 2 = 4 、
τ 0 2 = 4 \tau_0^2=4 τ 0 2 = 4 の条件で見てみよう。
補助図 分散既知の架空例。平均の事後SDは縮むが、1観測の予測SDは2より小さくならない。
n = 3 n=3 n = 3 では二つの標準偏差が1と 5 ≈ 2.236 \sqrt5\approx2.236 5 ≈ 2.236 、
n = 99 n=99 n = 99 では0.2と 4.04 ≈ 2.010 \sqrt{4.04}\approx2.010 4.04 ≈ 2.010
である。どれほどデータを集めても、個体差を表す2は残る。
例:羽虫の羽の長さ
Grogan and Wirth (1981)
では、ある種の羽虫(ハエの仲間)9匹の羽の長さのデータが報告されている。九つの測定値から、母集団平均
θ \theta θ
について推論を行いたい。別の研究によれば、典型的な羽の長さはおよそ1.9
mmだというので、 μ 0 = 1.9 \mu_0=1.9 μ 0 = 1.9
と定めることにする。また、羽の長さは正の値をとるので、
θ > 0 \theta>0 θ > 0 である。ゆえに理想的には、確率質量を
θ > 0 \theta>0 θ > 0 の上にのみもつような θ \theta θ
の事前分布を考えたい。この制約を正規事前密度で次のように近似する。正規分布は確率のほとんどを標準偏差の2倍以内にもつので、
μ 0 − 2 τ 0 > 0 \mu_0-2\tau_0>0 μ 0 − 2 τ 0 > 0 が成り立つようにする、つまり τ 0 < 1.9 / 2 = 0.95 \tau_0<1.9/2=0.95 τ 0 < 1.9/2 = 0.95
となるように τ 0 2 \tau_0^2 τ 0 2 を決めるのである。とりあえずは、
τ 0 = 0.95 \tau_0=0.95 τ 0 = 0.95 と定める。これは θ \theta θ
に関する不確実性を過大に仮定している。
この事前分布は厳密な正値制約ではない。実際には Pr ( θ < 0 ) = Φ ( − 2 ) ≈ 0.0228 \Pr(\theta<0)=\Phi(-2)\approx0.0228 Pr ( θ < 0 ) = Φ ( − 2 ) ≈ 0.0228
なので、約2.3%を負の領域に置く。 τ 0 = 0.95 \tau_0=0.95 τ 0 = 0.95
は直前の厳密不等式の境界でもある。教科書は計算しやすい正規分布による近似を採用しているのであり、「負の平均が不可能」という知識を完全に反映した分布ではない。
次の図では、広い事前分布から、9匹の観測によって母平均の位置がどの程度絞られるかを見る。
図5.3 羽虫の母平均。付属コードに合わせ、分散を実測標本分散0.0168778 mm²に固定。
事後分布は約1.805
mm付近に集中する。比較用に広い横軸を使っているため事後分布が細く見えるが、これは母平均の不確かさを表しており、9匹の羽の長さ自体の分布ではない。曲線は表示範囲の外にも続く。
観測値は昇順で ( 1.64 , 1.70 , 1.72 , 1.74 , 1.82 , 1.82 , 1.82 , 1.90 , 2.08 ) (1.64,1.70,1.72,1.74,1.82,1.82,1.82,1.90,2.08) ( 1.64 , 1.70 , 1.72 , 1.74 , 1.82 , 1.82 , 1.82 , 1.90 , 2.08 ) であり、 y ˉ = 1.804 \bar y=1.804 y ˉ = 1.804
となる。上記の μ n \mu_n μ n と τ n 2 \tau_n^2 τ n 2
の表現を用いることで、
{ θ ∣ y ( 1 ) , … , y ( 9 ) , σ 2 } ∼ normal ( μ n , τ n 2 ) \{\theta\mid y^{(1)},\ldots,y^{(9)},\sigma^2\}\sim\operatorname{normal}(\mu_n,\tau_n^2) { θ ∣ y ( 1 ) , … , y ( 9 ) , σ 2 } ∼ normal ( μ n , τ n 2 )
を得る。ここで、
μ n = ( 1 / τ 0 2 ) μ 0 + ( n / σ 2 ) y ˉ 1 / τ 0 2 + n / σ 2 = 1.11 × 1.9 + ( 9 / σ 2 ) 1.804 1.11 + 9 / σ 2 , τ n 2 = 1 1 / τ 0 2 + n / σ 2 = 1 1.11 + 9 / σ 2 . \begin{gathered}
\mu_n
=\frac{(1/\tau_0^2)\mu_0+(n/\sigma^2)\bar y}{1/\tau_0^2+n/\sigma^2}
=\frac{1.11\times1.9+(9/\sigma^2)1.804}{1.11+9/\sigma^2},\\
\tau_n^2
=\frac{1}{1/\tau_0^2+n/\sigma^2}
=\frac{1}{1.11+9/\sigma^2}.
\end{gathered} μ n = 1/ τ 0 2 + n / σ 2 ( 1/ τ 0 2 ) μ 0 + ( n / σ 2 ) y ˉ = 1.11 + 9/ σ 2 1.11 × 1.9 + ( 9/ σ 2 ) 1.804 , τ n 2 = 1/ τ 0 2 + n / σ 2 1 = 1.11 + 9/ σ 2 1 .
もし σ 2 = s 2 = 0.017 \sigma^2=s^2=0.017 σ 2 = s 2 = 0.017 ならば、
{ θ ∣ y ( 1 ) , … , y ( 9 ) , σ 2 = 0.017 } ∼ normal ( 1.805 , 0.002 ) \{\theta\mid y^{(1)},\ldots,y^{(9)},\sigma^2=0.017\}
\sim\operatorname{normal}(1.805,0.002) { θ ∣ y ( 1 ) , … , y ( 9 ) , σ 2 = 0.017 } ∼ normal ( 1.805 , 0.002 )
となる。 θ \theta θ
の95%分位点に基づく信用区間はこの分布に基づいて計算され、
( 1.72 , 1.89 ) (1.72,1.89) ( 1.72 , 1.89 ) となる。しかし、この区間推定は、
σ 2 = s 2 \sigma^2=s^2 σ 2 = s 2
であるとわれわれが確信している、という仮定に基づいている。実際には
s 2 s^2 s 2 はたかだか九つの観測値に基づく σ 2 \sigma^2 σ 2
の粗い推定値でしかない。われわれのもつ情報をより正確に表現するには、
σ 2 \sigma^2 σ 2 は未知であるという事実を考慮する必要がある。
付属コードと同じ丸め前の値では、 y ˉ = 1.804444 … \bar y=1.804444\ldots y ˉ = 1.804444 … 、
s 2 = 0.0168778 s^2=0.0168778 s 2 = 0.0168778 、事後平均は1.804643 mm、95%等裾信用区間は
[ 1.719855 , 1.889430 ] [1.719855,1.889430] [ 1.719855 , 1.889430 ]
mmとなる。「等裾」とは、区間の下側と上側にそれぞれ2.5%ずつ残すという意味である。
ここで s 2 s^2 s 2
を代入する操作は、分散についての不確かさを積分することとは違う。9匹から計算した
s 2 s^2 s 2 も、標本を取り直せば変わる。そこで次節では、
σ 2 \sigma^2 σ 2 にも事前分布を置き、その不確かさを残したまま
θ \theta θ を推定する。
5.3 平均と分散の同時推定
この節で増える難しさは何か
5.2節では、「個体差の大きさはわかっているが、平均の位置はわからない」と考えた。しかし、羽虫9匹から計算した標本分散を、そのまま母分散だと断定するのは無理がある。そこで、この節では
平均の位置も、個体差の大きさもわからない
状況を扱う。
たとえば「平均1.8 mm、分散0.01 mm²」という組と、「平均1.9
mm、分散0.04
mm²」という組のどちらも候補になる。データを見る前に各組へ割り当てた重みを、その組から今回のデータがどれほど生じやすいかによって更新する。ベイズの原則自体は、未知量が一つだったときと同じである。
ただし、この先では、二つの未知量を一緒に扱ったり、一方を仮に固定したり、一方について平均を取ったりする。その切り替えが難所である。記号を短くするため、以後は観測済みの全データを並べたベクトルを
∣ y ⟩ = ( y ( 1 ) , … , y ( n ) ) T \ket{y}=(y^{(1)},\ldots,y^{(n)})^{\mathsf{T}} ∣ y ⟩ = ( y ( 1 ) , … , y ( n ) ) T と書く。条件付けの右側に ∣ y ⟩ \ket{y} ∣ y ⟩
があれば「 n n n
個の観測値をすべて知った」という意味である。
「一つに固定する」と「不確かさを残して混ぜる」は異なる操作である。
最後に知りたい母平均の信用区間には、通常は3行目の周辺分布を使う。2行目の条件付き分布は、そこへ進むための計算しやすい部品である。
まず精度という書き方を導入し、事前分布、更新の仕組み、三つの観測値による計算例の順に進む。その後で教科書の分散表記に戻り、羽虫の区間推定と予測までつなげる。節末の非正則事前分布は発展的な話なので、初読では予測分布までを先に理解するとよい。
精度で書くと、何がわかりやすくなるか
分散の逆数を 精度 と呼び、この節では
λ \lambda λ という記号を使う。
λ = 1 σ 2 , σ 2 = 1 λ . \lambda=\frac{1}{\sigma^2},\qquad \sigma^2=\frac{1}{\lambda}. λ = σ 2 1 , σ 2 = λ 1 .
同じばらつきを別の向きから表しただけなので、未知量が増えるわけではない。分散が小さいほど精度は大きくなる。羽の長さをmmで測ると、対応は次のようになる。
ここでの精度は、観測値のばらつきの逆数である。測定器の正確さだけを意味するわけではなく、母平均をすでにどれほど正確に知っているかとも区別する。独立な
n n n 個の平均の分散は 1 / ( n λ ) 1/(n\lambda) 1/ ( nλ ) なので、
1観測の精度は λ \lambda λ 、標本平均の精度は
n λ n\lambda nλ である。
正規分布の密度を精度で書くと、
p ( y ( i ) ∣ θ , λ ) = λ 2 π exp { − λ 2 ( y ( i ) − θ ) 2 } p(y^{(i)}\mid\theta,\lambda)
=\sqrt{\frac{\lambda}{2\pi}}
\exp\left\{-\frac{\lambda}{2}(y^{(i)}-\theta)^2\right\} p ( y ( i ) ∣ θ , λ ) = 2 π λ exp { − 2 λ ( y ( i ) − θ ) 2 }
となる。分散で割っていた箇所が、精度を掛ける形になる。したがって、独立な観測の尤度は、未知量に依存しない定数を除くと、
p ( y ∣ θ , λ ) ∝ λ n / 2 exp { − λ 2 ∑ i ( y ( i ) − θ ) 2 } p(y\mid\theta,\lambda)
\propto \lambda^{n/2}
\exp\left\{-\frac{\lambda}{2}\sum_i(y^{(i)}-\theta)^2\right\} p ( y ∣ θ , λ ) ∝ λ n /2 exp { − 2 λ i ∑ ( y ( i ) − θ ) 2 }
である。 θ \theta θ を仮に固定すれば、 λ \lambda λ
について「べき乗 ×
指数関数」の形をしている。これがガンマ分布と相性のよい理由である。
更新を導くときには精度表記が見通しをよくする。
とくに、母平均についての精度を足し合わせる式と、ガンマ分布の更新が読みやすくなる。一方、結果をmmやmm²で解釈したり、予測のばらつきを足し合わせたりするときには分散表記が自然である。そこで、この節では計算を精度で進め、結果を分散にも翻訳する。どちらで計算しても、同じ事前分布を正しく変換して使う限り、推論の結果は同じである。
事前分布を二段階で作る
二つの未知量の事前分布は、次のように分けられる。
p ( θ , λ ) = p ( θ ∣ λ ) p ( λ ) . p(\theta,\lambda)=p(\theta\mid\lambda)p(\lambda). p ( θ , λ ) = p ( θ ∣ λ ) p ( λ ) .
これは「精度についての不確かさ」と「その精度を仮定したときの平均についての不確かさ」を組み合わせる式である。分解そのものには独立性の仮定はない。この節では、次の二つを選ぶ。
λ ∼ gamma ( a 0 , b 0 ) , θ ∣ λ ∼ normal ( μ 0 , 1 κ 0 λ ) . \begin{aligned}
\lambda&\sim\operatorname{gamma}(a_0,b_0),\\
\theta\mid\lambda&\sim\operatorname{normal}\left(\mu_0,\frac{1}{\kappa_0\lambda}\right).
\end{aligned} λ θ ∣ λ ∼ gamma ( a 0 , b 0 ) , ∼ normal ( μ 0 , κ 0 λ 1 ) .
ここでは a 0 , b 0 , κ 0 > 0 a_0,b_0,\kappa_0>0 a 0 , b 0 , κ 0 > 0 とし、正規分布の第2引数は引き続き
分散 である。まず、四つの設定値の役割を分けよう。
ガンマ分布は正の値だけを取るため、精度の分布に使える。本章では第2引数を
率(rate)
とし、その密度と平均・分散は次のように定める。
p ( λ ) = b 0 a 0 Γ ( a 0 ) λ a 0 − 1 e − b 0 λ , λ > 0 , E [ λ ] = a 0 b 0 , Var ( λ ) = a 0 b 0 2 . \begin{gathered}
p(\lambda)=\frac{b_0^{a_0}}{\Gamma(a_0)}
\lambda^{a_0-1}e^{-b_0\lambda},\qquad \lambda>0,\\
\mathrm{E}[\lambda]=\frac{a_0}{b_0},\qquad
\operatorname{Var}(\lambda)=\frac{a_0}{b_0^2}.
\end{gathered} p ( λ ) = Γ ( a 0 ) b 0 a 0 λ a 0 − 1 e − b 0 λ , λ > 0 , E [ λ ] = b 0 a 0 , Var ( λ ) = b 0 2 a 0 .
Γ ( a 0 ) \Gamma(a_0) Γ ( a 0 )
は密度の面積を1にするために現れるガンマ関数で、正の整数では
Γ ( a 0 ) = ( a 0 − 1 ) ! \Gamma(a_0)=(a_0-1)! Γ ( a 0 ) = ( a 0 − 1 )! となる。今は「 λ a 0 − 1 e − b 0 λ \lambda^{a_0-1}e^{-b_0\lambda} λ a 0 − 1 e − b 0 λ
という形をした分布」と読めればよい。 a 0 a_0 a 0 を固定して
b 0 b_0 b 0 を大きくすると、精度の平均は小さくなる。
もう一方の θ ∣ λ \theta\mid\lambda θ ∣ λ の分散は、分散表記に戻すと
σ 2 / κ 0 \sigma^2/\kappa_0 σ 2 / κ 0 である。独立な κ 0 \kappa_0 κ 0
個の平均の分散と同じ形なので、 κ 0 \kappa_0 κ 0
を「平均についての事前情報を観測何個分と扱うか」と読める。実在する過去のデータがある必要はなく、整数である必要もない。
たとえば μ 0 = 1.9 \mu_0=1.9 μ 0 = 1.9 、 κ 0 = 4 \kappa_0=4 κ 0 = 4
とする。精度が100、つまり個体の標準偏差が0.1
mmなら、母平均の条件付き事前標準偏差は 1 / ( 4 × 100 ) = 0.05 \sqrt{1/(4\times100)}=0.05 1/ ( 4 × 100 ) = 0.05
mmである。精度が25、つまり個体の標準偏差が0.2
mmなら、母平均の条件付き事前標準偏差も 1 / ( 4 × 25 ) = 0.1 \sqrt{1/(4\times25)}=0.1 1/ ( 4 × 25 ) = 0.1
mmへ広がる。個体差が大きい集団の平均は、同じ観測個数分の情報では絞り込みにくいという設定である。
これは5.2節からの重要な変更である。そこでは母平均の事前分散
τ 0 2 \tau_0^2 τ 0 2 を固定したが、ここでは τ 0 2 = σ 2 / κ 0 \tau_0^2=\sigma^2/\kappa_0 τ 0 2 = σ 2 / κ 0
と連動させている。この関係は計算しやすい共役モデルとしての選択であり、分散が未知なら必ず採用しなければならない仮定ではない。また、二つの節の羽虫の信用区間の違いには、この事前分布の変更も含まれる。
手順1:精度を仮に固定して、母平均を更新する
ここではいったん λ \lambda λ
を固定する。すると、5.2節で学んだ「事前分布の精度と、標本平均の精度を足す」という計算がそのまま使える。
κ 0 λ ⏟ 母平均の事前精度 + n λ ⏟ 標本平均の精度 = ( κ 0 + n ) λ ⏟ 母平均の条件付き事後精度 . \underbrace{\kappa_0\lambda}_{\text{母平均の事前精度}}
+\underbrace{n\lambda}_{\text{標本平均の精度}}
=\underbrace{(\kappa_0+n)\lambda}_{\text{母平均の条件付き事後精度}}. 母平均の事前精度 κ 0 λ + 標本平均の精度 nλ = 母平均の条件付き事後精度 ( κ 0 + n ) λ .
したがって、更新後の観測個数分の重みを κ n \kappa_n κ n
、更新後の中心を μ n \mu_n μ n と書けば、
κ n = κ 0 + n , μ n = κ 0 λ μ 0 + n λ y ˉ ( κ 0 + n ) λ = κ 0 μ 0 + n y ˉ κ n , θ ∣ λ , y ∼ normal ( μ n , 1 κ n λ ) . \begin{gathered}
\kappa_n=\kappa_0+n,\\
\mu_n=\frac{\kappa_0\lambda\mu_0+n\lambda\bar y}{(\kappa_0+n)\lambda}
=\frac{\kappa_0\mu_0+n\bar y}{\kappa_n},\\
\theta\mid\lambda,y\sim\operatorname{normal}\left(\mu_n,\frac{1}{\kappa_n\lambda}\right).
\end{gathered} κ n = κ 0 + n , μ n = ( κ 0 + n ) λ κ 0 λ μ 0 + nλ y ˉ = κ n κ 0 μ 0 + n y ˉ , θ ∣ λ , y ∼ normal ( μ n , κ n λ 1 ) .
中心の計算では共通の λ \lambda λ が約分されるため、
μ n \mu_n μ n は精度によらない。しかし、分布の幅には
λ \lambda λ が残る。
中心が精度によらないことと、母平均と精度が独立であることは違う。
精度が低ければ、同じ中心の周囲に広い範囲の母平均がありうる。
たとえば架空の測定値 ∣ y ⟩ = ( 2 , 4 , 6 ) T \ket{y}=(2,4,6)^{\mathsf{T}} ∣ y ⟩ = ( 2 , 4 , 6 ) T に、 μ 0 = 2 \mu_0=2 μ 0 = 2
、 κ 0 = 2 \kappa_0=2 κ 0 = 2 を使うと、 n = 3 n=3 n = 3 、
y ˉ = 4 \bar y=4 y ˉ = 4 なので、
κ n = 5 , μ n = 2 × 2 + 3 × 4 5 = 3.2. \kappa_n=5,\qquad \mu_n=\frac{2\times2+3\times4}{5}=3.2. κ n = 5 , μ n = 5 2 × 2 + 3 × 4 = 3.2.
精度を λ = 1 / 4 \lambda=1/4 λ = 1/4 と仮定すれば、母平均の条件付き事後分散は
1 / ( 5 × 1 / 4 ) = 0.8 1/(5\times1/4)=0.8 1/ ( 5 × 1/4 ) = 0.8 となる。一方、 λ = 1 \lambda=1 λ = 1
と仮定すれば分散は0.2となる。どちらも中心は3.2だが、幅は違う。ここまででは、どの精度がありそうかはまだ決めていない。
手順2:母平均を決め打ちせず、精度を更新する
次に必要なのは p ( λ ∣ ∣ y ⟩ ) p(\lambda\mid\ket{y}) p ( λ ∣ ∣ y ⟩ ) である。母平均も未知なので、
θ = y ˉ \theta=\bar y θ = y ˉ や θ = μ n \theta=\mu_n θ = μ n
と決め打ちせず、ありうる母平均について合計する。
p ( λ ∣ ∣ y ⟩ ) ∝ p ( λ ) ∫ − ∞ ∞ p ( y ∣ θ , λ ) p ( θ ∣ λ ) d θ . p(\lambda\mid\ket{y})
\propto p(\lambda)\int_{-\infty}^{\infty}
p(y\mid\theta,\lambda)p(\theta\mid\lambda)\,d\theta. p ( λ ∣ ∣ y ⟩ ) ∝ p ( λ ) ∫ − ∞ ∞ p ( y ∣ θ , λ ) p ( θ ∣ λ ) d θ .
積分は、母平均を細かい候補に分けて重み付きで足し合わせる操作の連続版である。これは平均を計算して一つの値に置き換える操作ではない。教科書ではこの積分の計算を演習問題5.3としているが、ここでは「何を掛け、何を積分するとガンマ分布になるのか」を順に確認する。
二つの中心を、一つの中心にまとめる
尤度に含まれる二乗の和を、5.2節と同じように分解する。
∑ i ( y ( i ) − θ ) 2 = ∑ i ( y ( i ) − y ˉ ) 2 ⏟ データ内の平方和 + n ( θ − y ˉ ) 2 . \sum_i(y^{(i)}-\theta)^2
=\underbrace{\sum_i(y^{(i)}-\bar y)^2}_{\text{データ内の平方和}}+n(\theta-\bar y)^2. i ∑ ( y ( i ) − θ ) 2 = データ内の平方和 i ∑ ( y ( i ) − y ˉ ) 2 + n ( θ − y ˉ ) 2 .
さらに、事前分布に含まれる κ 0 ( θ − μ 0 ) 2 \kappa_0(\theta-\mu_0)^2 κ 0 ( θ − μ 0 ) 2
を加える。すると、二つの中心からのずれを、統合した中心
μ n \mu_n μ n からのずれと、中心同士の食い違いに分けられる。
n ( θ − y ˉ ) 2 + κ 0 ( θ − μ 0 ) 2 = κ n ( θ − μ n ) 2 + κ 0 n κ n ( y ˉ − μ 0 ) 2 . n(\theta-\bar y)^2+\kappa_0(\theta-\mu_0)^2
=\kappa_n(\theta-\mu_n)^2
+\frac{\kappa_0n}{\kappa_n}(\bar y-\mu_0)^2. n ( θ − y ˉ ) 2 + κ 0 ( θ − μ 0 ) 2 = κ n ( θ − μ n ) 2 + κ n κ 0 n ( y ˉ − μ 0 ) 2 .
これは平方完成である。左辺を展開すると、 θ 2 \theta^2 θ 2
の係数は κ n \kappa_n κ n 、 θ \theta θ の係数は
− 2 ( n y ˉ + κ 0 μ 0 ) = − 2 κ n μ n -2(n\bar y+\kappa_0\mu_0)=-2\kappa_n\mu_n − 2 ( n y ˉ + κ 0 μ 0 ) = − 2 κ n μ n となる。そこで κ n ( θ − μ n ) 2 \kappa_n(\theta-\mu_n)^2 κ n ( θ − μ n ) 2
を取り出すと、残りが右辺の第2項になる。
先ほどの架空例では、左辺は 3 ( θ − 4 ) 2 + 2 ( θ − 2 ) 2 = 5 θ 2 − 32 θ + 56 3(\theta-4)^2+2(\theta-2)^2=5\theta^2-32\theta+56 3 ( θ − 4 ) 2 + 2 ( θ − 2 ) 2 = 5 θ 2 − 32 θ + 56
である。これを平方完成すると、
5 θ 2 − 32 θ + 56 = 5 ( θ − 3.2 ) 2 + 4.8 5\theta^2-32\theta+56=5(\theta-3.2)^2+4.8 5 θ 2 − 32 θ + 56 = 5 ( θ − 3.2 ) 2 + 4.8
となる。データ内の平方和は 4 + 0 + 4 = 8 4+0+4=8 4 + 0 + 4 = 8
なので、尤度と事前分布の二乗の項を全部足すと、 8 + 4.8 + 5 ( θ − 3.2 ) 2 8+4.8+5(\theta-3.2)^2 8 + 4.8 + 5 ( θ − 3.2 ) 2
になる。
三つの密度を掛け、母平均について積分する
同時事後分布は、尤度、母平均の条件付き事前分布、精度の事前分布の三つを掛けたものに比例する。それぞれから、
θ \theta θ または λ \lambda λ
に依存する部分を取り出す。
p ( y ∣ θ , λ ) ∝ λ n / 2 e − λ ∑ i ( y ( i ) − θ ) 2 / 2 , p ( θ ∣ λ ) ∝ λ 1 / 2 e − κ 0 λ ( θ − μ 0 ) 2 / 2 , p ( λ ) ∝ λ a 0 − 1 e − b 0 λ . \begin{aligned}
p(y\mid\theta,\lambda)&\propto\lambda^{n/2}
e^{-\lambda\sum_i(y^{(i)}-\theta)^2/2},\\
p(\theta\mid\lambda)&\propto\lambda^{1/2}
e^{-\kappa_0\lambda(\theta-\mu_0)^2/2},\\
p(\lambda)&\propto\lambda^{a_0-1}e^{-b_0\lambda}.
\end{aligned} p ( y ∣ θ , λ ) p ( θ ∣ λ ) p ( λ ) ∝ λ n /2 e − λ ∑ i ( y ( i ) − θ ) 2 /2 , ∝ λ 1/2 e − κ 0 λ ( θ − μ 0 ) 2 /2 , ∝ λ a 0 − 1 e − b 0 λ .
ここで見落としやすいのが、2行目の λ 1 / 2 \lambda^{1/2} λ 1/2
である。母平均の正規密度の先頭にある κ 0 λ / ( 2 π ) \sqrt{\kappa_0\lambda/(2\pi)} κ 0 λ / ( 2 π ) から来ている。
母平均だけを動かす計算では定数でも、精度も動かす計算では定数ではない。
したがって、この因子を消してはいけない。
先ほどの平方完成を使い、精度の指数関数の係数を b n b_n b n
と名付ける。
b n = b 0 + 1 2 [ ∑ i ( y ( i ) − y ˉ ) 2 + κ 0 n κ n ( y ˉ − μ 0 ) 2 ] . b_n=b_0+\frac12\left[
\sum_i(y^{(i)}-\bar y)^2+\frac{\kappa_0n}{\kappa_n}(\bar y-\mu_0)^2
\right]. b n = b 0 + 2 1 [ i ∑ ( y ( i ) − y ˉ ) 2 + κ n κ 0 n ( y ˉ − μ 0 ) 2 ] .
すると、掛け合わせた同時事後密度は、
p ( θ , λ ∣ ∣ y ⟩ ) ∝ λ a 0 + n / 2 − 1 + 1 / 2 e − b n λ e − κ n λ ( θ − μ n ) 2 / 2 p(\theta,\lambda\mid\ket{y})\propto
\lambda^{a_0+n/2-1+1/2}
e^{-b_n\lambda}
e^{-\kappa_n\lambda(\theta-\mu_n)^2/2} p ( θ , λ ∣ ∣ y ⟩ ) ∝ λ a 0 + n /2 − 1 + 1/2 e − b n λ e − κ n λ ( θ − μ n ) 2 /2
となる。ここから θ \theta θ
を積分する。最後の指数関数を正規密度にするには先頭に
κ n λ / ( 2 π ) \sqrt{\kappa_n\lambda/(2\pi)} κ n λ / ( 2 π )
を掛ければよい。正規密度の面積は1なので、逆に、その因子を付けていない指数関数の面積は、
∫ − ∞ ∞ e − κ n λ ( θ − μ n ) 2 / 2 d θ = 2 π κ n λ \int_{-\infty}^{\infty}e^{-\kappa_n\lambda(\theta-\mu_n)^2/2}\,d\theta
=\sqrt{\frac{2\pi}{\kappa_n\lambda}} ∫ − ∞ ∞ e − κ n λ ( θ − μ n ) 2 /2 d θ = κ n λ 2 π
となる。この積分によって λ − 1 / 2 \lambda^{-1/2} λ − 1/2 が掛かり、残っていた
λ 1 / 2 \lambda^{1/2} λ 1/2 と打ち消し合う。その結果、
p ( λ ∣ ∣ y ⟩ ) ∝ λ a 0 + n / 2 − 1 e − b n λ p(\lambda\mid\ket{y})\propto
\lambda^{a_0+n/2-1}e^{-b_n\lambda} p ( λ ∣ ∣ y ⟩ ) ∝ λ a 0 + n /2 − 1 e − b n λ
を得る。これは形状 a 0 + n / 2 a_0+n/2 a 0 + n /2 、率 b n b_n b n
のガンマ密度そのものである。
もし θ = μ n \theta=\mu_n θ = μ n
を代入するだけで済ませると、最後の指数関数は1になるが、積分から生まれる
λ − 1 / 2 \lambda^{-1/2} λ − 1/2
は得られない。すると精度の分布を間違えてしまう。この違いが、「平均を一つに固定する」と「平均の不確かさを積分する」の計算上の違いである。
更新結果を四つの数値にまとめる
以上より、事後分布も、事前分布と同じ「ガンマ分布と条件付き正規分布」の組で表せる。これを正規・ガンマ共役モデルという。
κ n = κ 0 + n , μ n = κ 0 μ 0 + n y ˉ κ n , a n = a 0 + n 2 , b n = b 0 + 1 2 [ ∑ i ( y ( i ) − y ˉ ) 2 + κ 0 n κ n ( y ˉ − μ 0 ) 2 ] . \begin{aligned}
\kappa_n&=\kappa_0+n,\\
\mu_n&=\frac{\kappa_0\mu_0+n\bar y}{\kappa_n},\\
a_n&=a_0+\frac n2,\\
b_n&=b_0+\frac12\left[\sum_i(y^{(i)}-\bar y)^2
+\frac{\kappa_0n}{\kappa_n}(\bar y-\mu_0)^2\right].
\end{aligned} κ n μ n a n b n = κ 0 + n , = κ n κ 0 μ 0 + n y ˉ , = a 0 + 2 n , = b 0 + 2 1 [ i ∑ ( y ( i ) − y ˉ ) 2 + κ n κ 0 n ( y ˉ − μ 0 ) 2 ] .
λ ∣ ∣ y ⟩ ∼ gamma ( a n , b n ) , θ ∣ λ , y ∼ normal ( μ n , 1 κ n λ ) . \begin{aligned}
\lambda\mid\ket{y}&\sim\operatorname{gamma}(a_n,b_n),\\
\theta\mid\lambda,y&\sim\operatorname{normal}\left(\mu_n,\frac{1}{\kappa_n\lambda}\right).
\end{aligned} λ ∣ ∣ y ⟩ θ ∣ λ , y ∼ gamma ( a n , b n ) , ∼ normal ( μ n , κ n λ 1 ) .
この2行を合わせたものが、同時事後分布 p ( θ , λ ∣ ∣ y ⟩ ) = p ( θ ∣ λ , ∣ y ⟩ ) p ( λ ∣ ∣ y ⟩ ) p(\theta,\lambda\mid\ket{y})=p(\theta\mid\lambda,\ket{y})p(\lambda\mid\ket{y}) p ( θ , λ ∣ ∣ y ⟩ ) = p ( θ ∣ λ , ∣ y ⟩ ) p ( λ ∣ ∣ y ⟩ )
である。1行目には条件として θ \theta θ がなく、2行目には
λ \lambda λ
がある点に注意しよう。精度については母平均をすでに積分し、母平均については精度をまだ固定している。
また、「精度なら足し算」とは、母平均の 条件付き精度
が κ 0 λ + n λ \kappa_0\lambda+n\lambda κ 0 λ + nλ になるという意味である。未知の精度そのものの平均
E [ λ ∣ ∣ y ⟩ ] = a n / b n \mathrm{E}[\lambda\mid\ket{y}]=a_n/b_n E [ λ ∣ ∣ y ⟩ ] = a n / b n
を、単純に「事前の精度+データの精度」と足せるわけではない。更新後にデータのばらつきが大きいとわかれば、精度の推定値は下がることもある。
三つの観測値で、更新を最後まで計算する
架空の測定値 ∣ y ⟩ = ( 2 , 4 , 6 ) T \ket{y}=(2,4,6)^{\mathsf{T}} ∣ y ⟩ = ( 2 , 4 , 6 ) T 、 μ 0 = 2 \mu_0=2 μ 0 = 2 、
κ 0 = 2 \kappa_0=2 κ 0 = 2 に加え、精度の事前分布を λ ∼ gamma ( 1 , 1 ) \lambda\sim\operatorname{gamma}(1,1) λ ∼ gamma ( 1 , 1 )
とする。これは手計算のための独立した例である。 n = 3 n=3 n = 3 、
y ˉ = 4 \bar y=4 y ˉ = 4 、 s 2 = 4 s^2=4 s 2 = 4 なので、
κ n = 2 + 3 = 5 , μ n = ( 2 × 2 + 3 × 4 ) / 5 = 3.2 , a n = 1 + 3 / 2 = 2.5 , b n = 1 + 1 2 [ 8 + 2 × 3 5 ( 4 − 2 ) 2 ] = 1 + 8 + 4.8 2 = 7.4. \begin{aligned}
\kappa_n&=2+3=5,\\
\mu_n&=(2\times2+3\times4)/5=3.2,\\
a_n&=1+3/2=2.5,\\
b_n&=1+\frac12\left[8+\frac{2\times3}{5}(4-2)^2\right]
=1+\frac{8+4.8}{2}=7.4.
\end{aligned} κ n μ n a n b n = 2 + 3 = 5 , = ( 2 × 2 + 3 × 4 ) /5 = 3.2 , = 1 + 3/2 = 2.5 , = 1 + 2 1 [ 8 + 5 2 × 3 ( 4 − 2 ) 2 ] = 1 + 2 8 + 4.8 = 7.4.
つまり、答えは
λ ∣ ∣ y ⟩ ∼ gamma ( 2.5 , 7.4 ) , θ ∣ λ , y ∼ normal ( 3.2 , 1 5 λ ) \lambda\mid\ket{y}\sim\operatorname{gamma}(2.5,7.4),\qquad
\theta\mid\lambda,y\sim\operatorname{normal}\left(3.2,\frac{1}{5\lambda}\right) λ ∣ ∣ y ⟩ ∼ gamma ( 2.5 , 7.4 ) , θ ∣ λ , y ∼ normal ( 3.2 , 5 λ 1 )
である。母平均の中心は2から3.2へ動き、精度の事後平均は
2.5 / 7.4 ≈ 0.3378 2.5/7.4\approx0.3378 2.5/7.4 ≈ 0.3378
となった。ただし、精度を0.3378に固定して終えるのではない。精度にはガンマ分布で表される幅が残っている。その幅を考慮して母平均を調べる方法が、後で学ぶモンテカルロサンプリングと周辺
t t t 分布である。
教科書の分散表記との対応
ここまでの a 0 , b 0 a_0,b_0 a 0 , b 0 を、教科書では ν 0 , σ 0 2 \nu_0,\sigma_0^2 ν 0 , σ 0 2
という二つの数値で表している。新しい仮定ではなく、次の対応で名前を付け直しているだけである。
a 0 = ν 0 2 , b 0 = ν 0 σ 0 2 2 . a_0=\frac{\nu_0}{2},\qquad b_0=\frac{\nu_0\sigma_0^2}{2}. a 0 = 2 ν 0 , b 0 = 2 ν 0 σ 0 2 .
更新後にも同じ対応を使う。
ν n = 2 a n = ν 0 + n , σ n 2 = b n a n . \nu_n=2a_n=\nu_0+n,\qquad
\sigma_n^2=\frac{b_n}{a_n}. ν n = 2 a n = ν 0 + n , σ n 2 = a n b n .
したがって、精度で求めた結果を翻訳すると、
λ ∣ ∣ y ⟩ ∼ gamma ( ν n / 2 , ν n σ n 2 / 2 ) , θ ∣ σ 2 , y ∼ normal ( μ n , σ 2 / κ n ) , σ n 2 = 1 ν n [ ν 0 σ 0 2 + ( n − 1 ) s 2 + κ 0 n κ n ( y ˉ − μ 0 ) 2 ] \begin{gathered}
\lambda\mid\ket{y}\sim\operatorname{gamma}(\nu_n/2,\nu_n\sigma_n^2/2),\\
\theta\mid\sigma^2,y\sim\operatorname{normal}(\mu_n,\sigma^2/\kappa_n),\\
\sigma_n^2=\frac{1}{\nu_n}\left[
\nu_0\sigma_0^2+(n-1)s^2+\frac{\kappa_0n}{\kappa_n}(\bar y-\mu_0)^2
\right]
\end{gathered} λ ∣ ∣ y ⟩ ∼ gamma ( ν n /2 , ν n σ n 2 /2 ) , θ ∣ σ 2 , y ∼ normal ( μ n , σ 2 / κ n ) , σ n 2 = ν n 1 [ ν 0 σ 0 2 + ( n − 1 ) s 2 + κ n κ 0 n ( y ˉ − μ 0 ) 2 ]
となる。これが教科書の更新式である。
ここで 未知の母分散 σ 2 \sigma^2 σ 2 と、計算済みの設定値
σ n 2 \sigma_n^2 σ n 2 は別物である。
後者は分散の事後分布を決める尺度であり、母分散をこの値に固定するという意味ではない。また、
σ n 2 = b n / a n = 1 / E [ λ ∣ ∣ y ⟩ ] \sigma_n^2=b_n/a_n=1/\mathrm{E}[\lambda\mid\ket{y}] σ n 2 = b n / a n = 1/ E [ λ ∣ ∣ y ⟩ ] だが、一般には E [ σ 2 ∣ ∣ y ⟩ ] \mathrm{E}[\sigma^2\mid\ket{y}] E [ σ 2 ∣ ∣ y ⟩ ]
とも異なる。三つの観測値の例なら ν n = 5 \nu_n=5 ν n = 5 、
σ n 2 = 7.4 / 2.5 = 2.96 \sigma_n^2=7.4/2.5=2.96 σ n 2 = 7.4/2.5 = 2.96 である。
この更新で増えるのは、ばらつきを表す「偏差の二乗の合計」である。まず、標本分散の定義を思い出す。
s 2 = ∑ i = 1 n ( y ( i ) − y ˉ ) 2 n − 1 s^2=\frac{\sum_{i=1}^n(y^{(i)}-\bar y)^2}{n-1} s 2 = n − 1 ∑ i = 1 n ( y ( i ) − y ˉ ) 2
したがって、 ( n − 1 ) s 2 (n-1)s^2 ( n − 1 ) s 2
は各観測値と標本平均の差を二乗して足したものであり、
平方和
と呼ぶ。更新式の分子には、次の三つの量が入っている。
最初の二つだけを足すと、二つの中心が離れていることを見落とす。たとえば、過去の測定値が2付近に、今回の測定値が4付近に集まっていれば、全体を一つの集団として見たときには、その中心の差もばらつきに含める必要がある。それを補うのが第3項である。
第3項は、二つの集団の中心の食い違いである
第3項は次のようにも書ける。
κ 0 n κ n ( y ˉ − μ 0 ) 2 = κ 0 ( μ 0 − μ n ) 2 + n ( y ˉ − μ n ) 2 . \frac{\kappa_0n}{\kappa_n}(\bar y-\mu_0)^2
=\kappa_0(\mu_0-\mu_n)^2+n(\bar y-\mu_n)^2. κ n κ 0 n ( y ˉ − μ 0 ) 2 = κ 0 ( μ 0 − μ n ) 2 + n ( y ˉ − μ n ) 2 .
すなわち、事前の集団と現在の集団を一つにまとめたときに、二つの中心がずれていることによって増える平方和である。
たとえば κ 0 = 2 \kappa_0=2 κ 0 = 2 、 n = 3 n=3 n = 3 、
μ 0 = 2 \mu_0=2 μ 0 = 2 、 y ˉ = 4 \bar y=4 y ˉ = 4 なら、統合した平均は
μ n = ( 2 × 2 + 3 × 4 ) / 5 = 3.2 \mu_n=(2\times2+3\times4)/5=3.2 μ n = ( 2 × 2 + 3 × 4 ) /5 = 3.2 である。中心の食い違いによる平方和は
2 ( 2 − 3.2 ) 2 + 3 ( 4 − 3.2 ) 2 = 2.88 + 1.92 = 4.8 2(2-3.2)^2+3(4-3.2)^2=2.88+1.92=4.8 2 ( 2 − 3.2 ) 2 + 3 ( 4 − 3.2 ) 2 = 2.88 + 1.92 = 4.8
であり、第3項の式でも ( 2 × 3 / 5 ) ( 4 − 2 ) 2 = 4.8 (2\times3/5)(4-2)^2=4.8 ( 2 × 3/5 ) ( 4 − 2 ) 2 = 4.8 になる。ここで
ν 0 = 2 \nu_0=2 ν 0 = 2 、 σ 0 2 = 1 \sigma_0^2=1 σ 0 2 = 1 、 s 2 = 4 s^2=4 s 2 = 4
とすれば、事後の尺度は ( 2 + 8 + 4.8 ) / ( 2 + 3 ) = 2.96 (2+8+4.8)/(2+3)=2.96 ( 2 + 8 + 4.8 ) / ( 2 + 3 ) = 2.96
となる。中心の食い違いを落とすと 2 2 2
になり、ばらつきを小さく見積もる。
教科書の「第3項は分散の推定値」という解釈は、 μ 0 \mu_0 μ 0
を独立な過去の κ 0 \kappa_0 κ 0
個の標本の平均とみなすと理解できる。その場合、 Y ˉ − μ 0 \bar Y-\mu_0 Y ˉ − μ 0
の分散は σ 2 ( 1 / n + 1 / κ 0 ) \sigma^2(1/n+1/\kappa_0) σ 2 ( 1/ n + 1/ κ 0 ) であり、第3項の期待値は
σ 2 \sigma^2 σ 2 となる。固定した主観的予想 μ 0 \mu_0 μ 0
に対して、常に不偏推定値となるわけではない。
分散の分布へ戻す:逆ガンマ分布とPythonの引数
精度の分布がわかれば、分散はその逆数として求められる。ここでは分散そのものの分布と平均を確認する。
ここだけは一般的な変数名を使い、精度に相当する変数を
Q ∼ gamma ( a , b ) Q\sim\operatorname{gamma}(a,b) Q ∼ gamma ( a , b ) 、分散に相当する変数を V = 1 / Q V=1/Q V = 1/ Q
と書く。第2引数 b b b は 率(rate)
であり、 Q Q Q の密度は q a − 1 e − b q q^{a-1}e^{-bq} q a − 1 e − b q
に比例する。逆数への変数変換によって、
p V ( v ) = b a Γ ( a ) v − a − 1 e − b / v , v > 0 p_V(v)=\frac{b^a}{\Gamma(a)}v^{-a-1}e^{-b/v},\qquad v>0 p V ( v ) = Γ ( a ) b a v − a − 1 e − b / v , v > 0
となり、これを inverse-gamma ( a , b ) \operatorname{inverse\text{-}gamma}(a,b) inverse - gamma ( a , b ) と書く。 Γ ( a ) \Gamma(a) Γ ( a )
は密度を面積1にするためのガンマ関数で、正の整数では Γ ( a ) = ( a − 1 ) ! \Gamma(a)=(a-1)! Γ ( a ) = ( a − 1 )!
である。
なぜ v v v のべきが − a − 1 -a-1 − a − 1
になるのかも確認しよう。 q = 1 / v q=1/v q = 1/ v を代入すると、
q a − 1 q^{a-1} q a − 1 は v − ( a − 1 ) v^{-(a-1)} v − ( a − 1 )
になる。さらに、横軸を逆数にすると小区間の幅が変わるため、微分の絶対値
∣ d q / d v ∣ = 1 / v 2 \lvert dq/dv\rvert=1/v^2 ∣ d q / d v ∣ = 1/ v 2 を掛ける。合わせると v − ( a − 1 ) v − 2 = v − a − 1 v^{-(a-1)}v^{-2}=v^{-a-1} v − ( a − 1 ) v − 2 = v − a − 1
である。この幅の補正により、変換前後で同じ出来事の確率が保たれる。
数式中の gammaPDF ( x , a , b ) \operatorname{gammaPDF}(x,a,b) gammaPDF ( x , a , b ) は、この形状 a a a ・率
b b b のガンマ密度を x x x
で評価する記法とする。Pythonでは引数の約束を次のように翻訳する。
精度の平均は a / b a/b a / b だが、分散の平均は
a > 1 a>1 a > 1 のとき b / ( a − 1 ) b/(a-1) b / ( a − 1 )
である。先ほどの三つの観測値の例なら、精度の平均の逆数は
7.4 / 2.5 = 2.96 7.4/2.5=2.96 7.4/2.5 = 2.96 、分散の平均は 7.4 / ( 2.5 − 1 ) ≈ 4.9333 7.4/(2.5-1)\approx4.9333 7.4/ ( 2.5 − 1 ) ≈ 4.9333
となる。「平均してから逆数」と「逆数にしてから平均」は一般には一致しない。たとえば精度が50と100で半々なら、精度の平均の逆数は
1 / 75 ≈ 0.01333 1/75\approx0.01333 1/75 ≈ 0.01333 だが、分散の平均は ( 1 / 50 + 1 / 100 ) / 2 = 0.015 (1/50+1/100)/2=0.015 ( 1/50 + 1/100 ) /2 = 0.015
になる。
教科書の事前パラメータで書けば、精度の事前分布は次の形だった。
1 / σ 2 ∼ gamma ( ν 0 2 , ν 0 2 σ 0 2 ) . 1/\sigma^2\sim\operatorname{gamma}\left(\frac{\nu_0}{2},\frac{\nu_0}{2}\sigma_0^2\right). 1/ σ 2 ∼ gamma ( 2 ν 0 , 2 ν 0 σ 0 2 ) .
このパラメータ付けのもとでは、
ν 0 > 2 \nu_0>2 ν 0 > 2 なら、 E [ σ 2 ] = σ 0 2 ν 0 / 2 ν 0 / 2 − 1 \displaystyle \mathrm{E}[\sigma^2]=\sigma_0^2\frac{\nu_0/2}{\nu_0/2-1} E [ σ 2 ] = σ 0 2 ν 0 /2 − 1 ν 0 /2 である。
ν 0 ≤ 2 \nu_0\le2 ν 0 ≤ 2 では平均は有限でない。
mode [ σ 2 ] = σ 0 2 ν 0 / 2 ν 0 / 2 + 1 \displaystyle \operatorname{mode}[\sigma^2]=\sigma_0^2\frac{\nu_0/2}{\nu_0/2+1} mode [ σ 2 ] = σ 0 2 ν 0 /2 + 1 ν 0 /2 であり、平均が有限なら mode [ σ 2 ] < σ 0 2 < E [ σ 2 ] \operatorname{mode}[\sigma^2]<\sigma_0^2<\mathrm{E}[\sigma^2] mode [ σ 2 ] < σ 0 2 < E [ σ 2 ]
となる。
ν 0 > 4 \nu_0>4 ν 0 > 4 なら Var [ σ 2 ] = 2 ν 0 2 ( σ 0 2 ) 2 / { ( ν 0 − 2 ) 2 ( ν 0 − 4 ) } \operatorname{Var}[\sigma^2]=2\nu_0^2(\sigma_0^2)^2/\{(\nu_0-2)^2(\nu_0-4)\} Var [ σ 2 ] = 2 ν 0 2 ( σ 0 2 ) 2 / {( ν 0 − 2 ) 2 ( ν 0 − 4 )} であり、
σ 0 2 \sigma_0^2 σ 0 2 を固定すると ν 0 \nu_0 ν 0
に関して減少する。 ν 0 ≤ 4 \nu_0\le4 ν 0 ≤ 4
では有限な分散は存在しない。
更新式を読むときには、 σ 0 2 \sigma_0^2 σ 0 2 をばらつきの目安、
ν 0 \nu_0 ν 0
をその目安に与える情報の量として考えるとよい。ただし、
σ 0 2 \sigma_0^2 σ 0 2
は上記のとおり、母分散の事前平均そのものではない。また、
ν 0 \nu_0 ν 0 が実在する過去の標本数である必要もない。
羽虫の例
羽虫のデータに戻る。別の集団に関する調査を参考に、平均は1.9
mm付近、個体間の標準偏差の目安は0.1 mmと考える。そこで
μ 0 = 1.9 \mu_0=1.9 μ 0 = 1.9 、 σ 0 2 = 0.1 2 = 0.01 \sigma_0^2=0.1^2=0.01 σ 0 2 = 0. 1 2 = 0.01
とする。ただし、別の集団の結果を今回の集団に強く当てはめすぎないように、事前情報の重みを
κ 0 = ν 0 = 1 \kappa_0=\nu_0=1 κ 0 = ν 0 = 1 と小さくする。
このときの σ 0 2 = 0.01 \sigma_0^2=0.01 σ 0 2 = 0.01 は尺度パラメータであり、事前平均
E [ σ 2 ] \mathrm{E}[\sigma^2] E [ σ 2 ] ではない。 ν 0 = 1 \nu_0=1 ν 0 = 1
なので分散の事前平均は有限でなく、さらに θ \theta θ
の周辺事前分布は自由度1の t t t
分布となり、その期待値も存在しない。したがって μ 0 = 1.9 \mu_0=1.9 μ 0 = 1.9
は条件付き事前平均、または周辺事前分布の位置・中央値として読む。「情報が弱い」とは、必ずしも通常の意味での平均と分散を持つ、広い分布ということではない。
われわれが観測したデータの標本平均は y ˉ = 1.804 \bar y=1.804 y ˉ = 1.804
、標本分散は s 2 = 0.0169 s^2=0.0169 s 2 = 0.0169 ( s = 0.130 s=0.130 s = 0.130
)である。これらの値と事前分布のパラメータから、 μ n \mu_n μ n と
σ n 2 \sigma_n^2 σ n 2 を次のように計算する。
μ n = κ 0 μ 0 + n y ˉ κ n = 1.9 + 9 × 1.804444 … 1 + 9 = 1.814 , σ n 2 = 1 ν n [ ν 0 σ 0 2 + ( n − 1 ) s 2 + κ 0 n κ n ( y ˉ − μ 0 ) 2 ] ≈ 0.010 + 0.135 + 0.008 10 ≈ 0.015. \begin{gathered}
\mu_n
=\frac{\kappa_0\mu_0+n\bar y}{\kappa_n}
=\frac{1.9+9\times1.804444\ldots}{1+9}
=1.814,\\
\begin{aligned}
\sigma_n^2
&=\frac{1}{\nu_n}\left[\nu_0\sigma_0^2+(n-1)s^2+\frac{\kappa_0n}{\kappa_n}(\bar y-\mu_0)^2\right]\\
&\approx\frac{0.010+0.135+0.008}{10}\approx0.015.
\end{aligned}
\end{gathered} μ n = κ n κ 0 μ 0 + n y ˉ = 1 + 9 1.9 + 9 × 1.804444 … = 1.814 , σ n 2 = ν n 1 [ ν 0 σ 0 2 + ( n − 1 ) s 2 + κ n κ 0 n ( y ˉ − μ 0 ) 2 ] ≈ 10 0.010 + 0.135 + 0.008 ≈ 0.015.
この計算は以下のPythonコードで実行できる。
import numpy as np
from scipy.stats import invgamma, t
mu0, k0 = 1.9 , 1.0
s20, nu0 = 0.010 , 1.0
y = np.array([1.64 , 1.70 , 1.72 , 1.74 , 1.82 , 1.82 , 1.82 , 1.90 , 2.08 ])
n, ybar, s2 = y.size, y.mean(), y.var(ddof= 1 )
kn, nun = k0 + n, nu0 + n
mun = (k0 * mu0 + n * ybar) / kn
s2n = (nu0 * s20 + (n - 1 ) * s2 + k0 * n / kn * (ybar - mu0)** 2 ) / nun
print (mun, s2n, np.sqrt(s2n))
# 1.814 0.015324 0.123790145...
# 精度の形状・率で計算しても、同じ結果になる。
a0, b0 = nu0 / 2 , nu0 * s20 / 2
an = a0 + n / 2
bn = b0 + ((n - 1 ) * s2 + k0 * n / kn * (ybar - mu0)** 2 ) / 2
print (an, bn, bn / an)
# 5.0 0.07662 0.015324
精度で同じ計算をたどると、事前の形状は a 0 = 1 / 2 a_0=1/2 a 0 = 1/2 、率は
b 0 = 0.005 b_0=0.005 b 0 = 0.005
である。データ内の平方和が約0.1350222、中心の食い違いによる平方和が約0.0082178なので、
a n = 0.5 + 9 / 2 = 5 , b n ≈ 0.005 + 0.1350222 + 0.0082178 2 = 0.07662. a_n=0.5+9/2=5,\qquad
b_n\approx0.005+\frac{0.1350222+0.0082178}{2}=0.07662. a n = 0.5 + 9/2 = 5 , b n ≈ 0.005 + 2 0.1350222 + 0.0082178 = 0.07662.
同時事後分布は μ n = 1.814 \mu_n=1.814 μ n = 1.814 、 κ n = 10 \kappa_n=10 κ n = 10 、
a n = 5 a_n=5 a n = 5 、 b n = 0.07662 b_n=0.07662 b n = 0.07662
によって完全に定まり、次のように表される。
λ ∣ ∣ y ⟩ ∼ gamma ( 5 , 0.07662 ) , θ ∣ λ , y ∼ normal ( 1.814 , 1 / ( 10 λ ) ) . \begin{gathered}
\lambda\mid\ket{y}\sim\operatorname{gamma}(5,0.07662),\\
\theta\mid\lambda,y\sim\operatorname{normal}(1.814,1/(10\lambda)).
\end{gathered} λ ∣ ∣ y ⟩ ∼ gamma ( 5 , 0.07662 ) , θ ∣ λ , y ∼ normal ( 1.814 , 1/ ( 10 λ )) .
分散表記では ν n = 10 \nu_n=10 ν n = 10 、 σ n 2 = 0.015324 \sigma_n^2=0.015324 σ n 2 = 0.015324 、
θ ∣ σ 2 , y ∼ normal ( 1.814 , σ 2 / 10 ) \theta\mid\sigma^2,y\sim\operatorname{normal}(1.814,\sigma^2/10) θ ∣ σ 2 , y ∼ normal ( 1.814 , σ 2 /10 ) である。ここで精度の事後平均は 5 / 0.07662 ≈ 65.257 5/0.07662\approx65.257 5/0.07662 ≈ 65.257
mm⁻²、分散の事後平均は 0.07662 / ( 5 − 1 ) = 0.019155 0.07662/(5-1)=0.019155 0.07662/ ( 5 − 1 ) = 0.019155
mm²となる。分散の尺度0.015324と分散の平均0.019155を区別しよう。
図5.4の上段には ( θ , λ ) (\theta,\lambda) ( θ , λ )
の二変量事後密度の等高線が描かれている。教科書で精度を表す
σ ~ 2 \tilde\sigma^2 σ ~ 2 は、本節の λ \lambda λ
と同じ量である。この図を描くには、格子点にあたる各 ( θ k , λ l ) (\theta_k,\lambda_l) ( θ k , λ l )
について、
normalPDF ( θ k , μ n , 1 / 10 λ l ) × gammaPDF ( λ l , 5 , 0.07662 ) \operatorname{normalPDF}(\theta_k,\mu_n,1/\sqrt{10\lambda_l})
\times
\operatorname{gammaPDF}(\lambda_l,5,0.07662) normalPDF ( θ k , μ n , 1/ 10 λ l ) × gammaPDF ( λ l , 5 , 0.07662 )
を計算すればよい。同様に、下段には ( θ , σ 2 ) (\theta,\sigma^2) ( θ , σ 2 )
の同時事後密度が描かれている。等高線を θ \theta θ
の関数として見ると、 σ 2 \sigma^2 σ 2
の値が低いところではより尖っていることに注目しよう。
次の図では、母平均の不確かさが精度・分散とどう結びつくかを読む。原図の左右のパネルを上下に並べ、色が濃いほどその座標での同時密度が高いことを表す。
図5.4 羽虫の同時事後密度。上は母平均と精度、下は母平均と分散。色は各座標系での密度。
精度が大きい上側、または分散が小さい下側では、母平均が狭い範囲に集中する。二つの図は同じ確率分布を異なる座標で表したものだが、変数変換のヤコビアンにより密度の数値は異なる。そのため、色の数値範囲はパネルごとに示している。等高線は密度が等しい線であり、95%信用領域の境界ではない。表示窓外の裾は省略しているが、再正規化していない。
モンテカルロサンプリング
ここで知りたいのは、「母平均はどのくらいか」「1.9
mmより小さい確率はいくらか」といった、母平均だけについての結論である。そのためには、分散を固定した
p ( θ ∣ σ 2 , ∣ y ⟩ ) p(\theta\mid\sigma^2,\ket{y}) p ( θ ∣ σ 2 , ∣ y ⟩ ) ではなく、分散の不確かさも含めた
p ( θ ∣ ∣ y ⟩ ) p(\theta\mid\ket{y}) p ( θ ∣ ∣ y ⟩ ) を使う。後者を母平均の
周辺事後分布 と呼ぶ。
この分布を乱数で調べるには、まず精度を事後分布から一つ選び、次に、その精度に対応する正規分布から母平均を一つ選ぶ。この2段階を何度も繰り返す。
λ [ s ] ∼ gamma ( a n , b n ) , θ [ s ] ∼ normal ( μ n , 1 κ n λ [ s ] ) . \lambda^{[s]}\sim\operatorname{gamma}(a_n,b_n),\qquad
\theta^{[s]}\sim\operatorname{normal}\left(\mu_n,\frac{1}{\kappa_n\lambda^{[s]}}\right). λ [ s ] ∼ gamma ( a n , b n ) , θ [ s ] ∼ normal ( μ n , κ n λ [ s ] 1 ) .
上付きの [ s ] [s] [ s ] は s s s
回目の抽出を表す番号であり、べき乗ではない。同じ回の精度と母平均を組にすることが大切である。精度の逆数を
σ 2 [ s ] = 1 / λ [ s ] \sigma^{2\,[s]}=1/\lambda^{[s]} σ 2 [ s ] = 1/ λ [ s ] と書けば、教科書の次の手順と同じである。
σ 2 [ 1 ] ∼ inverse-gamma ( ν n / 2 , σ n 2 ν n / 2 ) , θ [ 1 ] ∼ normal ( μ n , σ 2 [ 1 ] / κ n ) , ⋮ ⋮ σ 2 [ S ] ∼ inverse-gamma ( ν n / 2 , σ n 2 ν n / 2 ) , θ [ S ] ∼ normal ( μ n , σ 2 [ S ] / κ n ) . \begin{aligned}
\sigma^{2\,[1]}&\sim\operatorname{inverse\text{-}gamma}(\nu_n/2,\sigma_n^2\nu_n/2),
&\theta^{[1]}&\sim\operatorname{normal}(\mu_n,\sigma^{2\,[1]}/\kappa_n),\\
&\vdots&&\vdots\\
\sigma^{2\,[S]}&\sim\operatorname{inverse\text{-}gamma}(\nu_n/2,\sigma_n^2\nu_n/2),
&\theta^{[S]}&\sim\operatorname{normal}(\mu_n,\sigma^{2\,[S]}/\kappa_n).
\end{aligned} σ 2 [ 1 ] σ 2 [ S ] ∼ inverse - gamma ( ν n /2 , σ n 2 ν n /2 ) , ⋮ ∼ inverse - gamma ( ν n /2 , σ n 2 ν n /2 ) , θ [ 1 ] θ [ S ] ∼ normal ( μ n , σ 2 [ 1 ] / κ n ) , ⋮ ∼ normal ( μ n , σ 2 [ S ] / κ n ) .
ここで θ [ s ] \theta^{[s]} θ [ s ] はデータと σ 2 = σ 2 [ s ] \sigma^2=\sigma^{2\,[s]} σ 2 = σ 2 [ s ]
を所与とした条件付き分布からサンプリングされていることに注意が必要である。この手順はPythonでも簡潔に実行できる。ここでは先ほどの
mun, kn, an, bn
を用いる。
rng = np.random.default_rng(505 )
S = 10_000
precision_postsample = rng.gamma(shape= an, scale= 1 / bn, size= S)
s2_postsample = 1 / precision_postsample
theta_postsample = rng.normal(loc= mun, scale= np.sqrt(s2_postsample / kn))
この手順で得られる
{ ( σ 2 [ 1 ] , θ [ 1 ] ) , … , ( σ 2 [ S ] , θ [ S ] ) } \{(\sigma^{2\,[1]},\theta^{[1]}),\ldots,(\sigma^{2\,[S]},\theta^{[S]})\} {( σ 2 [ 1 ] , θ [ 1 ] ) , … , ( σ 2 [ S ] , θ [ S ] )}
という組は、同時事後分布 p ( θ , σ 2 ∣ ∣ y ⟩ ) p(\theta,\sigma^2\mid\ket{y}) p ( θ , σ 2 ∣ ∣ y ⟩ )
からの独立な標本になる。各組から θ \theta θ
だけを取り出して集計すれば、母平均の周辺事後分布を近似できる。
ここで重要なのは、全ての回で同じ分散を使っているわけではないことである。各回では一つの分散に条件付けているが、全体としては分散の事後分布に従って、幅の異なる正規分布を混ぜている。次の数値例で、その違いを確かめる。
条件付き標本を集めると、なぜ周辺分布になるのか
たとえば生成した分散が0.01なら、その回の θ \theta θ
は平均1.814、標準偏差 0.01 / 10 ≈ 0.0316 \sqrt{0.01/10}\approx0.0316 0.01/10 ≈ 0.0316
の正規分布から作る。別の回に分散0.04を得たなら、標準偏差は
0.04 / 10 ≈ 0.0632 \sqrt{0.04/10}\approx0.0632 0.04/10 ≈ 0.0632 となる。中心は同じだが、分散が大きい回には遠くの
θ \theta θ も出やすい。
積分の意味をつかむため、一時的に「精度は100か25の二択で、事後確率はそれぞれ0.75と0.25」とした簡単な別モデルを考えよう。これは羽虫のガンマ事後分布そのものではなく、混ぜ方を説明するための例である。分散に戻すと、それぞれ0.01と0.04になる。「母平均が1.85
mm未満」という出来事の確率は次のようになる。
したがって、精度を固定しないときの確率は、
Pr ( θ < 1.85 ∣ ∣ y ⟩ ) ≈ 0.75 × 0.8725 + 0.25 × 0.7154 ≈ 0.8332 \Pr(\theta<1.85\mid\ket{y})
\approx0.75\times0.8725+0.25\times0.7154
\approx0.8332 Pr ( θ < 1.85 ∣ ∣ y ⟩ ) ≈ 0.75 × 0.8725 + 0.25 × 0.7154 ≈ 0.8332
となる。1万回の抽出なら、平均すると約7,500回は細い正規分布から、約2,500回は太い正規分布から母平均を選ぶことに相当する。このように
分布全体を混ぜる
のであって、二つの精度を平均して一つの正規分布を作るのではない。実際の羽虫のモデルでは精度の候補が連続的にあるため、この足し算が積分になる。
ある領域 A A A に入る割合を考えると、この手順は
Pr ( θ ∈ A ∣ ∣ y ⟩ ) = ∫ Pr ( θ ∈ A ∣ σ 2 , ∣ y ⟩ ) p ( σ 2 ∣ ∣ y ⟩ ) d σ 2 \Pr(\theta\in A\mid\ket{y})
=\int\Pr(\theta\in A\mid\sigma^2,\ket{y})\,p(\sigma^2\mid\ket{y})\,d\sigma^2 Pr ( θ ∈ A ∣ ∣ y ⟩ ) = ∫ Pr ( θ ∈ A ∣ σ 2 , ∣ y ⟩ ) p ( σ 2 ∣ ∣ y ⟩ ) d σ 2
という重み付き平均を乱数で実行している。全ての分散を同じ頻度で使うのではなく、事後分布で起こりやすい分散を多く使うことが重要である。各回は前の回を参照しないため、得られる組は独立標本であり、MCMCのバーンインや自己相関を考える必要はない。
今回の10,000標本による母平均の事後平均の近似は1.813232
mm、厳密値は1.814 mmであり、計算値のモンテカルロ標準誤差は約0.000432
mmである。一方、母平均そのものの事後標準偏差は約0.04377
mmである。計算の反復数を増やすと前者は減るが、データ9匹から生じる後者は減らない。
図5.5は ( θ , σ 2 ) (\theta,\sigma^2) ( θ , σ 2 )
の同時事後分布からの標本と、周辺事後分布のカーネル密度推定値を示している。このモンテカルロ標本によって、事後分布に基づくどのような量も近似することができる。たとえば、95%等裾信用区間を得るにはPythonで
print (np.quantile(theta_postsample, [0.025 , 0.975 ]))
# シード505では [1.725790, 1.898702]。丸めると [1.73, 1.90]。
とすればよく、結果は ( 1.73 , 1.90 ) (1.73,1.90) ( 1.73 , 1.90 )
となる。実はこのモデルでは、乱数を使わなくても周辺事後分布を厳密に求められる。その答えが
t t t
分布である。まず図5.5で「二つの未知量の組」と「片方だけを集計した分布」の対応を確認し、その後で
t t t 分布になる理由を追う。
ここでは、同時分布から得た点の集まりと、それぞれの変数だけを集計した周辺分布との対応を見る。下段では母平均の95%等裾信用区間を実線、頻度論の95%信頼区間を破線で示す。
図5.5 同時標本と周辺密度。10,000組から最初の5,000組を散布。KDEはScott帯域幅の3倍。
分散が大きい点ほど母平均が左右に広がり、分散の周辺分布には右側の長い裾がある。KDEは平滑化による近似なので、厳密密度とは完全には一致しない。特に分散0付近では通常のKDEに境界バイアスがある。密度図の表示範囲外の裾は省略しているが、分位点は分布全体から計算している。
精度を混ぜると、なぜ正規分布から t t t
分布に変わるのか
母平均の周辺分布を求めるには、今度は精度について積分する。
p ( θ ∣ ∣ y ⟩ ) = ∫ 0 ∞ p ( θ ∣ λ , ∣ y ⟩ ) p ( λ ∣ ∣ y ⟩ ) d λ . p(\theta\mid\ket{y})=\int_0^\infty
p(\theta\mid\lambda,\ket{y})p(\lambda\mid\ket{y})\,d\lambda. p ( θ ∣ ∣ y ⟩ ) = ∫ 0 ∞ p ( θ ∣ λ , ∣ y ⟩ ) p ( λ ∣ ∣ y ⟩ ) d λ .
この積分は、直前の二択の例と同じ重み付き平均である。精度が高い場合には中心近くの母平均が出やすく、精度が低い場合には中心から遠い母平均も出やすい。後者も残して混ぜるため、正規分布より裾の重い分布になる。この正規・ガンマの組み合わせで、混ぜた結果がちょうど
t t t 分布になる。
式でも確かめよう。積分の中に条件付き正規密度とガンマ密度を代入し、
θ \theta θ に依存しない定数を除くと、
p ( θ ∣ ∣ y ⟩ ) ∝ ∫ 0 ∞ λ a n − 1 / 2 exp { − [ b n + κ n ( θ − μ n ) 2 2 ] λ } d λ . p(\theta\mid\ket{y})\propto\int_0^\infty
\lambda^{a_n-1/2}
\exp\left\{-\left[b_n+\frac{\kappa_n(\theta-\mu_n)^2}{2}\right]\lambda\right\}\,d\lambda. p ( θ ∣ ∣ y ⟩ ) ∝ ∫ 0 ∞ λ a n − 1/2 exp { − [ b n + 2 κ n ( θ − μ n ) 2 ] λ } d λ .
ガンマ密度の面積が1であることから、正の c , d c,d c , d
に対して、
∫ 0 ∞ λ c − 1 e − d λ d λ = Γ ( c ) d c \int_0^\infty\lambda^{c-1}e^{-d\lambda}\,d\lambda
=\frac{\Gamma(c)}{d^c} ∫ 0 ∞ λ c − 1 e − d λ d λ = d c Γ ( c )
が成り立つ。ここで c = a n + 1 / 2 c=a_n+1/2 c = a n + 1/2 、 d = b n + κ n ( θ − μ n ) 2 / 2 d=b_n+\kappa_n(\theta-\mu_n)^2/2 d = b n + κ n ( θ − μ n ) 2 /2
と置けば、
p ( θ ∣ ∣ y ⟩ ) ∝ [ 1 + κ n ( θ − μ n ) 2 2 b n ] − ( a n + 1 / 2 ) p(\theta\mid\ket{y})\propto
\left[1+\frac{\kappa_n(\theta-\mu_n)^2}{2b_n}\right]^{-(a_n+1/2)} p ( θ ∣ ∣ y ⟩ ) ∝ [ 1 + 2 b n κ n ( θ − μ n ) 2 ] − ( a n + 1/2 )
となる。標準的な t t t 分布の密度は
[ 1 + t 2 / ν ] − ( ν + 1 ) / 2 [1+t^2/\nu]^{-(\nu+1)/2} [ 1 + t 2 / ν ] − ( ν + 1 ) /2 に比例する形なので、対応を比べると、
θ − μ n b n / ( a n κ n ) ∣ y ∼ t 2 a n \frac{\theta-\mu_n}{\sqrt{b_n/(a_n\kappa_n)}}\ \bigg|\ y
\sim t_{2a_n} b n / ( a n κ n ) θ − μ n y ∼ t 2 a n
と読める。教科書の記号では 2 a n = ν n 2a_n=\nu_n 2 a n = ν n 、
b n / a n = σ n 2 b_n/a_n=\sigma_n^2 b n / a n = σ n 2 なので、分母は σ n 2 / κ n \sqrt{\sigma_n^2/\kappa_n} σ n 2 / κ n になる。
t t t 分布の 自由度
は裾の重さを決める数値であり、小さいほど裾が重く、大きくなるほど標準正規分布に近づく。
たとえば三つの観測値の例では、母平均の周辺分布は位置3.2、自由度5、尺度
7.4 / ( 2.5 × 5 ) ≈ 0.7694 \sqrt{7.4/(2.5\times5)}\approx0.7694 7.4/ ( 2.5 × 5 ) ≈ 0.7694 の t t t
分布である。羽虫では位置1.814、自由度10、尺度約0.039146
mmとなる。これで、精度を一つに固定しない母平均の分布まで求められた。
周辺 t t t 分布の尺度は、標準偏差ではない
ここで区別したいのは、
「もとの分布を横方向に何倍に伸ばしたか」と「できあがった分布の標準偏差はいくつか」
である。前者が尺度で、後者が標準偏差である。正規分布ではこの二つが同じ数値になるため、
t t t 分布でも同じだと思いやすい。しかし、
標準的な t t t
分布は、もともと標準偏差が1ではない
。この違いを順に確認しよう。
尺度は、中心からの距離を何倍にするかを表す
まず、自由度 ν \nu ν の標準的な t t t
分布に従う変数を T T T とする。これを使って、新しい変数
X X X を次のように作る。
T ∼ t ν , X = μ + a T , a > 0. T\sim t_\nu,\qquad X=\mu+aT,\qquad a>0. T ∼ t ν , X = μ + a T , a > 0.
この式は、「 T T T の値を a a a
倍してから、 μ \mu μ を足す」という操作である。
μ \mu μ は分布の中心を置く場所なので
位置パラメータ 、 a a a
は中心からの距離を伸び縮みさせるので 尺度パラメータ
と呼ぶ。
たとえば、 X = 10 + 2 T X=10+2T X = 10 + 2 T なら、値の対応は次のようになる。
中心からの距離がすべて2倍になっている。したがって尺度は2である。ただし、この対応だけでは、8や12や16の近くにどのくらい確率が集まるかまでは決まらない。それには、もとの
T T T の分布、つまり自由度 ν \nu ν
も必要である。
一方、標準偏差は、平均からの距離を二乗して確率で平均し、その平方根を取った量である。
SD \operatorname{SD} SD
を標準偏差の記号とすると、平均と分散が存在する場合には、
SD ( X ) = E [ ( X − E [ X ] ) 2 ] . \operatorname{SD}(X)
=\sqrt{\mathrm{E}\left[(X-\mathrm{E}[X])^2\right]}. SD ( X ) = E [ ( X − E [ X ] ) 2 ] .
となる。中心から遠い値も、その起こりやすさに応じて計算に入る。したがって、標準偏差は横方向の倍率だけでなく、
もとの分布がどの程度ばらついているか
にも左右される。
正規分布で尺度と標準偏差が一致する理由
標準正規分布の変数 Z ∼ normal ( 0 , 1 ) Z\sim\operatorname{normal}(0,1) Z ∼ normal ( 0 , 1 )
は、標準偏差が1である。そのため、 X = μ + a Z X=\mu+aZ X = μ + a Z とすると、
SD ( X ) = a SD ( Z ) = a × 1 = a \operatorname{SD}(X)=a\operatorname{SD}(Z)=a\times1=a SD ( X ) = a SD ( Z ) = a × 1 = a
になる。つまり、尺度と標準偏差が一致するのは、
出発点の標準偏差が1だから である。
ところが、標準的な t t t 分布では、自由度
ν > 2 \nu>2 ν > 2 のとき、
Var ( T ) = ν ν − 2 , SD ( T ) = ν ν − 2 > 1. \operatorname{Var}(T)=\frac{\nu}{\nu-2},\qquad
\operatorname{SD}(T)=\sqrt{\frac{\nu}{\nu-2}}>1. Var ( T ) = ν − 2 ν , SD ( T ) = ν − 2 ν > 1.
である。ここで「標準的」とは、位置0・尺度1の基準となる形を指す。
「標準偏差を1に調整した」という意味ではない 。
t t t
分布は標準正規分布より裾が重く、中心から遠い値も出やすいため、それらの距離の二乗を含めて計算する標準偏差が大きくなる。
したがって、 X = μ + a T X=\mu+aT X = μ + a T の標準偏差は、
Var ( X ) = E [ ( a T ) 2 ] = a 2 ν ν − 2 , SD ( X ) = a ν ν − 2 ( ν > 2 ) \begin{aligned}
\operatorname{Var}(X)
&=\mathrm{E}\left[(aT)^2\right]
=a^2\frac{\nu}{\nu-2},\\
\operatorname{SD}(X)
&=a\sqrt{\frac{\nu}{\nu-2}}
\qquad (\nu>2)
\end{aligned} Var ( X ) SD ( X ) = E [ ( a T ) 2 ] = a 2 ν − 2 ν , = a ν − 2 ν ( ν > 2 )
となる。ここでは E [ T ] = 0 \mathrm{E}[T]=0 E [ T ] = 0 なので、 E [ X ] = μ \mathrm{E}[X]=\mu E [ X ] = μ
を使った。標準偏差は確かに a a a
倍になるが、もとの標準偏差が1より大きいため、結果は a a a
より大きくなる。
たとえば、先ほどの X = 10 + 2 T X=10+2T X = 10 + 2 T で自由度を
ν = 4 \nu=4 ν = 4 とすれば、
尺度 = 2 , SD ( X ) = 2 4 4 − 2 = 2 2 ≈ 2.828. \text{尺度}=2,\qquad
\operatorname{SD}(X)=2\sqrt{\frac{4}{4-2}}=2\sqrt{2}\approx2.828. 尺度 = 2 , SD ( X ) = 2 4 − 2 4 = 2 2 ≈ 2.828.
である。同じ尺度2でも、正規分布をもとにした場合の標準偏差は2、自由度4の
t t t 分布をもとにした場合は約2.828になる。
自由度が大きくなると ν / ( ν − 2 ) \nu/(\nu-2) ν / ( ν − 2 )
は1に近づくため、この違いは小さくなる。逆に、 0 < ν ≤ 2 0<\nu\le2 0 < ν ≤ 2
では有限の標準偏差が存在しないが、尺度 a a a
は指定できる。このことからも、尺度と標準偏差が異なる量だとわかる。
羽虫の例では、どの数値が何を表すのか
本章で求めた母平均 θ \theta θ
の周辺事後分布は、次の形だった。
θ = μ n + σ n 2 / κ n T , T ∣ ∣ y ⟩ ∼ t ν n . \theta=\mu_n+\sqrt{\sigma_n^2/\kappa_n}\,T,\qquad T\mid\ket{y}\sim t_{\nu_n}. θ = μ n + σ n 2 / κ n T , T ∣ ∣ y ⟩ ∼ t ν n .
これは X = μ + a T X=\mu+aT X = μ + a T と同じ形なので、 T T T
に掛かっている σ n 2 / κ n \sqrt{\sigma_n^2/\kappa_n} σ n 2 / κ n
が尺度である。羽虫の例の値を代入すると、
θ = 1.814 + 0.015324 10 T ≈ 1.814 + 0.039146 T , T ∣ ∣ y ⟩ ∼ t 10 . \theta=1.814+\sqrt{\frac{0.015324}{10}}\,T
\approx1.814+0.039146T,\qquad T\mid\ket{y}\sim t_{10}. θ = 1.814 + 10 0.015324 T ≈ 1.814 + 0.039146 T , T ∣ ∣ y ⟩ ∼ t 10 .
となる。母平均 θ \theta θ の単位は mm で、
T T T には単位がない。この式の位置1.814と尺度0.039146には
mm の単位が付く。
つまり、0.039146 mmは「 T T T が1増えると
θ \theta θ がどれだけ増えるか」であり、0.043766
mmは「母平均の事後分布全体から計算した標準偏差」である。後者も、個々の羽虫の羽の長さの標準偏差ではなく、
母平均についての不確かさ を表す。
分散を混ぜたことからも、同じ標準偏差を求められる
この違いは、 t t t
分布の公式だけでなく、直前の「分散を固定せずに正規分布を混ぜる」という考え方からも確認できる。分散
σ 2 \sigma^2 σ 2 を一つに固定したときは、
θ ∣ σ 2 , y ∼ normal ( μ n , σ 2 κ n ) . \theta\mid\sigma^2,y
\sim\operatorname{normal}\left(\mu_n,\frac{\sigma^2}{\kappa_n}\right). θ ∣ σ 2 , y ∼ normal ( μ n , κ n σ 2 ) .
である。どの σ 2 \sigma^2 σ 2 でも中心は同じ μ n \mu_n μ n
なので、各正規分布の「中心からの距離の二乗の平均」は
σ 2 / κ n \sigma^2/\kappa_n σ 2 / κ n となる。これを σ 2 \sigma^2 σ 2
の事後確率で平均すれば、混ぜた後の分散になる。
Var ( θ ∣ ∣ y ⟩ ) = E [ σ 2 κ n | y ] = E [ σ 2 ∣ ∣ y ⟩ ] κ n . \operatorname{Var}(\theta\mid\ket{y})
=\mathrm{E}\left[\frac{\sigma^2}{\kappa_n}\,\middle|\,y\right]
=\frac{\mathrm{E}[\sigma^2\mid\ket{y}]}{\kappa_n}. Var ( θ ∣ ∣ y ⟩ ) = E [ κ n σ 2 y ] = κ n E [ σ 2 ∣ ∣ y ⟩ ] .
ここで注意したいのは、パラメータ σ n 2 \sigma_n^2 σ n 2
は分散の事後平均そのものではないことである。前に求めた逆ガンマ分布の平均を使うと、
E [ σ 2 ∣ ∣ y ⟩ ] = ν n σ n 2 ν n − 2 ( ν n > 2 ) \mathrm{E}[\sigma^2\mid\ket{y}]
=\frac{\nu_n\sigma_n^2}{\nu_n-2}
\qquad (\nu_n>2) E [ σ 2 ∣ ∣ y ⟩ ] = ν n − 2 ν n σ n 2 ( ν n > 2 )
なので、
Var ( θ ∣ ∣ y ⟩ ) = σ n 2 κ n ⏟ 尺度の二乗 ν n ν n − 2 . \operatorname{Var}(\theta\mid\ket{y})
=\underbrace{\frac{\sigma_n^2}{\kappa_n}}_{\text{尺度の二乗}}
\frac{\nu_n}{\nu_n-2}. Var ( θ ∣ ∣ y ⟩ ) = 尺度の二乗 κ n σ n 2 ν n − 2 ν n .
となり、先ほどの t t t
分布の分散と一致する。羽虫の数値でも、
E [ σ 2 ∣ ∣ y ⟩ ] = 10 × 0.015324 8 = 0.019155 mm 2 , Var ( θ ∣ ∣ y ⟩ ) = 0.019155 10 = 0.0019155 mm 2 , SD ( θ ∣ ∣ y ⟩ ) = 0.0019155 ≈ 0.043766 mm . \begin{aligned}
\mathrm{E}[\sigma^2\mid\ket{y}]
&=\frac{10\times0.015324}{8}=0.019155\ \text{mm}^2,\\
\operatorname{Var}(\theta\mid\ket{y})
&=\frac{0.019155}{10}=0.0019155\ \text{mm}^2,\\
\operatorname{SD}(\theta\mid\ket{y})
&=\sqrt{0.0019155}\approx0.043766\ \text{mm}.
\end{aligned} E [ σ 2 ∣ ∣ y ⟩ ] Var ( θ ∣ ∣ y ⟩ ) SD ( θ ∣ ∣ y ⟩ ) = 8 10 × 0.015324 = 0.019155 mm 2 , = 10 0.019155 = 0.0019155 mm 2 , = 0.0019155 ≈ 0.043766 mm .
と確かめられる。 σ 2 \sigma^2 σ 2 を仮に σ n 2 = 0.015324 \sigma_n^2=0.015324 σ n 2 = 0.015324
に固定した正規分布なら標準偏差は0.039146
mmだが、実際の周辺分布はそれ以外の分散の可能性も含めたものなので、標準偏差は0.043766
mmになる。
なぜ信用区間では標準偏差ではなく尺度を掛けるのか
自由度10の標準的な t t t
分布では、97.5%分位点が約2.228なので、
P ( − 2.228 ≤ T ≤ 2.228 ∣ ∣ y ⟩ ) ≈ 0.95 P(-2.228\le T\le2.228\mid\ket{y})\approx0.95 P ( − 2.228 ≤ T ≤ 2.228 ∣ ∣ y ⟩ ) ≈ 0.95
である。この区間を θ \theta θ
の区間に直すには、もとの変換式 θ = 1.814 + a T \theta=1.814+aT θ = 1.814 + a T に従って、両端を
a a a
倍し、1.814を足せばよい。したがって、95%等裾信用区間は、丸め前の値で計算すると、
1.814 ± t 10 , 0.975 0.015324 10 ≈ [ 1.726778 , 1.901222 ] mm 1.814\pm t_{10,0.975}\sqrt{\frac{0.015324}{10}}
\approx[1.726778,1.901222]\ \text{mm} 1.814 ± t 10 , 0.975 10 0.015324 ≈ [ 1.726778 , 1.901222 ] mm
となる。ここで t 10 , 0.975 t_{10,0.975} t 10 , 0.975 は自由度10の t t t
分布の97.5%分位点である。
2.228は、標準偏差を何個分取るかではなく、尺度1の
T T T の横軸上の値
である。そのため、対応する換算係数である尺度0.039146を掛ける。
もし標準偏差0.043766を使って書きたいなら、掛ける数も換算する必要がある。
a = SD ( θ ∣ ∣ y ⟩ ) 10 / 8 , 2.228 a = 2.228 10 / 8 SD ( θ ∣ ∣ y ⟩ ) ≈ 1.993 SD ( θ ∣ ∣ y ⟩ ) . a=\frac{\operatorname{SD}(\theta\mid\ket{y})}{\sqrt{10/8}},\qquad
2.228a
=\frac{2.228}{\sqrt{10/8}}\operatorname{SD}(\theta\mid\ket{y})
\approx1.993\operatorname{SD}(\theta\mid\ket{y}). a = 10/8 SD ( θ ∣ ∣ y ⟩ ) , 2.228 a = 10/8 2.228 SD ( θ ∣ ∣ y ⟩ ) ≈ 1.993 SD ( θ ∣ ∣ y ⟩ ) .
つまり、この例では「中心から約2.228尺度分」と「中心から約1.993標準偏差分」が同じ区間を指す。約2.228にそのまま標準偏差を掛けると、別の、広すぎる区間になってしまう。
条件付きの細い正規密度と太い正規密度を混ぜるとどうなるか、次の図で比較する。表示した3本は混合の仕組みを説明する代表例であり、周辺
t t t
密度はこの3本だけの平均ではなく、全ての正の分散について積分した結果である。
補助図 分散を固定した条件付き正規密度と、分散を積分した周辺t密度。
中心が同じでも分散によって幅が変わる。大きい分散もありうるという不確かさを混ぜるため、周辺分布は正規分布より裾が重くなる。
分散未知の場合の事後予測分布
ここから知りたいのは、
「この種類の平均的な羽の長さ」ではなく、「次に捕まえる1匹の羽の長さ」
である。たとえ母平均が1.814
mmだと完全にわかっても、次の1匹の羽がちょうど1.814
mmになるとは限らない。平均より長い個体も、短い個体もいるからである。
さらに、今は母平均も、個体差の大きさを表す母分散も、完全にはわかっていない。そこで、観測済みのデータからわかることを使って、次の1匹の取りうる長さに確率を割り当てる。この分布が
事後予測分布
である。「事後」はデータを観測した後、「予測」はまだ観測していない値を対象にすることを意味する。
以下では、記号を次のように使う。数学の normal ( 平均 , 分散 ) \operatorname{normal}(\text{平均},\text{分散}) normal ( 平均 , 分散 )
の第2引数は分散である。
考え方を二段階に分けよう。 まず σ 2 \sigma^2 σ 2
を仮に固定し、母平均の不確かさと個体差を合わせる。その後で、
σ 2 \sigma^2 σ 2
の候補ごとにできた予測分布を、事後確率で混ぜる。
第1段階:個体差の大きさを仮に固定する
まず、母分散 σ 2 \sigma^2 σ 2
がある値だと仮定する。この段階でも母平均 θ \theta θ
は未知なので、その不確かさは事後分布で表す。
θ ∣ σ 2 , y ∼ normal ( μ n , σ 2 κ n ) . \theta\mid\sigma^2,y
\sim\operatorname{normal}\left(\mu_n,\frac{\sigma^2}{\kappa_n}\right). θ ∣ σ 2 , y ∼ normal ( μ n , κ n σ 2 ) .
一方、もし母平均 θ \theta θ
もわかれば、次の1匹の羽の長さは、その母平均の周りにばらつく。
Y ~ ∣ θ , σ 2 , y ∼ normal ( θ , σ 2 ) . \tilde Y\mid\theta,\sigma^2,y
\sim\operatorname{normal}(\theta,\sigma^2). Y ~ ∣ θ , σ 2 , y ∼ normal ( θ , σ 2 ) .
この式では、母平均と母分散を指定した後は、過去の羽虫と次の羽虫を独立な観測として扱っている。
二つの分布の関係を見やすくするため、次の1匹が母平均からどれだけずれるかを
ε \varepsilon ε と書こう。すると、
Y ~ = θ + ε , ε ∣ σ 2 , y ∼ normal ( 0 , σ 2 ) \tilde Y=\theta+\varepsilon,\qquad
\varepsilon\mid\sigma^2,y\sim\operatorname{normal}(0,\sigma^2) Y ~ = θ + ε , ε ∣ σ 2 , y ∼ normal ( 0 , σ 2 )
と表せる。たとえば、仮に母平均が1.80 mmで、次の1匹のずれが
+ 0.12 +0.12 + 0.12 mmなら、その羽の長さは 1.80 + 0.12 = 1.92 1.80+0.12=1.92 1.80 + 0.12 = 1.92
mmになる。予測時点では、この母平均も、次の1匹のずれも一つには決められない。
事後分布の中心 μ n \mu_n μ n
からのずれとして書き直すと、二つの要因がはっきりする。
Y ~ − μ n = ( θ − μ n ) ⏟ 母平均が予想した中心からずれる分 + ε ⏟ 次の1匹が母平均からずれる分 . \tilde Y-\mu_n
=\underbrace{(\theta-\mu_n)}_{\text{母平均が予想した中心からずれる分}}
+\underbrace{\varepsilon}_{\text{次の1匹が母平均からずれる分}}. Y ~ − μ n = 母平均が予想した中心からずれる分 ( θ − μ n ) + 次の 1 匹が母平均からずれる分 ε .
このモデルでは、 σ 2 \sigma^2 σ 2 と y y y
を固定したもとで、二つのずれは独立で、どちらも平均0の正規分布に従う。したがって、足した結果も正規分布になり、
分散は二つの分散の和 になる。
E [ Y ~ ∣ σ 2 , y ] = μ n + 0 = μ n , Var ( Y ~ ∣ σ 2 , ∣ y ⟩ ) = σ 2 κ n ⏟ 母平均の不確かさ + σ 2 ⏟ 次の1匹の個体差 = σ 2 ( 1 + 1 κ n ) . \begin{aligned}
\mathrm{E}[\tilde Y\mid\sigma^2,y]&=\mu_n+0=\mu_n,\\
\operatorname{Var}(\tilde Y\mid\sigma^2,\ket{y})
&=\underbrace{\frac{\sigma^2}{\kappa_n}}_{\text{母平均の不確かさ}}
+\underbrace{\sigma^2}_{\text{次の1匹の個体差}}\\
&=\sigma^2\left(1+\frac{1}{\kappa_n}\right).
\end{aligned} E [ Y ~ ∣ σ 2 , y ] Var ( Y ~ ∣ σ 2 , ∣ y ⟩ ) = μ n + 0 = μ n , = 母平均の不確かさ κ n σ 2 + 次の 1 匹の個体差 σ 2 = σ 2 ( 1 + κ n 1 ) .
なぜ分散を足せるのかは、二乗を展開すると確認できる。
( Y ~ − μ n ) 2 (\tilde Y-\mu_n)^2 ( Y ~ − μ n ) 2 は ( θ − μ n ) 2 + 2 ( θ − μ n ) ε + ε 2 (\theta-\mu_n)^2+2(\theta-\mu_n)\varepsilon+\varepsilon^2 ( θ − μ n ) 2 + 2 ( θ − μ n ) ε + ε 2
になる。条件付きで独立かつ平均0なので、中央の交差項の期待値は0になり、両端の二つの分散だけが残る。
数値を入れてみよう。羽虫の例の κ n = 10 \kappa_n=10 κ n = 10
を使い、説明のために σ 2 = 0.01 \sigma^2=0.01 σ 2 = 0.01 mm²と仮定する。
したがって、この仮定のもとでは、予測分布は平均1.814 mm、分散0.011
mm²の正規分布である。標準偏差を 0.031623 + 0.1 0.031623+0.1 0.031623 + 0.1 と足すのではなく、
分散を足してから平方根を取る 。
精度 λ = 1 / σ 2 \lambda=1/\sigma^2 λ = 1/ σ 2 で書けば、同じ予測分散は
( 1 + 1 / κ n ) / λ (1+1/\kappa_n)/\lambda ( 1 + 1/ κ n ) / λ となる。この例の精度は λ = 100 \lambda=100 λ = 100
mm⁻²である。以前に精度を足したのは、同じ母平均についての情報を統合する計算だった。今回は二つのずれを足して次の観測値を作るため、分散を足すのである。
第2段階:仮に固定した分散についても、不確かさを含める
ここまでの0.01 mm²は、説明のために仮定した一つの候補である。実際には
σ 2 \sigma^2 σ 2
は未知なので、候補を一つだけ選んで終わりにはできない。
たとえば、 σ 2 = 0.01 \sigma^2=0.01 σ 2 = 0.01 なら予測分散は0.011、
σ 2 = 0.04 \sigma^2=0.04 σ 2 = 0.04
なら予測分散は0.044になる。どちらの予測分布も中心は1.814
mmだが、後者のほうが幅広い。そこで、
それぞれの母分散がデータから見てどれくらいもっともらしいかに応じて、予測分布を混ぜる
。これは二つの候補だけでなく、すべての正の σ 2 \sigma^2 σ 2
について行う。
この操作を数式で書いたものが、次の積分である。
p ( y ~ ∣ ∣ y ⟩ ) = ∫ 0 ∞ p ( y ~ ∣ σ 2 , ∣ y ⟩ ) ⏟ その分散を仮定した予測密度 p ( σ 2 ∣ ∣ y ⟩ ) ⏟ 分散の候補に付ける重み d σ 2 . p(\tilde y\mid\ket{y})
=\int_0^\infty
\underbrace{p(\tilde y\mid\sigma^2,\ket{y})}_{\text{その分散を仮定した予測密度}}
\underbrace{p(\sigma^2\mid\ket{y})}_{\text{分散の候補に付ける重み}}
\,d\sigma^2. p ( y ~ ∣ ∣ y ⟩ ) = ∫ 0 ∞ その分散を仮定した予測密度 p ( y ~ ∣ σ 2 , ∣ y ⟩ ) 分散の候補に付ける重み p ( σ 2 ∣ ∣ y ⟩ ) d σ 2 .
小文字の y ~ \tilde y y ~
は、次の羽の長さの候補値を表す。各候補値に対して、分散ごとの予測密度を重み付きで平均している。第1段階ですでに母平均の不確かさを含めたため、ここで残っている積分の対象は
σ 2 \sigma^2 σ 2 だけである。
本章では p ( σ 2 ∣ ∣ y ⟩ ) p(\sigma^2\mid\ket{y}) p ( σ 2 ∣ ∣ y ⟩ )
が逆ガンマ分布なので、この混合の結果はちょうど t t t
分布になる。平均の周辺分布を求めたときと同じ「幅の異なる正規分布を混ぜる」仕組みである。
対応を明確にするため、 c = 1 + 1 / κ n c=1+1/\kappa_n c = 1 + 1/ κ n と置く。第1段階の結果は
Y ~ ∣ σ 2 , y ∼ normal ( μ n , c σ 2 ) \tilde Y\mid\sigma^2,y\sim\operatorname{normal}(\mu_n,c\sigma^2) Y ~ ∣ σ 2 , y ∼ normal ( μ n , c σ 2 ) だった。したがって、中心を引いて
c \sqrt c c で割った変数 W = ( Y ~ − μ n ) / c W=(\tilde Y-\mu_n)/\sqrt c W = ( Y ~ − μ n ) / c は、
W ∣ σ 2 , y ∼ normal ( 0 , σ 2 ) W\mid\sigma^2,y\sim\operatorname{normal}(0,\sigma^2) W ∣ σ 2 , y ∼ normal ( 0 , σ 2 )
に従う。この正規分布を、本章の事後分布 σ 2 ∣ ∣ y ⟩ ∼ inverse-gamma ( ν n / 2 , ν n σ n 2 / 2 ) \sigma^2\mid\ket{y}\sim\operatorname{inverse\text{-}gamma}(\nu_n/2,\nu_n\sigma_n^2/2) σ 2 ∣ ∣ y ⟩ ∼ inverse - gamma ( ν n /2 , ν n σ n 2 /2 )
で混ぜると、 W / σ n 2 W/\sqrt{\sigma_n^2} W / σ n 2 が自由度 ν n \nu_n ν n の
t t t 分布になる。 W W W
を元の記号へ戻すと、
Y ~ − μ n σ n 2 ( 1 + 1 / κ n ) ∣ y ∼ t ν n \frac{\tilde Y-\mu_n}{\sqrt{\sigma_n^2(1+1/\kappa_n)}}\ \bigg|\ y
\sim t_{\nu_n} σ n 2 ( 1 + 1/ κ n ) Y ~ − μ n y ∼ t ν n
を得る。自由度が母平均の周辺分布と同じ ν n \nu_n ν n
なのは、混ぜるのに使う母分散の事後分布が同じだからである。まだ次の1匹を観測したわけではないので、予測するだけで自由度に1を加えることはしない。
羽虫の数値で、尺度・標準偏差・予測区間を計算する
羽虫の事後パラメータは、 μ n = 1.814 \mu_n=1.814 μ n = 1.814 、 κ n = 10 \kappa_n=10 κ n = 10
、 ν n = 10 \nu_n=10 ν n = 10 、 σ n 2 = 0.015324 \sigma_n^2=0.015324 σ n 2 = 0.015324
である。これを予測分布に代入すると、
Y ~ = 1.814 + a pred T , T ∣ ∣ y ⟩ ∼ t 10 , a pred = 0.015324 ( 1 + 1 10 ) ≈ 0.129832 mm . \tilde Y=1.814+a_{\text{pred}}T,\qquad
T\mid\ket{y}\sim t_{10},\qquad
a_{\text{pred}}=\sqrt{0.015324\left(1+\frac{1}{10}\right)}
\approx0.129832\ \text{mm}. Y ~ = 1.814 + a pred T , T ∣ ∣ y ⟩ ∼ t 10 , a pred = 0.015324 ( 1 + 10 1 ) ≈ 0.129832 mm .
となる。ここで a pred a_{\text{pred}} a pred
は予測分布の尺度である。直前の説明と同じく、尺度は標準偏差ではない。自由度10の補正を入れると、予測標準偏差は、
SD ( Y ~ ∣ ∣ y ⟩ ) = a pred 10 8 ≈ 0.145157 mm \operatorname{SD}(\tilde Y\mid\ket{y})
=a_{\text{pred}}\sqrt{\frac{10}{8}}
\approx0.145157\ \text{mm} SD ( Y ~ ∣ ∣ y ⟩ ) = a pred 8 10 ≈ 0.145157 mm
となる。別の確かめ方もある。各分散の候補に対する予測分布の中心はすべて
μ n \mu_n μ n
なので、混合後の分散は、それぞれの予測分散の事後平均である。
Var ( Y ~ ∣ ∣ y ⟩ ) = ( 1 + 1 κ n ) E [ σ 2 ∣ ∣ y ⟩ ] = 1.1 × 0.019155 = 0.0210705 mm 2 = 0.0019155 ⏟ 母平均の不確かさ + 0.019155 ⏟ 個体差の分散の事後平均 . \begin{aligned}
\operatorname{Var}(\tilde Y\mid\ket{y})
&=\left(1+\frac{1}{\kappa_n}\right)\mathrm{E}[\sigma^2\mid\ket{y}]\\
&=1.1\times0.019155=0.0210705\ \text{mm}^2\\
&=\underbrace{0.0019155}_{\text{母平均の不確かさ}}
+\underbrace{0.019155}_{\text{個体差の分散の事後平均}}.
\end{aligned} Var ( Y ~ ∣ ∣ y ⟩ ) = ( 1 + κ n 1 ) E [ σ 2 ∣ ∣ y ⟩ ] = 1.1 × 0.019155 = 0.0210705 mm 2 = 母平均の不確かさ 0.0019155 + 個体差の分散の事後平均 0.019155 .
この平方根も約0.145157 mmである。 σ n 2 = 0.015324 \sigma_n^2=0.015324 σ n 2 = 0.015324
を使った尺度の計算 と、 E [ σ 2 ∣ ∣ y ⟩ ] = 0.019155 \mathrm{E}[\sigma^2\mid\ket{y}]=0.019155 E [ σ 2 ∣ ∣ y ⟩ ] = 0.019155
を使った分散の計算
を区別すると、前節の「尺度と標準偏差の違い」とつながる。
95%等裾事後予測区間には、自由度10の t t t
分布の97.5%分位点 t 10 , 0.975 ≈ 2.228 t_{10,0.975}\approx2.228 t 10 , 0.975 ≈ 2.228
と、予測の尺度を使う。丸め前の値で計算すると、
μ n ± t 10 , 0.975 a pred = 1.814 ± t 10 , 0.975 0.015324 × 1.1 ≈ [ 1.524716 , 2.103284 ] mm . \begin{aligned}
\mu_n\pm t_{10,0.975}a_{\text{pred}}
&=1.814\pm t_{10,0.975}\sqrt{0.015324\times1.1}\\
&\approx[1.524716,2.103284]\ \text{mm}.
\end{aligned} μ n ± t 10 , 0.975 a pred = 1.814 ± t 10 , 0.975 0.015324 × 1.1 ≈ [ 1.524716 , 2.103284 ] mm .
この区間は、「今回のデータとモデルのもとで、
次の1匹の羽の長さがこの範囲に入る確率が95%
」という意味である。
母平均の区間と、次の1匹の区間を比べる
二つの分布はどちらも中心1.814
mm、自由度10だが、予測分布には個体差の分だけ幅が加わっている。
尺度の比は 1.1 / 0.1 = 11 ≈ 3.317 \sqrt{1.1/0.1}=\sqrt{11}\approx3.317 1.1/0.1 = 11 ≈ 3.317
である。自由度も同じなので、95%区間の幅も、次の1匹を予測するほうが約3.317倍になる。
次の図では、横軸の単位をそろえ、二つの分布の中心と幅を比較する。中央の狭い山が母平均についての分布、広い山が次の1匹についての分布である。
補助図 羽虫の母平均の事後分布と、次の1匹の事後予測分布。どちらも自由度10のt分布。
両方の山の中心は同じでも、次の1匹の予測には個体差が残るため、予測分布は広い。母平均についての狭い信用区間を「95%の羽虫が入る区間」と読んではいけない。
データが増えて κ n = κ 0 + n \kappa_n=\kappa_0+n κ n = κ 0 + n
が大きくなると、母平均の不確かさに対応する 1 / κ n 1/\kappa_n 1/ κ n
は小さくなる。しかし、予測分散の係数 1 + 1 / κ n 1+1/\kappa_n 1 + 1/ κ n
にある「1」は残る。
平均が正確にわかるようになっても、次の1匹の個体差はなくならない
ためである。
乱数で予測する場合も、同じ三つの操作になる
積分を乱数で近似するなら、1回の予測を次の順番で作る。
母分散 σ 2 \sigma^2 σ 2
の候補を、分散の事後分布から一つ選ぶ。
その分散のもとで、母平均 θ \theta θ
の候補を、条件付き事後分布から一つ選ぶ。
その母平均と母分散を使って、次の1匹の羽の長さを一つ選ぶ。
これを多数回繰り返した羽の長さの分布が、事後予測分布を近似する。毎回選び直すのは、未知の母平均と母分散についての可能性であり、実際の母集団のパラメータが羽虫ごとに変わるという意味ではない。
以下は、この節だけで実行できるコードである。まず解析的な
t t t
分布から区間を計算し、その後で同じ予測を三段階の乱数生成で再現する。
import numpy as np
from scipy.stats import t, invgamma
mun, kn, nun, s2n = 1.814 , 10.0 , 10.0 , 0.015324
theta_dist = t(df= nun, loc= mun, scale= np.sqrt(s2n / kn))
sigma2_dist = invgamma(a= nun / 2 , scale= nun * s2n / 2 )
future_dist = t(df= nun, loc= mun, scale= np.sqrt(s2n * (1 + 1 / kn)))
print (theta_dist.ppf([0.025 , 0.975 ])) # 約 [1.726778, 1.901222] mm
print (sigma2_dist.ppf([0.025 , 0.975 ])) # 約 [0.007481, 0.047195] mm²
print (future_dist.ppf([0.025 , 0.975 ])) # 約 [1.524716, 2.103284] mm
print (future_dist.std()) # 約 0.145157 mm(尺度とは異なる)
rng = np.random.default_rng(505 )
size = 100_000
# 1. 個体差の大きさの候補を選ぶ。
s2_postsample = sigma2_dist.rvs(size= size, random_state= rng)
# 2. 各分散の候補に対応する、母平均の候補を選ぶ。
theta_postsample = rng.normal(mun, np.sqrt(s2_postsample / kn))
# 3. 同じ回の母平均と分散を使い、次の1匹の値を選ぶ。
future_sample = rng.normal(theta_postsample, np.sqrt(s2_postsample))
print (np.quantile(future_sample, [0.025 , 0.975 ])) # 上の予測区間に近い値
最後の行だけを見ても、母平均の候補 theta_postsample
に、標準偏差 np.sqrt(s2_postsample)
の個体差を加えていることがわかる。母平均の標本だけで止めると、次の1匹の個体差が入らず、求まるのは母平均の事後分布である。また、各回の母平均と分散は組になっているので、配列を別々に並べ替えて対応を崩してはいけない。
非正則事前分布:事前情報を弱める二つの方法
ここからは、「事前情報をほとんど使わないと、頻度論の
t t t
信頼区間と同じになるのか」という追加の問いを扱う。通常の共役モデルによる更新と予測は、ここまでで完結している。初読では次の5.4節へ進み、二つの方法の違いは後から確認してもよい。
事前情報に自信がないときには、推定結果をできるだけデータに委ねたいと考えるだろう。そのために、事前情報の重み
κ 0 \kappa_0 κ 0 と ν 0 \nu_0 ν 0
を小さくする方法がある。ただし、「重みをゼロへ近づけること」と「特定の非正則事前分布を使うこと」は同じではない。順に見ていく。
方法1:共役事前分布の重みをゼロへ近づける。
更新式は次のとおりだった。
μ n = κ 0 μ 0 + n y ˉ κ 0 + n , σ n 2 = ν 0 σ 0 2 + ( n − 1 ) s 2 + κ 0 n κ 0 + n ( y ˉ − μ 0 ) 2 ν 0 + n . \begin{aligned}
\mu_n&=\frac{\kappa_0\mu_0+n\bar y}{\kappa_0+n},\\
\sigma_n^2&=\frac{\nu_0\sigma_0^2+(n-1)s^2+\dfrac{\kappa_0n}{\kappa_0+n}(\bar y-\mu_0)^2}{\nu_0+n}.
\end{aligned} μ n σ n 2 = κ 0 + n κ 0 μ 0 + n y ˉ , = ν 0 + n ν 0 σ 0 2 + ( n − 1 ) s 2 + κ 0 + n κ 0 n ( y ˉ − μ 0 ) 2 .
μ 0 \mu_0 μ 0 と σ 0 2 \sigma_0^2 σ 0 2 を固定し、
κ 0 , ν 0 \kappa_0,\nu_0 κ 0 , ν 0
をゼロへ近づけると、事前情報を含む項が消える。その結果、
μ n ⟶ y ˉ , σ n 2 ⟶ n − 1 n s 2 = 1 n ∑ i ( y ( i ) − y ˉ ) 2 \begin{aligned}
\mu_n&\longrightarrow\bar y,\\
\sigma_n^2&\longrightarrow\frac{n-1}{n}s^2
=\frac1n\sum_i(y^{(i)}-\bar y)^2
\end{aligned} μ n σ n 2 ⟶ y ˉ , ⟶ n n − 1 s 2 = n 1 i ∑ ( y ( i ) − y ˉ ) 2
となる。データにばらつきがあるとき、事後分布の極限は次の形になる。
1 / σ 2 ∣ ∣ y ⟩ ∼ gamma ( n 2 , ( n − 1 ) s 2 2 ) , θ ∣ σ 2 , y ∼ normal ( y ˉ , σ 2 n ) . \begin{aligned}
1/\sigma^2\mid\ket{y}&\sim\operatorname{gamma}\left(\frac n2,\frac{(n-1)s^2}{2}\right),\\
\theta\mid\sigma^2,y&\sim\operatorname{normal}\left(\bar y,\frac{\sigma^2}{n}\right).
\end{aligned} 1/ σ 2 ∣ ∣ y ⟩ θ ∣ σ 2 , y ∼ gamma ( 2 n , 2 ( n − 1 ) s 2 ) , ∼ normal ( y ˉ , n σ 2 ) .
この場合、 θ \theta θ の周辺事後分布は自由度
n n n の t t t
分布になる。よく使う頻度論の t t t 信頼区間の自由度
n − 1 n-1 n − 1 とは、一つ違う。
方法2:同時事前密度に比例する重みを 1 / σ 2 1/\sigma^2 1/ σ 2
と定める。 こちらが、頻度論の t t t
信頼区間と同じ端点を与える方法である。
通常の事前密度は、全範囲で積分すると1になる。一方、
v = σ 2 v=\sigma^2 v = σ 2 とおいて p ~ ( θ , v ) = 1 / v \tilde p(\theta,v)=1/v p ~ ( θ , v ) = 1/ v
とすると、全範囲の積分は有限にならず、確率密度にはできない。このように正規化できない重みを使うものを
非正則事前分布 と呼ぶ。
それでも、尤度を掛けた後の積分が有限なら、事後分布としては正規化できる。具体的には、
p ( θ , σ 2 ∣ ∣ y ⟩ ) ∝ p ( y ∣ θ , σ 2 ) 1 σ 2 p(\theta,\sigma^2\mid\ket{y})
\propto p(y\mid\theta,\sigma^2)\frac{1}{\sigma^2} p ( θ , σ 2 ∣ ∣ y ⟩ ) ∝ p ( y ∣ θ , σ 2 ) σ 2 1
とおく。この正規モデルでは、 n > 1 n>1 n > 1 かつ
∑ i ( y ( i ) − y ˉ ) 2 > 0 \sum_i(y^{(i)}-\bar y)^2>0 ∑ i ( y ( i ) − y ˉ ) 2 > 0
、つまり2個以上の観測があり、全てが同じ値ではないことが必要である。この条件のもとで、
1 / σ 2 ∣ ∣ y ⟩ ∼ gamma ( n − 1 2 , ( n − 1 ) s 2 2 ) , θ ∣ σ 2 , y ∼ normal ( y ˉ , σ 2 n ) , θ − y ˉ s / n ∣ y ∼ t n − 1 \begin{aligned}
1/\sigma^2\mid\ket{y}&\sim\operatorname{gamma}\left(\frac{n-1}{2},\frac{(n-1)s^2}{2}\right),\\
\theta\mid\sigma^2,y&\sim\operatorname{normal}\left(\bar y,\frac{\sigma^2}{n}\right),\\
\frac{\theta-\bar y}{s/\sqrt n}\ \bigg|\ y&\sim t_{n-1}
\end{aligned} 1/ σ 2 ∣ ∣ y ⟩ θ ∣ σ 2 , y s / n θ − y ˉ y ∼ gamma ( 2 n − 1 , 2 ( n − 1 ) s 2 ) , ∼ normal ( y ˉ , n σ 2 ) , ∼ t n − 1
を得る。方法1と比べると、平均の条件付き分布は同じだが、精度のガンマ分布の形状が
n / 2 n/2 n /2 から ( n − 1 ) / 2 (n-1)/2 ( n − 1 ) /2
に変わっている。分散に割り当てる確率が異なるため、それを混ぜた母平均の分布も変わるのである。
なぜ二つの方法は一致しないのか。 共役事前分布の核を
v = σ 2 v=\sigma^2 v = σ 2 で書くと、
p ( θ , v ) ∝ v − ( ν 0 + 3 ) / 2 exp { − ν 0 σ 0 2 + κ 0 ( θ − μ 0 ) 2 2 v } p(\theta,v)\propto v^{-(\nu_0+3)/2}
\exp\left\{-\frac{\nu_0\sigma_0^2+\kappa_0(\theta-\mu_0)^2}{2v}\right\} p ( θ , v ) ∝ v − ( ν 0 + 3 ) /2 exp { − 2 v ν 0 σ 0 2 + κ 0 ( θ − μ 0 ) 2 }
となる。方法1で重みをゼロへ近づけると、指数関数の部分は1へ近づくが、前に掛かる
v − 3 / 2 v^{-3/2} v − 3/2 は残る。方法2で指定した v − 1 v^{-1} v − 1
とは異なる。つまり、方法1は方法2を別の書き方で表したものではない。
羽虫のデータに方法2を使ってみよう。 y ˉ = 1.804444 \bar y=1.804444 y ˉ = 1.804444 、
s / 9 ≈ 0.043305 s/\sqrt9\approx0.043305 s / 9 ≈ 0.043305 であり、自由度8の t t t
分布の97.5%分位点は約2.306なので、95%等裾信用区間は
1.804444 ± 2.306 × 0.043305 ≈ [ 1.704583 , 1.904306 ] mm 1.804444\pm2.306\times0.043305
\approx[1.704583,1.904306]\ \text{mm} 1.804444 ± 2.306 × 0.043305 ≈ [ 1.704583 , 1.904306 ] mm
となる。右辺は丸め前の数値から計算した端点である。これは頻度論の
t t t 信頼区間と同じ数値だが、その意味は異なる。
後者の根拠となるのは、正規母集団から標本を取り直すときの分布
Y ˉ − θ s / n ∣ θ , σ 2 ∼ t n − 1 \frac{\bar Y-\theta}{s/\sqrt n}\ \bigg|\ \theta,\sigma^2
\sim t_{n-1} s / n Y ˉ − θ θ , σ 2 ∼ t n − 1
である。この式では Y ˉ \bar Y Y ˉ と s s s
が標本ごとに変わる。一方、事後分布の式では観測済みの
y ˉ \bar y y ˉ と s s s を固定している。同じ
t t t
分布が現れても、何を固定し、何の不確かさを表すかが違う。
非正則事前分布を使う推論は、通常の確率分布を事前分布に使う場合と区別して、一般化ベイズ推論と呼ばれる。「事前情報を弱くしたから自動的に客観的になる」とは限らず、上の二つの方法のように、弱め方や重みの選び方によって結果は変わる。
教科書ではさらに、Stein (1955) や Berger (1980)
を通じて、ベイズ推定と 許容性
の関係を紹介している。許容性とは、ある評価基準のもとで「どの真値でも同等以上によく、少なくとも一部の真値ではさらによい」という別の推定量が存在しないことである。たとえば、次節の平均二乗誤差がその評価基準になる。こうした理論には条件があり、どのベイズ推定量や非正則事前分布でも無条件によい、という意味ではない。
5.4 バイアス、分散、平均二乗誤差
この節の問いは、
「平均すると正しい推定法」と「一回一回の誤差が小さい推定法」は同じだろうか
、である。結論を先にいうと、同じとは限らない。少し偏った推定法でも、データの取り直しによるばらつきを十分に減らせれば、二乗誤差の平均は小さくなる。
ただし、この話を理解するには、「何について平均を取っているのか」を区別する必要がある。そこで、まず実験を取り直す場面から考える。
同じ町で10人ずつ調べ直すと、推定値も変わる
ある町のIQの母平均を調べたいとする。説明のため、町の真の母平均は
θ 0 = 112 \theta_0=112 θ 0 = 112
点だと設定する。これは推定法を評価する側だけが知っている値であり、実際に調査する人は知らない。
調査する人は、町から10人を無作為に選んで平均点を計算する。しかし、別の10人を選び直せば平均点は変わる。以下は、その様子を表す説明用の値である。実データや乱数実験の結果ではない。
右の二つの列は、
同じデータに、異なる計算ルールを適用した結果
である。こうした計算ルールを 推定量
、実際のデータを入れて得た数値を 推定値
という。未知の母平均を一つの数値で答えることは 点推定
と呼ぶ。
事前の予想を使うと、どの回答も100点の方へ寄る。たとえば調査Cでは真値112点に近づくが、調査Bでは、ちょうど当たっていた112点から離れてしまう。したがって、「事前情報を使うと毎回よくなる」とはいえない。そこで、調査を何度も取り直したときの平均的な成績で比べる。
事後分布と標本分布では、動かすものが逆になる
ここまでのベイズ推論では、手元のデータを固定し、未知の母平均
θ \theta θ
の候補に確率を付けていた。一方、この節では、真の母平均
θ 0 \theta_0 θ 0 と母分散 σ 2 \sigma^2 σ 2
を固定し、データを取り直したときの推定値の動きを調べる。
ここでの 標本分布
は、10人のIQそのものの分布ではなく、「10人から一つずつ得られる推定値」を多数集めた分布である。事後分布から母平均の候補を乱数で取り出す操作とも異なる。
以下では、 E 反復 \mathrm{E}_{\text{反復}} E 反復 と Var 反復 \operatorname{Var}_{\text{反復}} Var 反復
を、真値を固定して調査を取り直す場合の期待値と分散の略記として使う。教科書の
E [ θ ^ ∣ θ = θ 0 ] \mathrm{E}[\hat\theta\mid\theta=\theta_0] E [ θ ^ ∣ θ = θ 0 ]
は、この意味の期待値である。母分散も固定しているが、教科書では条件から省略されることがある。
比較する二つの推定量:標本平均と事後平均
比較する一つ目のルールは、標本平均をそのまま答えるものである。
θ ^ e = y ˉ . \hat\theta_e=\bar y. θ ^ e = y ˉ .
二つ目は、5.3節の共役事前分布を使った事後平均である。
θ ^ b = E [ θ ∣ ∣ y ⟩ ] = n n + κ 0 y ˉ + κ 0 n + κ 0 μ 0 = w y ˉ + ( 1 − w ) μ 0 , w = n n + κ 0 . \hat\theta_b
=\mathrm{E}[\theta\mid\ket{y}]
=\frac{n}{n+\kappa_0}\bar y+\frac{\kappa_0}{n+\kappa_0}\mu_0
=w\bar y+(1-w)\mu_0,
\qquad w=\frac{n}{n+\kappa_0}. θ ^ b = E [ θ ∣ ∣ y ⟩ ] = n + κ 0 n y ˉ + n + κ 0 κ 0 μ 0 = w y ˉ + ( 1 − w ) μ 0 , w = n + κ 0 n .
μ 0 \mu_0 μ 0 は調査前の母平均の予想、 κ 0 > 0 \kappa_0>0 κ 0 > 0
はその予想に与える重みである。 w w w
はデータの平均を採用する割合であり、 0 < w < 1 0<w<1 0 < w < 1
となる。上の表では n = 10 n=10 n = 10 、 μ 0 = 100 \mu_0=100 μ 0 = 100 、
κ 0 = 1 \kappa_0=1 κ 0 = 1 とした。
ここには二種類の期待値が登場する。 E [ θ ∣ ∣ y ⟩ ] \mathrm{E}[\theta\mid\ket{y}] E [ θ ∣ ∣ y ⟩ ] は、
今回のデータから回答を作るための平均
である。これから計算する E 反復 [ θ ^ b ] \mathrm{E}_{\text{反復}}[\hat\theta_b] E 反復 [ θ ^ b ] は、その方法で作った
回答を、調査の取り直しについて平均したもの
である。同じ「期待値」でも、平均する対象が違う。
なお、ここでは μ 0 \mu_0 μ 0 と κ 0 \kappa_0 κ 0
を調査のたびに変更せず、同じルールで比較する。現在のデータを見てこれらを選び直す方法の評価には、その選択操作も含めた別の計算が必要になる。
バイアス:回答の中心は真値からどれだけずれるか
バイアスは「推定値の平均 − 真値」である。
Bias ( θ ^ ) = E 反復 [ θ ^ ] − θ 0 . \operatorname{Bias}(\hat\theta)
=\mathrm{E}_{\text{反復}}[\hat\theta]-\theta_0. Bias ( θ ^ ) = E 反復 [ θ ^ ] − θ 0 .
たとえば、真値が112点なのに、何度も調査した回答の中心が110点なら、バイアスは
110 − 112 = − 2 110-112=-2 110 − 112 = − 2
点である。負の符号は低めに答える傾向を表す。ある一回の誤差が −2
点だった、という意味ではない。
各人の点数の期待値が θ 0 \theta_0 θ 0 なら、標本平均の期待値も
θ 0 \theta_0 θ 0 になる。そのため、
E 反復 [ θ ^ e ] = θ 0 , Bias ( θ ^ e ) = 0. \mathrm{E}_{\text{反復}}[\hat\theta_e]=\theta_0,
\qquad \operatorname{Bias}(\hat\theta_e)=0. E 反復 [ θ ^ e ] = θ 0 , Bias ( θ ^ e ) = 0.
バイアスが0の推定量を 不偏推定量
という。「必ず正解する」という意味ではなく、「繰り返しの平均では真値に一致する」という意味である。
事後平均の方は、期待値の線形性を使うと、
E 反復 [ θ ^ b ] = w E 反復 [ y ˉ ] + ( 1 − w ) μ 0 = w θ 0 + ( 1 − w ) μ 0 , Bias ( θ ^ b ) = w θ 0 + ( 1 − w ) μ 0 − θ 0 = ( 1 − w ) ( μ 0 − θ 0 ) . \begin{aligned}
\mathrm{E}_{\text{反復}}[\hat\theta_b]
&=w\mathrm{E}_{\text{反復}}[\bar y]+(1-w)\mu_0\\
&=w\theta_0+(1-w)\mu_0,\\
\operatorname{Bias}(\hat\theta_b)
&=w\theta_0+(1-w)\mu_0-\theta_0\\
&=(1-w)(\mu_0-\theta_0).
\end{aligned} E 反復 [ θ ^ b ] Bias ( θ ^ b ) = w E 反復 [ y ˉ ] + ( 1 − w ) μ 0 = w θ 0 + ( 1 − w ) μ 0 , = w θ 0 + ( 1 − w ) μ 0 − θ 0 = ( 1 − w ) ( μ 0 − θ 0 ) .
つまり、「事前の予想のずれ」のうち、「事前に与えた割合」だけが回答の中心に残る。上のIQの設定なら、
Bias ( θ ^ b ) = 1 11 ( 100 − 112 ) = − 12 11 ≈ − 1.0909 点 . \operatorname{Bias}(\hat\theta_b)
=\frac1{11}(100-112)=-\frac{12}{11}\approx-1.0909\ \text{点}. Bias ( θ ^ b ) = 11 1 ( 100 − 112 ) = − 11 12 ≈ − 1.0909 点 .
予想は12点ずれていても、それを1/11だけ使うので、回答の中心のずれは約1.09点になる。
分散:回答は、その中心の周りにどれだけ散らばるか
バイアスだけでは、推定法のよさを判断できない。たとえば、10人の標本平均の代わりに、最初の1人の点数
y ( 1 ) y^{(1)} y ( 1 )
だけを町全体の平均の回答としても、不偏ではある。しかし、それでは個人差を強く受けてしまう。
個人のIQの分散を σ 2 = 169 \sigma^2=169 σ 2 = 169
点²とすると、互いに独立な10人の平均の分散は 169 / 10 = 16.9 169/10=16.9 169/10 = 16.9
点²である。一人の点数の分散169点²よりはるかに小さい。どちらも不偏だが、回答の安定性は大きく異なる。
事後平均では、標本平均に w w w を掛け、固定値
( 1 − w ) μ 0 (1-w)\mu_0 ( 1 − w ) μ 0 を足す。固定値を足してもばらつきは変わらず、
w w w 倍すると、中心からの距離も w w w
倍になる。分散ではその距離を二乗するため、
Var 反復 ( θ ^ e ) = σ 2 n , Var 反復 ( θ ^ b ) = w 2 σ 2 n . \operatorname{Var}_{\text{反復}}(\hat\theta_e)=\frac{\sigma^2}{n},
\qquad
\operatorname{Var}_{\text{反復}}(\hat\theta_b)=w^2\frac{\sigma^2}{n}. Var 反復 ( θ ^ e ) = n σ 2 , Var 反復 ( θ ^ b ) = w 2 n σ 2 .
n = 10 n=10 n = 10 、 κ 0 = 1 \kappa_0=1 κ 0 = 1
なら、事後平均の標本分散は
( 10 11 ) 2 169 10 = 13.9669 点 2 \left(\frac{10}{11}\right)^2\frac{169}{10}
=13.9669\ \text{点}^2 ( 11 10 ) 2 10 169 = 13.9669 点 2
になる。標本平均の16.9点²より小さい。これは
回答の中心が112点にあるかどうかとは別の話
である。中心が少し左へずれていても、その中心の周りに回答を集めることはできる。
MSE:偏りとばらつきを、一つの誤差の尺度にまとめる
では、中心のずれと回答のばらつきを、どう比較すればよいだろうか。各回の「回答
− 真値」を二乗し、それを調査の取り直しについて平均する。この量が
平均二乗誤差 (mean squared error, MSE)である。
MSE ( θ ^ ) = E 反復 [ ( θ ^ − θ 0 ) 2 ] . \operatorname{MSE}(\hat\theta)
=\mathrm{E}_{\text{反復}}[(\hat\theta-\theta_0)^2]. MSE ( θ ^ ) = E 反復 [( θ ^ − θ 0 ) 2 ] .
二乗しない誤差の平均では、過大評価と過小評価が相殺される。たとえば、真値10に対して8と12を同じ確率で答える方法では、誤差の平均は
( − 2 + 2 ) / 2 = 0 (-2+2)/2=0 ( − 2 + 2 ) /2 = 0 だが、毎回2だけ外している。MSEなら
( 4 + 4 ) / 2 = 4 (4+4)/2=4 ( 4 + 4 ) /2 = 4 となり、この誤差を数えられる。
手計算用の小さな例
として、真値10に対し、下表の三つの推定値がそれぞれ確率1/3で出ると仮定する。正規モデルとは別の、計算の意味を確かめる例である。
方法BのMSEを直接求めると、
MSE ( B ) = ( 8 − 10 ) 2 + ( 9 − 10 ) 2 + ( 10 − 10 ) 2 3 = 4 + 1 + 0 3 = 5 3 . \operatorname{MSE}(B)=\frac{(8-10)^2+(9-10)^2+(10-10)^2}{3}
=\frac{4+1+0}{3}=\frac53. MSE ( B ) = 3 ( 8 − 10 ) 2 + ( 9 − 10 ) 2 + ( 10 − 10 ) 2 = 3 4 + 1 + 0 = 3 5 .
一方、方法Bの分散は、
真値10ではなく、回答の中心9からの距離
を二乗して求める。
Var ( B ) = ( 8 − 9 ) 2 + ( 9 − 9 ) 2 + ( 10 − 9 ) 2 3 = 2 3 . \operatorname{Var}(B)=\frac{(8-9)^2+(9-9)^2+(10-9)^2}{3}
=\frac23. Var ( B ) = 3 ( 8 − 9 ) 2 + ( 9 − 9 ) 2 + ( 10 − 9 ) 2 = 3 2 .
したがって、 MSE ( B ) = 2 / 3 + ( − 1 ) 2 = 5 / 3 \operatorname{MSE}(B)=2/3+(-1)^2=5/3 MSE ( B ) = 2/3 + ( − 1 ) 2 = 5/3
となる。方法Bには偏りがあるが、回答のばらつきが小さいため、不偏な方法AよりMSEが小さい。ここでは三つの値とその確率をすべて指定して期待値を計算しているので、分母は3である。未知の分散を標本から推定するための
n − 1 n-1 n − 1 という補正は使わない。
なぜ「MSE = 分散 + バイアスの二乗」なのか
上の関係は一般に成り立つ。回答の中心を m = E 反復 [ θ ^ ] m=\mathrm{E}_{\text{反復}}[\hat\theta] m = E 反復 [ θ ^ ]
とおくと、一回の誤差は次の二つに分かれる。
θ ^ − θ 0 ⏟ 今回の回答と真値の差 = θ ^ − m ⏟ 今回の回答と回答の中心の差 + m − θ 0 ⏟ 回答の中心と真値の差 . \underbrace{\hat\theta-\theta_0}_{\text{今回の回答と真値の差}}
=\underbrace{\hat\theta-m}_{\text{今回の回答と回答の中心の差}}
+\underbrace{m-\theta_0}_{\text{回答の中心と真値の差}}. 今回の回答と真値の差 θ ^ − θ 0 = 今回の回答と回答の中心の差 θ ^ − m + 回答の中心と真値の差 m − θ 0 .
両辺を二乗して平均すると、
MSE ( θ ^ ) = E 反復 [ ( θ ^ − m ) 2 ] + 2 ( m − θ 0 ) E 反復 [ θ ^ − m ] + ( m − θ 0 ) 2 = Var 反復 ( θ ^ ) + { Bias ( θ ^ ) } 2 . \begin{aligned}
\operatorname{MSE}(\hat\theta)
&=\mathrm{E}_{\text{反復}}[(\hat\theta-m)^2]
+2(m-\theta_0)\mathrm{E}_{\text{反復}}[\hat\theta-m]
+(m-\theta_0)^2\\
&=\operatorname{Var}_{\text{反復}}(\hat\theta)
+\{\operatorname{Bias}(\hat\theta)\}^2.
\end{aligned} MSE ( θ ^ ) = E 反復 [( θ ^ − m ) 2 ] + 2 ( m − θ 0 ) E 反復 [ θ ^ − m ] + ( m − θ 0 ) 2 = Var 反復 ( θ ^ ) + { Bias ( θ ^ ) } 2 .
真ん中の項が消えるのは、 E 反復 [ θ ^ − m ] = m − m = 0 \mathrm{E}_{\text{反復}}[\hat\theta-m]=m-m=0 E 反復 [ θ ^ − m ] = m − m = 0
だからである。「二つのずれが独立だから」という説明は不要であり、中心からのずれの平均が0という事実だけを使っている。
MSEの単位は、IQなら点²である。元の点数と同じ単位で表したいなら平方根
MSE \sqrt{\operatorname{MSE}} MSE
を取り、これをRMSEと呼ぶ。ただし、RMSEは絶対誤差の平均と同じ量ではない。
事前の予想を使うと、どの条件でMSEが小さくなるか
二つの推定量の成績は、これまでに求めた分散とバイアスを足すだけで計算できる。
MSE ( θ ^ e ) = σ 2 n , MSE ( θ ^ b ) = w 2 σ 2 n + ( 1 − w ) 2 ( μ 0 − θ 0 ) 2 . \begin{aligned}
\operatorname{MSE}(\hat\theta_e)&=\frac{\sigma^2}{n},\\
\operatorname{MSE}(\hat\theta_b)&=w^2\frac{\sigma^2}{n}
+(1-w)^2(\mu_0-\theta_0)^2.
\end{aligned} MSE ( θ ^ e ) MSE ( θ ^ b ) = n σ 2 , = w 2 n σ 2 + ( 1 − w ) 2 ( μ 0 − θ 0 ) 2 .
事後平均を使って得られる「分散の減少」は ( 1 − w 2 ) σ 2 / n (1-w^2)\sigma^2/n ( 1 − w 2 ) σ 2 / n
であり、その代わりに加わる「偏りの二乗」は ( 1 − w ) 2 ( μ 0 − θ 0 ) 2 (1-w)^2(\mu_0-\theta_0)^2 ( 1 − w ) 2 ( μ 0 − θ 0 ) 2 である。
増える偏りの二乗よりも、減らせる分散の方が大きければ、MSEは改善する。
これを式で整理すると、 κ 0 > 0 \kappa_0>0 κ 0 > 0 のもとで、
MSE ( θ ^ b ) < MSE ( θ ^ e ) ⟺ ( 1 − w ) 2 ( μ 0 − θ 0 ) 2 < ( 1 − w 2 ) σ 2 n ⟺ ( μ 0 − θ 0 ) 2 < σ 2 n 1 + w 1 − w ⟺ ( μ 0 − θ 0 ) 2 < σ 2 ( 1 n + 2 κ 0 ) . \begin{aligned}
\operatorname{MSE}(\hat\theta_b)<\operatorname{MSE}(\hat\theta_e)
&\ \Longleftrightarrow\quad
(1-w)^2(\mu_0-\theta_0)^2<(1-w^2)\frac{\sigma^2}{n}\\
&\ \Longleftrightarrow\quad
(\mu_0-\theta_0)^2<\frac{\sigma^2}{n}\frac{1+w}{1-w}\\
&\ \Longleftrightarrow\quad
(\mu_0-\theta_0)^2<\sigma^2\left(\frac1n+\frac{2}{\kappa_0}\right).
\end{aligned} MSE ( θ ^ b ) < MSE ( θ ^ e ) ⟺ ( 1 − w ) 2 ( μ 0 − θ 0 ) 2 < ( 1 − w 2 ) n σ 2 ⟺ ( μ 0 − θ 0 ) 2 < n σ 2 1 − w 1 + w ⟺ ( μ 0 − θ 0 ) 2 < σ 2 ( n 1 + κ 0 2 ) .
最後の変形では、 ( 1 + w ) / ( 1 − w ) = ( 2 n + κ 0 ) / κ 0 (1+w)/(1-w)=(2n+\kappa_0)/\kappa_0 ( 1 + w ) / ( 1 − w ) = ( 2 n + κ 0 ) / κ 0
を使った。この不等式の左辺は事前の予想の外れ具合、右辺は改善のために許される外れ具合である。
κ 0 \kappa_0 κ 0
を大きくして事前の予想を強く信じるほど、右辺は小さくなり、予想に要求される正確さが増す。
たとえば n = 10 n=10 n = 10 、 κ 0 = 1 \kappa_0=1 κ 0 = 1 、
σ 2 = 169 \sigma^2=169 σ 2 = 169 なら、右辺は 169 ( 0.1 + 2 ) = 354.9 169(0.1+2)=354.9 169 ( 0.1 + 2 ) = 354.9
である。予想100点と真値112点の差の二乗は144なので、MSEは改善する。一方、同じ重みでも予想を90点にすると、差の二乗は
22 2 = 484 22^2=484 2 2 2 = 484 となり、この条件を満たさない。
ただし、真値は実際には未知である。この不等式は、真値を知って最適な重みを選ぶ手順ではなく、
どのような状況なら事前情報が役立つかを理解するための条件
である。 κ 0 = 1 \kappa_0=1 κ 0 = 1 なら、予想の外れが母標準偏差の
2 ≈ 1.414 \sqrt2\approx1.414 2 ≈ 1.414 倍以内であれば、すべての有限な n n n
で改善条件を満たす。
例:IQの点数
IQテストの点数は、一般の集団にあてはめたときに平均が100、標準偏差が15(分散が225)の正規分布になるように設計されている。米国のある町で
n n n 人の個人を標本抽出し、サイズ n n n
の標本に基づいてその町のIQの点数の平均 θ \theta θ
を推定する。ベイズ推定にあたり、当該の町に関する情報があまりない場合には、
μ 0 \mu_0 μ 0 の値として自然なのは μ 0 = 100 \mu_0=100 μ 0 = 100
であろう。
比較のための仮想実験として、この町の点数の真の平均を
θ 0 = 112 \theta_0=112 θ 0 = 112 、標準偏差を σ = 13 \sigma=13 σ = 13 (
σ 2 = 169 \sigma^2=169 σ 2 = 169
)と設定する。推定する側はこれらの真値を知らず、事前の中心として100を使うものとする。このとき、推定量
θ ^ e \hat\theta_e θ ^ e と θ ^ b \hat\theta_b θ ^ b のMSEは、
MSE [ θ ^ e ∣ θ 0 ] = Var [ θ ^ e ] = σ 2 n = 169 n , MSE [ θ ^ b ∣ θ 0 ] = w 2 169 n + ( 1 − w ) 2 144 \begin{gathered}
\operatorname{MSE}[\hat\theta_e\mid\theta_0]
=\operatorname{Var}[\hat\theta_e]
=\frac{\sigma^2}{n}
=\frac{169}{n},\\
\operatorname{MSE}[\hat\theta_b\mid\theta_0]
=w^2\frac{169}{n}+(1-w)^2 144
\end{gathered} MSE [ θ ^ e ∣ θ 0 ] = Var [ θ ^ e ] = n σ 2 = n 169 , MSE [ θ ^ b ∣ θ 0 ] = w 2 n 169 + ( 1 − w ) 2 144
である。ただし、 w = n / ( κ 0 + n ) w=n/(\kappa_0+n) w = n / ( κ 0 + n ) である。
不偏性だけで推定量を選ぶと何を見落とすかを、MSEと標本分布から比較する。上段の比が1未満なら、事前平均へ少し近づけた推定量の平均二乗誤差が小さい。
図5.6 IQの平均推定。真の平均112、標準偏差13、事前の位置100。上はMSE比、下はn=10の標本分布。
下段で事前平均へ近づけた分布は112から左にずれる一方、幅は狭い。そのため、偏りが増えてもMSEが減る場合がある。ただし、事前平均を強く信じすぎると偏りの二乗が勝る。
図5.6の上段には、 κ 0 = 1 , 2 , 3 \kappa_0=1,2,3 κ 0 = 1 , 2 , 3 の場合のMSEの比率
MSE [ θ ^ b ∣ θ 0 ] / MSE [ θ ^ e ∣ θ 0 ] \operatorname{MSE}[\hat\theta_b\mid\theta_0] / \operatorname{MSE}[\hat\theta_e\mid\theta_0] MSE [ θ ^ b ∣ θ 0 ] / MSE [ θ ^ e ∣ θ 0 ]
が、 n n n の関数として描かれている。
κ 0 = 1 \kappa_0=1 κ 0 = 1
または2のとき、特にサンプルサイズが小さい場合には、ベイズ推定量は標本平均より小さいMSEをもつことに注目しよう。事前の予想
μ 0 = 100 \mu_0=100 μ 0 = 100
は一見、はずれているように見えるが、実際にはデータの不確実性を考慮するとそれほどはずれているわけではないため、このような結果となっている。一方、
κ 0 = 3 \kappa_0=3 κ 0 = 3 を選択すると100の値により重きが置かれ、
n ≥ 6 n\ge6 n ≥ 6
では対応する推定量のMSEが標本平均のMSEより大きくなる。ただし
n = 1 , … , 5 n=1,\ldots,5 n = 1 , … , 5 ではまだ小さい。 n n n
が大きくなると、それぞれの推定量においてバイアスはゼロに近づき、MSEはいずれも0へ近づき、標本平均のMSE
σ 2 / n \sigma^2/n σ 2 / n に対する比は1へ近づく。図5.6の下段は
n = 10 n=10 n = 10 のときの標本平均と κ 0 = 1 , 2 , 3 \kappa_0=1,2,3 κ 0 = 1 , 2 , 3
のベイズ推定量の標本分布を示している。この図からバイアスと分散がどれほどMSEに寄与しているかがわかる。標本平均の標本分布は真の値112を中心にしているが、他のどの分布よりもばらついたものになっている。
κ 0 = 1 \kappa_0=1 κ 0 = 1
のときの推定量の分布は真の平均を中心にしているとはいえないが、分散は小さいため、平均的には標本平均よりも真の値に近くなる。
IQの例を電卓で追う
n = 10 n=10 n = 10 、 κ 0 = 1 \kappa_0=1 κ 0 = 1 なら
w = 10 / 11 w=10/11 w = 10/11 である。バイアスは ( 1 / 11 ) ( 100 − 112 ) = − 1.0909 (1/11)(100-112)=-1.0909 ( 1/11 ) ( 100 − 112 ) = − 1.0909 点、分散は
( 10 / 11 ) 2 × 169 / 10 = 13.9669 (10/11)^2\times169/10=13.9669 ( 10/11 ) 2 × 169/10 = 13.9669 点²なので、
MSE = 13.9669 + ( − 1.0909 ) 2 = 15.1570 点 2 \operatorname{MSE}=13.9669+(-1.0909)^2=15.1570\ \text{点}^2 MSE = 13.9669 + ( − 1.0909 ) 2 = 15.1570 点 2
となる。不偏な標本平均のMSEは16.9点²であるから、約10.3%改善する。
次の図では、MSEを分散とバイアスの二乗に分けて積み上げた。棒全体の長さがMSEであり、点線は標本平均のMSEである。事前の重みを増やすと、左側の分散が減る一方、右側のバイアスの二乗が増える様子を比べよう。
IQの平均推定のMSEの内訳。n=10、真の平均112点、標準偏差13点、事前の中心100点。左が分散、右がバイアスの二乗である。
κ 0 = 1 \kappa_0=1 κ 0 = 1 では、分散を 16.9 − 13.9669 = 2.9331 16.9-13.9669=2.9331 16.9 − 13.9669 = 2.9331
点²減らす代わりに、偏りの二乗が約1.1901点²加わる。その差の約1.7430点²だけMSEが改善する。
κ 0 = 3 \kappa_0=3 κ 0 = 3
では、分散の減少6.9点²に対して、偏りの二乗が約7.6686点²加わり、合計では悪化する。
「事前平均100は真値112からずれているから、使わない方がよい」とは限らない。ただし、
κ 0 = 3 \kappa_0=3 κ 0 = 3
のように重みを増やすとMSEが悪化しうる。真値は現実には未知なので、この表を見て常に最適な重みを選べるわけではない。事前情報の信頼性を考え、重みを変えて結果がどの程度動くかも確かめる必要がある。
また、改善条件を κ 0 = 3 \kappa_0=3 κ 0 = 3 に適用すると、
144 < 169 ( 1 n + 2 3 ) ⟺ n < 507 94 ≈ 5.394 144<169\left(\frac1n+\frac23\right)
\quad\Longleftrightarrow\quad
n<\frac{507}{94}\approx5.394 144 < 169 ( n 1 + 3 2 ) ⟺ n < 94 507 ≈ 5.394
となる。したがって、 n = 1 , … , 5 n=1,\ldots,5 n = 1 , … , 5 ではMSEが改善し、
n ≥ 6 n\ge6 n ≥ 6 では悪化する。原文の「 κ 0 = 3 \kappa_0=3 κ 0 = 3
ではMSEが大きくなる」は全ての標本数に当てはまるわけではない。図5.6の曲線にもこの交差が現れる。
補足:事後平均が最適なら、なぜMSEで負ける場合があるのか
事後平均を回答に選ぶことには、二乗誤差を使う場合の理由がある。今回のデータ
y y y を固定し、数値 a a a
を答えるときの誤差を事後分布で平均すると、
E [ ( θ − a ) 2 ∣ ∣ y ⟩ ] = Var ( θ ∣ ∣ y ⟩ ) + { E [ θ ∣ ∣ y ⟩ ] − a } 2 \mathrm{E}[(\theta-a)^2\mid\ket{y}]
=\operatorname{Var}(\theta\mid\ket{y})
+\{\mathrm{E}[\theta\mid\ket{y}]-a\}^2 E [( θ − a ) 2 ∣ ∣ y ⟩ ] = Var ( θ ∣ ∣ y ⟩ ) + { E [ θ ∣ ∣ y ⟩ ] − a } 2
となる。右辺の第1項は回答 a a a
を変えても変わらないため、 a = E [ θ ∣ ∣ y ⟩ ] a=\mathrm{E}[\theta\mid\ket{y}] a = E [ θ ∣ ∣ y ⟩ ]
として第2項を0にすれば最小になる。たとえば事後平均が110.91点、事後分散が15点²なら、110.91点と答えたときの事後期待損失は15点²、112点と答えたときは
15 + ( 110.91 − 112 ) 2 = 16.1881 15+(110.91-112)^2=16.1881 15 + ( 110.91 − 112 ) 2 = 16.1881
点²となる。これは式の読み方を示す仮の数値である。
ここで平均しているのは、今回のデータに基づく未知の
θ \theta θ の候補である。一方、5.4節のMSEでは、ある真値
θ 0 \theta_0 θ 0 を固定し、データを取り直して平均した。
評価する際に固定するものと平均するものが違うため、事後期待損失を最小にすることは、すべての真値で標本平均のMSEに勝つことを意味しない。
また、損失に絶対誤差を使うなら事後中央値が最適となり、評価基準によっても選ぶ回答は変わる。
5.5 期待値に基づく事前分布の特定
5.4節では、事前の予想とその重みが推定の成績に影響することを見た。では、その事前分布をどう決めればよいだろうか。5.3節の形状・尺度パラメータを直接考えるより、「母平均はどれくらいだと思うか」「個体差の分散はどれくらいだと思うか」から出発できると考えやすい。
この節は、
言葉で表した事前の予想を、計算に使える正規・逆ガンマ事前分布へ翻訳する方法
である。期待値だけから分布が一意に決まるわけではない。教科書は、ある共役事前分布の族を選び、その中で期待値と重みが希望に合うものを作っている。
ここではまず使い方と具体例を示し、その後に、教科書の指数型分布族を使う導出を一段ずつ確かめる。
最初に、同じ記号が違う意味になる点を整理する
教科書では、5.3節と5.5節の両方で σ 0 2 \sigma_0^2 σ 0 2
を使うが、その意味が異なる。混乱を避けるため、この節の解説では、希望する母分散の事前期待値を一時的に
v 0 v_0 v 0 と書く。
v 0 = E [ σ 2 ] . v_0=\mathrm{E}[\sigma^2]. v 0 = E [ σ 2 ] .
v 0 v_0 v 0
は新たに推定する未知量ではなく、事前分布を決める人が指定する数値である。教科書の5.5節では、この
v 0 v_0 v 0 が σ 0 2 \sigma_0^2 σ 0 2 と書かれている。
5.4節の E 反復 \mathrm{E}_{\text{反復}} E 反復 と違い、ここでの期待値は
データを観測する前の事前分布に基づく平均
である。母平均も母分散も未知なので、その候補を事前分布で平均している。
また、 E [ σ 2 ] = 0.01 \mathrm{E}[\sigma^2]=0.01 E [ σ 2 ] = 0.01 と指定することは、 σ 2 \sigma^2 σ 2
が必ず0.01だと決めることではない。分散の候補は0.005でも0.02でもよく、それらを確率で重み付けした平均が0.01になるようにする。
E [ σ 2 ] = 0.1 \sqrt{\mathrm{E}[\sigma^2]}=0.1 E [ σ 2 ] = 0.1 mmはばらつきの大きさを読む目安になるが、一般に
E [ σ ] = 0.1 \mathrm{E}[\sigma]=0.1 E [ σ ] = 0.1 mmを指定したことにはならない。
まず使い方:三つの指定から事前分布を作る
この節の方法では、 μ 0 \mu_0 μ 0 、 v 0 > 0 v_0>0 v 0 > 0 、
n 0 > 0 n_0>0 n 0 > 0 を指定し、次の事前分布を使う。
θ ∣ σ 2 ∼ normal ( μ 0 , σ 2 n 0 ) , σ 2 ∼ inverse-gamma ( n 0 + 3 2 ⏟ a 0 : 形状 , ( n 0 + 1 ) v 0 2 ⏟ b 0 : 第2パラメータ ) . \begin{gathered}
\theta\mid\sigma^2\sim\operatorname{normal}\left(\mu_0,\frac{\sigma^2}{n_0}\right),\\
\sigma^2\sim\operatorname{inverse\text{-}gamma}\left(
\underbrace{\frac{n_0+3}{2}}_{a_0:\text{形状}},
\underbrace{\frac{(n_0+1)v_0}{2}}_{b_0:\text{第2パラメータ}}
\right).
\end{gathered} θ ∣ σ 2 ∼ normal ( μ 0 , n 0 σ 2 ) , σ 2 ∼ inverse - gamma a 0 : 形状 2 n 0 + 3 , b 0 : 第 2 パラメータ 2 ( n 0 + 1 ) v 0 .
逆ガンマ分布の約束は5.3節と同じで、密度の形を p ( v ) ∝ v − a 0 − 1 exp ( − b 0 / v ) p(v)\propto v^{-a_0-1}\exp(-b_0/v) p ( v ) ∝ v − a 0 − 1 exp ( − b 0 / v )
とする。平均は a 0 > 1 a_0>1 a 0 > 1 のとき b 0 / ( a 0 − 1 ) b_0/(a_0-1) b 0 / ( a 0 − 1 )
である。なぜ n 0 + 3 n_0+3 n 0 + 3 や n 0 + 1 n_0+1 n 0 + 1
が現れるかは後で導くので、まず指定した予想が実現しているかを確かめよう。
母平均については、どの σ 2 \sigma^2 σ 2
に固定しても条件付き平均が μ 0 \mu_0 μ 0
なので、分散の候補についてさらに平均しても、
E [ θ ] = E [ E [ θ ∣ σ 2 ] ] = μ 0 \mathrm{E}[\theta]=\mathrm{E}[\mathrm{E}[\theta\mid\sigma^2]]=\mu_0 E [ θ ] = E [ E [ θ ∣ σ 2 ]] = μ 0
となる。母分散については、
E [ σ 2 ] = b 0 a 0 − 1 = ( n 0 + 1 ) v 0 / 2 ( n 0 + 3 ) / 2 − 1 = ( n 0 + 1 ) v 0 / 2 ( n 0 + 1 ) / 2 = v 0 . \mathrm{E}[\sigma^2]
=\frac{b_0}{a_0-1}
=\frac{(n_0+1)v_0/2}{(n_0+3)/2-1}
=\frac{(n_0+1)v_0/2}{(n_0+1)/2}=v_0. E [ σ 2 ] = a 0 − 1 b 0 = ( n 0 + 3 ) /2 − 1 ( n 0 + 1 ) v 0 /2 = ( n 0 + 1 ) /2 ( n 0 + 1 ) v 0 /2 = v 0 .
したがって、希望した二つの期待値が確かに得られる。
羽虫の数値を代入する。 μ 0 = 1.9 \mu_0=1.9 μ 0 = 1.9 、
v 0 = 0.01 v_0=0.01 v 0 = 0.01 、 n 0 = 1 n_0=1 n 0 = 1 とすれば、
a 0 = 1 + 3 2 = 2 , b 0 = ( 1 + 1 ) × 0.01 2 = 0.01 , a_0=\frac{1+3}{2}=2,\qquad
b_0=\frac{(1+1)\times0.01}{2}=0.01, a 0 = 2 1 + 3 = 2 , b 0 = 2 ( 1 + 1 ) × 0.01 = 0.01 ,
θ ∣ σ 2 ∼ normal ( 1.9 , σ 2 ) , σ 2 ∼ inverse-gamma ( 2 , 0.01 ) . \theta\mid\sigma^2\sim\operatorname{normal}(1.9,\sigma^2),
\qquad
\sigma^2\sim\operatorname{inverse\text{-}gamma}(2,0.01). θ ∣ σ 2 ∼ normal ( 1.9 , σ 2 ) , σ 2 ∼ inverse - gamma ( 2 , 0.01 ) .
この分布では、母平均の事前期待値は1.9 mm、母分散の事前期待値は
0.01 / ( 2 − 1 ) = 0.01 0.01/(2-1)=0.01 0.01/ ( 2 − 1 ) = 0.01 mm²である。
重み n 0 n_0 n 0 は、何に対する自信を表すのか
条件付き分散が σ 2 / n 0 \sigma^2/n_0 σ 2 / n 0 なので、 n 0 n_0 n 0
が大きいほど、母平均の候補を μ 0 \mu_0 μ 0
の近くへ集める。また、実際に n n n
個のデータを得た後の母平均は、
μ n = n 0 μ 0 + n y ˉ n 0 + n \mu_n=\frac{n_0\mu_0+n\bar y}{n_0+n} μ n = n 0 + n n 0 μ 0 + n y ˉ
となる。そのため、 母平均の更新では、事前の予想が
n 0 n_0 n 0 個分の重みを持つ と解釈できる。5.4節の
κ 0 \kappa_0 κ 0 に対応するのが、この n 0 n_0 n 0
である。
たとえば、3匹の平均が2.0 mmだったとする。事前の中心を1.9 mmに置くと、
n 0 = 1 n_0=1 n 0 = 1 なら μ n = ( 1.9 + 3 × 2.0 ) / 4 = 1.975 \mu_n=(1.9+3\times2.0)/4=1.975 μ n = ( 1.9 + 3 × 2.0 ) /4 = 1.975 mmとなり、
n 0 = 4 n_0=4 n 0 = 4 なら μ n = ( 4 × 1.9 + 3 × 2.0 ) / 7 ≈ 1.9429 \mu_n=(4\times1.9+3\times2.0)/7\approx1.9429 μ n = ( 4 × 1.9 + 3 × 2.0 ) /7 ≈ 1.9429
mmとなる。事前に強い重みを与えるほど、観測後も1.9 mmに近い値が残る。
ただし、 n 0 n_0 n 0
は実在する過去のデータの人数とは限らず、整数である必要もない。また、この方法では
n 0 n_0 n 0
を選ぶと母分散の事前分布の形も決まる。平均への自信と分散への自信を独立に設定できる、最も一般的な指定法ではない。5.3節の四つのパラメータを使う方法のうち、関係を制約した一つの選択肢である。
個体差と、母平均をまだ知らない不確かさを分ける
ここからが、二乗の期待値を理解するための準備である。次の二つを区別しよう。
母平均が仮にわかっていても、羽の長さは個体ごとに違う。この個体差の分散が
σ 2 \sigma^2 σ 2 であり、その事前期待値が v 0 v_0 v 0
である。
母平均そのものもまだわからない。1.9
mmを中心に、その候補にも幅がある。この不確かさが Var ( θ ) \operatorname{Var}(\theta) Var ( θ )
である。
後者は、全分散の公式を使うと求められる。
Var ( θ ) = E [ Var ( θ ∣ σ 2 ) ] + Var ( E [ θ ∣ σ 2 ] ) = E [ σ 2 n 0 ] + Var ( μ 0 ) = v 0 n 0 + 0. \begin{aligned}
\operatorname{Var}(\theta)
&=\mathrm{E}[\operatorname{Var}(\theta\mid\sigma^2)]
+\operatorname{Var}(\mathrm{E}[\theta\mid\sigma^2])\\
&=\mathrm{E}\left[\frac{\sigma^2}{n_0}\right]
+\operatorname{Var}(\mu_0)
=\frac{v_0}{n_0}+0.
\end{aligned} Var ( θ ) = E [ Var ( θ ∣ σ 2 )] + Var ( E [ θ ∣ σ 2 ]) = E [ n 0 σ 2 ] + Var ( μ 0 ) = n 0 v 0 + 0.
μ 0 \mu_0 μ 0 は指定済みの定数なので、最後の分散は0である。
n 0 = 1 n_0=1 n 0 = 1 なら、 Var ( θ ) = 0.01 \operatorname{Var}(\theta)=0.01 Var ( θ ) = 0.01 mm²となる。
E [ σ 2 ] = 0.01 \mathrm{E}[\sigma^2]=0.01 E [ σ 2 ] = 0.01
mm²と数値は同じだが、一方は個体差、もう一方は母平均に関する不確かさである。
まだ観測していない1匹の羽の長さを Y Y Y
とすると、どの母平均が正しいかも含めて予測する必要がある。したがって、再び全分散の公式により、
Var ( Y ) = E [ Var ( Y ∣ θ , σ 2 ) ] + Var ( E [ Y ∣ θ , σ 2 ] ) = E [ σ 2 ] ⏟ 個体差 + Var ( θ ) ⏟ 母平均の不確かさ = v 0 + v 0 n 0 . \begin{aligned}
\operatorname{Var}(Y)
&=\mathrm{E}[\operatorname{Var}(Y\mid\theta,\sigma^2)]
+\operatorname{Var}(\mathrm{E}[Y\mid\theta,\sigma^2])\\
&=\underbrace{\mathrm{E}[\sigma^2]}_{\text{個体差}}
+\underbrace{\operatorname{Var}(\theta)}_{\text{母平均の不確かさ}}
=v_0+\frac{v_0}{n_0}.
\end{aligned} Var ( Y ) = E [ Var ( Y ∣ θ , σ 2 )] + Var ( E [ Y ∣ θ , σ 2 ]) = 個体差 E [ σ 2 ] + 母平均の不確かさ Var ( θ ) = v 0 + n 0 v 0 .
n 0 = 1 n_0=1 n 0 = 1 では Var ( Y ) = 0.01 + 0.01 = 0.02 \operatorname{Var}(Y)=0.01+0.01=0.02 Var ( Y ) = 0.01 + 0.01 = 0.02
mm²である。これは、5.3節で事後予測の分散を考えたときと同じ分解を、
データを見る前 に使ったものである。
次の図では、母分散の予想 v 0 = 0.01 v_0=0.01 v 0 = 0.01
を同じにしたまま、事前の重み n 0 n_0 n 0
を変える。棒全体は次の1匹の事前予測分散、左側は個体差、右側は母平均をまだ知らないことによる追加分である。
事前予測分散の内訳。母分散の事前期待値はすべて0.01 mm²。重みを増やすと母平均の不確かさが減る。
n 0 = 1 , 4 , 16 n_0=1,4,16 n 0 = 1 , 4 , 16
のとき、母平均の不確かさはそれぞれ0.01、0.0025、0.000625
mm²となる。そのため、事前予測分散は0.02、0.0125、0.010625
mm²となる。母平均について強く確信しても、次の個体の長さには個体差が残る。
なぜ「二乗の期待値」に平均の不確かさを足すのか
教科書には t 01 t_{01} t 01 と t 02 t_{02} t 02
という記号が登場する。ここでは、次の1観測についての二つの事前要約を表している。
t 01 = E [ Y ] , t 02 = E [ Y 2 ] . t_{01}=\mathrm{E}[Y],\qquad t_{02}=\mathrm{E}[Y^2]. t 01 = E [ Y ] , t 02 = E [ Y 2 ] .
t 02 t_{02} t 02
は分散ではない。また、「期待値を二乗したもの」と「二乗してから期待値を取ったもの」も違う。一般に、
E [ Y 2 ] = Var ( Y ) + { E [ Y ] } 2 \mathrm{E}[Y^2]=\operatorname{Var}(Y)+\{\mathrm{E}[Y]\}^2 E [ Y 2 ] = Var ( Y ) + { E [ Y ] } 2
である。先ほどの事前予測分散を代入するだけで、
t 01 = μ 0 , t 02 = v 0 ⏟ 個体差 + v 0 n 0 ⏟ 母平均の不確かさ + μ 0 2 ⏟ 全体の中心の二乗 \boxed{\quad
t_{01}=\mu_0,\qquad
t_{02}=\underbrace{v_0}_{\text{個体差}}
+\underbrace{\frac{v_0}{n_0}}_{\text{母平均の不確かさ}}
+\underbrace{\mu_0^2}_{\text{全体の中心の二乗}}
\quad} t 01 = μ 0 , t 02 = 個体差 v 0 + 母平均の不確かさ n 0 v 0 + 全体の中心の二乗 μ 0 2
が得られる。たとえば、 μ 0 = 1.9 \mu_0=1.9 μ 0 = 1.9 、 v 0 = 0.01 v_0=0.01 v 0 = 0.01
、 n 0 = 1 n_0=1 n 0 = 1 なら、
t 01 = 1.9 mm , t 02 = 0.01 + 0.01 + 1.9 2 = 3.63 mm 2 . t_{01}=1.9\ \text{mm},\qquad
t_{02}=0.01+0.01+1.9^2=3.63\ \text{mm}^2. t 01 = 1.9 mm , t 02 = 0.01 + 0.01 + 1. 9 2 = 3.63 mm 2 .
3.63という値が大きく見えるのは、0からの距離を二乗した量だからである。中心の二乗
1.9 2 = 3.61 1.9^2=3.61 1. 9 2 = 3.61 を引けば、 3.63 − 3.61 = 0.02 3.63-3.61=0.02 3.63 − 3.61 = 0.02
となり、先ほどの予測分散に戻る。
教科書の式を同じ内容で書くと、
E [ Y 2 ] = E [ E [ Y 2 ∣ θ , σ 2 ] ] = E [ σ 2 + θ 2 ] = v 0 + E [ θ 2 ] = v 0 + Var ( θ ) + μ 0 2 = v 0 + v 0 / n 0 + μ 0 2 . \begin{aligned}
\mathrm{E}[Y^2]
&=\mathrm{E}[\mathrm{E}[Y^2\mid\theta,\sigma^2]]\\
&=\mathrm{E}[\sigma^2+\theta^2]\\
&=v_0+\mathrm{E}[\theta^2]\\
&=v_0+\operatorname{Var}(\theta)+\mu_0^2
=v_0+v_0/n_0+\mu_0^2.
\end{aligned} E [ Y 2 ] = E [ E [ Y 2 ∣ θ , σ 2 ]] = E [ σ 2 + θ 2 ] = v 0 + E [ θ 2 ] = v 0 + Var ( θ ) + μ 0 2 = v 0 + v 0 / n 0 + μ 0 2 .
最初の等号は「平均と分散を仮に固定して計算し、その候補についてさらに平均する」という二段階の計算である。つまずきやすいのは、
E [ θ 2 ] \mathrm{E}[\theta^2] E [ θ 2 ] を μ 0 2 \mu_0^2 μ 0 2
だけで置き換えるところである。その置き換えでは、母平均の候補に幅があることを消してしまう。
二つの候補だけの例で確かめる。
この等式の意味を見るため、ここだけは正規・逆ガンマ事前分布を離れ、母平均が1.8
mmか2.0 mmかの二択で、確率がそれぞれ1/2だとする。母分散は0.01
mm²に固定する。
E [ θ ] = 1.8 + 2.0 2 = 1.9 , E [ θ 2 ] = 1.8 2 + 2.0 2 2 = 3.62. \mathrm{E}[\theta]=\frac{1.8+2.0}{2}=1.9,\qquad
\mathrm{E}[\theta^2]=\frac{1.8^2+2.0^2}{2}=3.62. E [ θ ] = 2 1.8 + 2.0 = 1.9 , E [ θ 2 ] = 2 1. 8 2 + 2. 0 2 = 3.62.
ところが、期待値を先に二乗すると 1.9 2 = 3.61 1.9^2=3.61 1. 9 2 = 3.61
であり、0.01だけ小さい。この0.01が、
Var ( θ ) = ( 1.8 − 1.9 ) 2 + ( 2.0 − 1.9 ) 2 2 = 0.01 \operatorname{Var}(\theta)
=\frac{(1.8-1.9)^2+(2.0-1.9)^2}{2}=0.01 Var ( θ ) = 2 ( 1.8 − 1.9 ) 2 + ( 2.0 − 1.9 ) 2 = 0.01
に相当する。したがって E [ Y 2 ] = 0.01 + 3.62 = 3.63 \mathrm{E}[Y^2]=0.01+3.62=3.63 E [ Y 2 ] = 0.01 + 3.62 = 3.63 である。
平均の候補が左右に散らばると、二乗の平均は中心の二乗より大きくなる
ことが、具体的な数値でもわかる。
導出の準備:なぜ Y Y Y と Y 2 Y^2 Y 2
の二つを使うのか
ここまでで事前分布の使い方と期待値の意味はそろった。残る問いは、「なぜこの正規・逆ガンマ分布が出てくるのか」である。教科書の指数型分布族の式は、更新を簡単にするための整理法だと考えるとよい。
まず正規尤度では、 v = σ 2 v=\sigma^2 v = σ 2 と書くと、
p ( y ( 1 ) , … , y ( n ) ∣ θ , v ) ∝ v − n / 2 exp { − 1 2 v ∑ i = 1 n ( y ( i ) − θ ) 2 } = v − n / 2 exp { − n θ 2 2 v + θ v ∑ i y ( i ) − 1 2 v ∑ i ( y ( i ) ) 2 } . \begin{aligned}
p(y^{(1)},\ldots,y^{(n)}\mid\theta,v)
&\propto v^{-n/2}
\exp\left\{-\frac{1}{2v}\sum_{i=1}^n(y^{(i)}-\theta)^2\right\}\\
&=v^{-n/2}\exp\left\{
-\frac{n\theta^2}{2v}
+\frac{\theta}{v}\sum_i y^{(i)}
-\frac{1}{2v}\sum_i (y^{(i)})^2
\right\}.
\end{aligned} p ( y ( 1 ) , … , y ( n ) ∣ θ , v ) ∝ v − n /2 exp { − 2 v 1 i = 1 ∑ n ( y ( i ) − θ ) 2 } = v − n /2 exp { − 2 v n θ 2 + v θ i ∑ y ( i ) − 2 v 1 i ∑ ( y ( i ) ) 2 } .
データから使うのは、件数 n n n 、和
∑ i y ( i ) \sum_i y^{(i)} ∑ i y ( i ) 、二乗和 ∑ i ( y ( i ) ) 2 \sum_i (y^{(i)})^2 ∑ i ( y ( i ) ) 2
だけである。たとえば、羽の長さが1.8、2.0、2.2 mmなら、
n = 3 , ∑ i y ( i ) = 6.0 , ∑ i ( y ( i ) ) 2 = 3.24 + 4.00 + 4.84 = 12.08. n=3,\qquad \sum_i y^{(i)}=6.0,\qquad
\sum_i (y^{(i)})^2=3.24+4.00+4.84=12.08. n = 3 , i ∑ y ( i ) = 6.0 , i ∑ ( y ( i ) ) 2 = 3.24 + 4.00 + 4.84 = 12.08.
平均と散らばりも、ここから取り出せる。
y ˉ = 6 / 3 = 2 , ∑ i ( y ( i ) − y ˉ ) 2 = 12.08 − 3 × 2 2 = 0.08. \bar y=6/3=2,
\qquad
\sum_i(y^{(i)}-\bar y)^2=12.08-3\times2^2=0.08. y ˉ = 6/3 = 2 , i ∑ ( y ( i ) − y ˉ ) 2 = 12.08 − 3 × 2 2 = 0.08.
「値と二乗を使う」のは、平均と散らばりの両方に必要な情報を、足し合わせやすい形で持つためである。
指数型分布族:係数とデータの要約に名前を付ける
1観測の密度を、
p ( y ∣ ∣ ϕ ⟩ ) = h ( y ) c ( ∣ ϕ ⟩ ) exp { ⟨ ϕ ∣ t ( y ) ⟩ } p(y\mid\ket{\phi})=h(y)c(\ket{\phi})\exp\{\braket{\phi|t(y)}\} p ( y ∣ ∣ ϕ ⟩ ) = h ( y ) c ( ∣ ϕ ⟩ ) exp { ⟨ ϕ ∣ t ( y ) ⟩ }
という形に整理できる分布の集まりを、指数型分布族という。ここでは新しい確率モデルに変えたのではなく、正規密度の各部分に名前を付けている。
⟨ ϕ ∣ t ( y ) ⟩ \braket{\phi|t(y)} ⟨ ϕ ∣ t ( y ) ⟩
は、対応する二つの成分を掛けて足す内積であり、
⟨ ϕ ∣ t ( y ) ⟩ = ϕ 1 y + ϕ 2 y 2 = θ v y − 1 2 v y 2 \braket{\phi|t(y)}=\phi_1y+\phi_2y^2
=\frac{\theta}{v}y-\frac{1}{2v}y^2 ⟨ ϕ ∣ t ( y ) ⟩ = ϕ 1 y + ϕ 2 y 2 = v θ y − 2 v 1 y 2
を表す。たとえば θ = 2 \theta=2 θ = 2 、 v = 4 v=4 v = 4 なら、
0.5 y − 0.125 y 2 0.5y-0.125y^2 0.5 y − 0.125 y 2 となる。また、
c ( ∣ ϕ ⟩ ) = ( 2 v ) − 1 / 2 exp ( − θ 2 2 v ) c(\ket{\phi})=(2v)^{-1/2}\exp\left(-\frac{\theta^2}{2v}\right) c ( ∣ ϕ ⟩ ) = ( 2 v ) − 1/2 exp ( − 2 v θ 2 )
なので、 h ( y ) c ( ∣ ϕ ⟩ ) exp { ⟨ ϕ ∣ t ( y ) ⟩ } h(y)c(\ket{\phi})\exp\{\braket{\phi|t(y)}\} h ( y ) c ( ∣ ϕ ⟩ ) exp { ⟨ ϕ ∣ t ( y ) ⟩ } を掛け合わせれば、通常の正規密度
( 2 π v ) − 1 / 2 exp { − ( y − θ ) 2 / ( 2 v ) } (2\pi v)^{-1/2}\exp\{-(y-\theta)^2/(2v)\} ( 2 π v ) − 1/2 exp { − ( y − θ ) 2 / ( 2 v )} に戻る。
同じ形の事前分布を使えば、更新が足し算になる
n n n
個の尤度は、パラメータに依存しない部分を除くと、
c ( ∣ ϕ ⟩ ) n exp { ⟨ ϕ ∣ ∑ i ∣ t ( y ( i ) ) ⟩ } c(\ket{\phi})^n\exp\left\{\bra{\phi}\sum_i \ket{t(y^{(i)})}\right\} c ( ∣ ϕ ⟩ ) n exp { ⟨ ϕ ∣ i ∑ ∣ t ( y ( i ) ) ⟩ }
である。そこで、自然パラメータ ∣ ϕ ⟩ \ket{\phi} ∣ ϕ ⟩
の事前密度を、
p ( ∣ ϕ ⟩ ∣ n 0 , ∣ t 0 ⟩ ) ∝ c ( ∣ ϕ ⟩ ) n 0 exp { n 0 ⟨ ϕ ∣ t 0 ⟩ } , ∣ t 0 ⟩ = ( t 01 , t 02 ) T p(\ket{\phi}\mid n_0,\ket{t_0})\propto
c(\ket{\phi})^{n_0}\exp\{n_0\braket{\phi|t_0}\},
\qquad \ket{t_0}=(t_{01},t_{02})^{\mathsf{T}} p ( ∣ ϕ ⟩ ∣ n 0 , ∣ t 0 ⟩ ) ∝ c ( ∣ ϕ ⟩ ) n 0 exp { n 0 ⟨ ϕ ∣ t 0 ⟩ } , ∣ t 0 ⟩ = ( t 01 , t 02 ) T
とする。事前と尤度を掛けると、
p ( ∣ ϕ ⟩ ∣ y ( 1 ) , … , y ( n ) ) ∝ c ( ∣ ϕ ⟩ ) n 0 + n exp { ⟨ ϕ ∣ ( n 0 ∣ t 0 ⟩ + ∑ i ∣ t ( y ( i ) ) ⟩ ) } . p(\ket{\phi}\mid y^{(1)},\ldots,y^{(n)})\propto
c(\ket{\phi})^{n_0+n}
\exp\left\{\bra{\phi}\left(n_0\ket{t_0}+\sum_i \ket{t(y^{(i)})}\right)\right\}. p ( ∣ ϕ ⟩ ∣ y ( 1 ) , … , y ( n ) ) ∝ c ( ∣ ϕ ⟩ ) n 0 + n exp { ⟨ ϕ ∣ ( n 0 ∣ t 0 ⟩ + i ∑ ∣ t ( y ( i ) ) ⟩ ) } .
指数法則 e a e b = e a + b e^ae^b=e^{a+b} e a e b = e a + b
を使っただけである。形は変わらず、「事前の要約に、データの要約を足す」という更新になる。これが共役性である。
先ほどの n 0 = 1 n_0=1 n 0 = 1 、 ∣ t 0 ⟩ = ( 1.9 , 3.63 ) T \ket{t_0}=(1.9,3.63)^{\mathsf{T}} ∣ t 0 ⟩ = ( 1.9 , 3.63 ) T
と、説明用データ1.8、2.0、2.2を合わせると、
n 0 + n = 4 , n 0 ∣ t 0 ⟩ + ∑ i ∣ t ( y ( i ) ) ⟩ = ( 1.9 , 3.63 ) T + ( 6.0 , 12.08 ) T = ( 7.9 , 15.71 ) T . n_0+n=4,\qquad
n_0\ket{t_0}+\sum_i \ket{t(y^{(i)})}=(1.9,3.63)^{\mathsf{T}}+(6.0,12.08)^{\mathsf{T}}=(7.9,15.71)^{\mathsf{T}}. n 0 + n = 4 , n 0 ∣ t 0 ⟩ + i ∑ ∣ t ( y ( i ) ) ⟩ = ( 1.9 , 3.63 ) T + ( 6.0 , 12.08 ) T = ( 7.9 , 15.71 ) T .
更新後の要約は、この二つを4で割った ( 1.975 , 3.9275 ) (1.975,3.9275) ( 1.975 , 3.9275 )
である。第1成分は、すでに求めた母平均の事後期待値1.975と一致する。
ここで「1個分の事前情報」といっても、1.9
mmという実測値を1個追加したわけではない。そのような実測値の二乗は3.61だが、事前の二乗の要約は3.63である。事前の要約には、予想の周りの不確かさも入っている。
母平均と母分散の密度に戻す:ヤコビアンが必要な理由
上の密度は、自然パラメータ ( ϕ 1 , ϕ 2 ) (\phi_1,\phi_2) ( ϕ 1 , ϕ 2 )
についての密度である。求めたいのは ( θ , v ) (\theta,v) ( θ , v )
についての密度なので、変数を戻す。
密度の高さだけでは確率にならず、「密度 ×
小さな領域の面積」がその領域の確率になる。変数を変えると領域の面積も変わるため、単に式を代入するだけでは確率を保てない。この面積の倍率が、
ヤコビアンの絶対値 である。
ここでは、
ϕ 1 = θ v , ϕ 2 = − 1 2 v , \phi_1=\frac{\theta}{v},\qquad \phi_2=-\frac{1}{2v}, ϕ 1 = v θ , ϕ 2 = − 2 v 1 ,
なので、微分を並べた行列から、
∣ det ∂ ( ϕ 1 , ϕ 2 ) ∂ ( θ , v ) ∣ = ∣ det ( 1 / v − θ / v 2 0 1 / ( 2 v 2 ) ) ∣ = 1 2 v 3 \left|\det\frac{\partial(\phi_1,\phi_2)}{\partial(\theta,v)}\right|
=\left|\det\begin{pmatrix}
1/v&-\theta/v^2\\
0&1/(2v^2)
\end{pmatrix}\right|
=\frac{1}{2v^3} det ∂ ( θ , v ) ∂ ( ϕ 1 , ϕ 2 ) = det ( 1/ v 0 − θ / v 2 1/ ( 2 v 2 ) ) = 2 v 3 1
を得る。2行2列の行列式は「左上 × 右下 − 右上 ×
左下」であり、ここでは左下が0なので最初の積だけが残る。
したがって、密度の変換は次の順序になる。
p ( θ , v ) = p ( ϕ 1 ( θ , v ) , ϕ 2 ( θ , v ) ) 1 2 v 3 ∝ v − n 0 / 2 − 3 exp { − n 0 2 v ( θ 2 − 2 t 01 θ + t 02 ) } = v − n 0 / 2 − 3 exp { − n 0 2 v [ ( θ − t 01 ) 2 + ( t 02 − t 01 2 ) ] } . \begin{aligned}
p(\theta,v)
&=p(\phi_1(\theta,v),\phi_2(\theta,v))\frac{1}{2v^3}\\
&\propto v^{-n_0/2-3}
\exp\left\{-\frac{n_0}{2v}
(\theta^2-2t_{01}\theta+t_{02})\right\}\\
&=v^{-n_0/2-3}
\exp\left\{-\frac{n_0}{2v}
\bigl[(\theta-t_{01})^2+(t_{02}-t_{01}^2)\bigr]\right\}.
\end{aligned} p ( θ , v ) = p ( ϕ 1 ( θ , v ) , ϕ 2 ( θ , v )) 2 v 3 1 ∝ v − n 0 /2 − 3 exp { − 2 v n 0 ( θ 2 − 2 t 01 θ + t 02 ) } = v − n 0 /2 − 3 exp { − 2 v n 0 [ ( θ − t 01 ) 2 + ( t 02 − t 01 2 ) ] } .
最後は平方完成である。 θ 2 − 2 t 01 θ \theta^2-2t_{01}\theta θ 2 − 2 t 01 θ に t 01 2 t_{01}^2 t 01 2
を足して二乗を作り、その分を引いた。
ここから、 θ \theta θ
を含む部分と含まない部分に分ける。
p ( θ , v ) ∝ v − 1 / 2 exp { − n 0 ( θ − t 01 ) 2 2 v } ⏟ θ ∣ v の正規密度の形 × v − ( n 0 + 5 ) / 2 exp { − n 0 ( t 02 − t 01 2 ) 2 v } ⏟ v の逆ガンマ密度の形 . p(\theta,v)\propto
\underbrace{v^{-1/2}\exp\left\{-\frac{n_0(\theta-t_{01})^2}{2v}\right\}}_{\theta\mid v\text{ の正規密度の形}}
\times
\underbrace{v^{-(n_0+5)/2}\exp\left\{-\frac{n_0(t_{02}-t_{01}^2)}{2v}\right\}}_{v\text{ の逆ガンマ密度の形}}. p ( θ , v ) ∝ θ ∣ v の正規密度の形 v − 1/2 exp { − 2 v n 0 ( θ − t 01 ) 2 } × v の逆ガンマ密度の形 v − ( n 0 + 5 ) /2 exp { − 2 v n 0 ( t 02 − t 01 2 ) } .
元の v v v の指数は − ( n 0 + 6 ) / 2 -(n_0+6)/2 − ( n 0 + 6 ) /2
である。正規密度の分として − 1 / 2 -1/2 − 1/2 を取り出すので、残りが
− ( n 0 + 5 ) / 2 -(n_0+5)/2 − ( n 0 + 5 ) /2 になる。逆ガンマ密度の指数は − a 0 − 1 -a_0-1 − a 0 − 1
だから、
a 0 + 1 = n 0 + 5 2 ⟹ a 0 = n 0 + 3 2 , b 0 = n 0 ( t 02 − t 01 2 ) 2 . a_0+1=\frac{n_0+5}{2}
\quad\Longrightarrow\quad
a_0=\frac{n_0+3}{2},\qquad
b_0=\frac{n_0(t_{02}-t_{01}^2)}{2}. a 0 + 1 = 2 n 0 + 5 ⟹ a 0 = 2 n 0 + 3 , b 0 = 2 n 0 ( t 02 − t 01 2 ) .
これが、形状パラメータの n 0 + 3 n_0+3 n 0 + 3
が現れる理由である。これは「3個の観測を追加した」という意味ではなく、密度の変数変換と、条件付き正規密度を取り出す計算から生じた数である。正則な分布になる条件は
n 0 > 0 n_0>0 n 0 > 0 、 t 02 > t 01 2 t_{02}>t_{01}^2 t 02 > t 01 2 である。
さらに、逆ガンマの平均を希望する v 0 v_0 v 0
に合わせるには、
v 0 = b 0 a 0 − 1 = n 0 ( t 02 − t 01 2 ) n 0 + 1 v_0=\frac{b_0}{a_0-1}
=\frac{n_0(t_{02}-t_{01}^2)}{n_0+1} v 0 = a 0 − 1 b 0 = n 0 + 1 n 0 ( t 02 − t 01 2 )
とすればよい。 t 01 = μ 0 t_{01}=\mu_0 t 01 = μ 0 として解くと、
t 02 = μ 0 2 + n 0 + 1 n 0 v 0 , b 0 = ( n 0 + 1 ) v 0 2 . t_{02}=\mu_0^2+\frac{n_0+1}{n_0}v_0,
\qquad b_0=\frac{(n_0+1)v_0}{2}. t 02 = μ 0 2 + n 0 n 0 + 1 v 0 , b 0 = 2 ( n 0 + 1 ) v 0 .
先に事前予測の分散から求めた式と一致する。したがって、
∣ t 0 ⟩ = ( E [ Y ] , E [ Y 2 ] ) T \ket{t_0}=(\mathrm{E}[Y],\mathrm{E}[Y^2])^{\mathsf{T}} ∣ t 0 ⟩ = ( E [ Y ] , E [ Y 2 ] ) T
という解釈と、正規・逆ガンマ密度のパラメータがつながった。
5.3節の四つのパラメータへ翻訳する
5.3節の分散の事前分布は、尺度の記号をここだけ s 0 2 s_0^2 s 0 2
と書き分けると、
σ 2 ∼ inverse-gamma ( ν 0 2 , ν 0 s 0 2 2 ) \sigma^2\sim\operatorname{inverse\text{-}gamma}
\left(\frac{\nu_0}{2},\frac{\nu_0s_0^2}{2}\right) σ 2 ∼ inverse - gamma ( 2 ν 0 , 2 ν 0 s 0 2 )
だった。この s 0 2 s_0^2 s 0 2 が、5.3節で σ 0 2 \sigma_0^2 σ 0 2
と呼んでいた量である。今の事前分布に対応させると、
κ 0 = n 0 , ν 0 = n 0 + 3 , s 0 2 = n 0 + 1 n 0 + 3 v 0 . \kappa_0=n_0,\qquad
\nu_0=n_0+3,\qquad
s_0^2=\frac{n_0+1}{n_0+3}v_0. κ 0 = n 0 , ν 0 = n 0 + 3 , s 0 2 = n 0 + 3 n 0 + 1 v 0 .
数値例では、 κ 0 = 1 \kappa_0=1 κ 0 = 1 、 ν 0 = 4 \nu_0=4 ν 0 = 4 、
s 0 2 = 0.005 s_0^2=0.005 s 0 2 = 0.005 である。尺度が0.005でも、母分散の期待値は、
E [ σ 2 ] = ν 0 s 0 2 ν 0 − 2 = 4 × 0.005 4 − 2 = 0.01 \mathrm{E}[\sigma^2]=\frac{\nu_0s_0^2}{\nu_0-2}
=\frac{4\times0.005}{4-2}=0.01 E [ σ 2 ] = ν 0 − 2 ν 0 s 0 2 = 4 − 2 4 × 0.005 = 0.01
となる。
尺度0.01を入れることと、分散の期待値を0.01にすることは別の指定
である。
5.3節の羽虫の例は ν 0 = 1 \nu_0=1 ν 0 = 1
、尺度0.01を使っていた。その逆ガンマ分布には有限な平均がないので、「母分散の事前期待値が0.01」という意味には解釈できない。これに対して本節の
n 0 = 1 n_0=1 n 0 = 1
では形状が2であり、有限な平均0.01を持つ。ただし分散は有限ではないため、この選択をあらゆる目的に適した弱い事前分布とみなすことはできない。
データを入れて、更新を最後まで計算する
n 0 = 1 n_0=1 n 0 = 1 のとき、5.3節の更新公式に κ 0 = 1 \kappa_0=1 κ 0 = 1
、 a 0 = 2 a_0=2 a 0 = 2 、 b 0 = v 0 b_0=v_0 b 0 = v 0 を入れると、
θ ∣ σ 2 , y ∼ normal ( μ 0 + n y ˉ n + 1 , σ 2 n + 1 ) , σ 2 ∣ ∣ y ⟩ ∼ inverse-gamma ( 2 + n 2 , v 0 + 1 2 ∑ i ( y ( i ) − y ˉ ) 2 + 1 2 n n + 1 ( y ˉ − μ 0 ) 2 ) . \begin{gathered}
\theta\mid\sigma^2,y
\sim\operatorname{normal}\left(\frac{\mu_0+n\bar y}{n+1},\frac{\sigma^2}{n+1}\right),\\
\sigma^2\mid\ket{y}
\sim\operatorname{inverse\text{-}gamma}\left(
2+\frac n2,\;
v_0+\frac12\sum_i(y^{(i)}-\bar y)^2
+\frac12\frac{n}{n+1}(\bar y-\mu_0)^2
\right).
\end{gathered} θ ∣ σ 2 , y ∼ normal ( n + 1 μ 0 + n y ˉ , n + 1 σ 2 ) , σ 2 ∣ ∣ y ⟩ ∼ inverse - gamma ( 2 + 2 n , v 0 + 2 1 i ∑ ( y ( i ) − y ˉ ) 2 + 2 1 n + 1 n ( y ˉ − μ 0 ) 2 ) .
平方和を ∑ i ( y ( i ) − y ˉ ) 2 = ( n − 1 ) s 2 \sum_i(y^{(i)}-\bar y)^2=(n-1)s^2 ∑ i ( y ( i ) − y ˉ ) 2 = ( n − 1 ) s 2
と書けば、教科書の式になる。第2パラメータは、事前の項、データ内の散らばり、事前とデータの中心の食い違い、という三つの寄与からできている。
まず、説明用の3匹1.8、2.0、2.2 mmを使う。 μ 0 = 1.9 \mu_0=1.9 μ 0 = 1.9 、
v 0 = 0.01 v_0=0.01 v 0 = 0.01 なので、
μ n = 1.9 + 3 × 2.0 4 = 1.975 , a n = 2 + 3 / 2 = 3.5 , b n = 0.01 + 0.08 / 2 + 1 2 3 4 ( 2.0 − 1.9 ) 2 = 0.01 + 0.04 + 0.00375 = 0.05375. \begin{aligned}
\mu_n&=\frac{1.9+3\times2.0}{4}=1.975,\\
a_n&=2+3/2=3.5,\\
b_n&=0.01+0.08/2+\frac12\frac34(2.0-1.9)^2\\
&=0.01+0.04+0.00375=0.05375.
\end{aligned} μ n a n b n = 4 1.9 + 3 × 2.0 = 1.975 , = 2 + 3/2 = 3.5 , = 0.01 + 0.08/2 + 2 1 4 3 ( 2.0 − 1.9 ) 2 = 0.01 + 0.04 + 0.00375 = 0.05375.
したがって、
θ ∣ σ 2 , y ∼ normal ( 1.975 , σ 2 / 4 ) , σ 2 ∣ ∣ y ⟩ ∼ inverse-gamma ( 3.5 , 0.05375 ) . \theta\mid\sigma^2,y\sim\operatorname{normal}(1.975,\sigma^2/4),
\qquad
\sigma^2\mid\ket{y}\sim\operatorname{inverse\text{-}gamma}(3.5,0.05375). θ ∣ σ 2 , y ∼ normal ( 1.975 , σ 2 /4 ) , σ 2 ∣ ∣ y ⟩ ∼ inverse - gamma ( 3.5 , 0.05375 ) .
母分散の事後期待値は 0.05375 / ( 3.5 − 1 ) = 0.0215 0.05375/(3.5-1)=0.0215 0.05375/ ( 3.5 − 1 ) = 0.0215
mm²となる。また、母平均の事後分散は 0.0215 / 4 = 0.005375 0.0215/4=0.005375 0.0215/4 = 0.005375
mm²、次の1匹の予測分散は 0.0215 + 0.005375 = 0.026875 0.0215+0.005375=0.026875 0.0215 + 0.005375 = 0.026875 mm²である。
要約の足し算からも確かめられる。先ほど更新した二つの要約は
( 1.975 , 3.9275 ) (1.975,3.9275) ( 1.975 , 3.9275 ) だったので、 3.9275 − 1.975 2 = 0.026875 3.9275-1.975^2=0.026875 3.9275 − 1.97 5 2 = 0.026875
mm²となり、同じ予測分散に戻る。二乗和を使う更新と、平均・分散を使う更新は同じ計算を別の形で表している。
最後に、教科書の羽虫9匹を使うと、 μ n = 1.814 \mu_n=1.814 μ n = 1.814 、
a n = 2 + 9 / 2 = 6.5 a_n=2+9/2=6.5 a n = 2 + 9/2 = 6.5 、
b n = 0.01 + 0.1350222 / 2 + 0.0082178 / 2 = 0.08162 b_n=0.01+0.1350222/2+0.0082178/2=0.08162 b n = 0.01 + 0.1350222/2 + 0.0082178/2 = 0.08162
となる。母分散の事後期待値は 0.08162 / ( 6.5 − 1 ) = 0.01484 0.08162/(6.5-1)=0.01484 0.08162/ ( 6.5 − 1 ) = 0.01484
mm²である。5.3節と母平均の条件付き分布 normal ( 1.814 , σ 2 / 10 ) \operatorname{normal}(1.814,\sigma^2/10) normal ( 1.814 , σ 2 /10 )
は同じでも、分散の事後分布が変わるため、母平均の周辺分布や信用区間も変わる。
本節で押さえたい対応は、 μ 0 \mu_0 μ 0 が母平均の予想、
v 0 v_0 v 0 が個体差の分散の予想、 n 0 n_0 n 0
がその事前分布に与える重み、という三つである。 t 02 t_{02} t 02
は、この予想を更新しやすい形へ翻訳した「次の観測の二乗の期待値」であり、そこには母平均をまだ知らない不確かさも含まれる。
5.6 非正規なデータに対する正規モデル
データが正規分布に従っているとはとうていいえない場合でも、正規モデルは頻繁に使用される。それはほとんどの場合、次のように正当化される。データの一つ一つの値の標本分布が正規分布でなくても、標本平均の標本分布は正規分布に近い、というのである。この標本分布をモンテカルロ実験によって検討しよう。
1998年の総合的社会調査には921人の40歳以上の女性に子供は何人いるかが記録されている。この921人を母集団として、子供の数の母集団平均(2.42人)を異なるサイズ
n n n ごとにランダムサンプル Y ( 1 ) , … , Y ( n ) Y^{(1)},\ldots,Y^{(n)} Y ( 1 ) , … , Y ( n )
に基づいて推定しよう。
ここは提供本文の「40代」を付属コードの AGE >= 40
に合わせた。YEAR == 1998、FEMALE == 1、AGE >= 40
で922行を選び、CHILDS
欠測の1行を除外すると921人になる。ここではこの921人の記録を有限母集団として扱い、米国女性全体の平均を推定するための調査重み付けは行わない。記録値は0〜8の符号化された値をそのまま用いるため、最上位カテゴリの中の詳細を識別する分析でもない。
図5.7の上段を見ると、1人分の子供数の分布は正規分布と大きく異なる。記録される値は0から8までの整数に限られ、左右対称でもない。一方、正規分布は小数や負の値も取り、左右対称である。ここで確かめたいのは、このような1人分の分布でも、何人かの平均を取ると正規分布に近づくかどうかである。そこで、
n = 5 , 15 , 45 n=5,15,45 n = 5 , 15 , 45 人の場合について、標本平均
Y ˉ n = 1 n ∑ i = 1 n Y i \bar Y_n=\frac1n\sum_{i=1}^nY_i Y ˉ n = n 1 i = 1 ∑ n Y i
が、標本を取り直すとどのように変わるかを調べる。手順は次のとおりである。
921人から n n n
人を無作為に選ぶ。1回の標本の中では同じ人を2回選ばない。これを
非復元抽出 という。
選んだ n n n 人の平均と標本分散を計算する。
次の回は再び921人全員を候補に戻し、同じ操作を5,000回繰り返す。
こうして得た5,000個の平均を集計すれば、「この人数で標本を取ったとき、平均がどのあたりに、どの程度ばらつくか」がわかる。これが標本平均の
標本分布
のモンテカルロ近似である。上付きの角括弧付き番号 y ˉ n [ s ] \bar y_n^{[s]} y ˉ n [ s ]
は、二乗などのべきではなく、 s s s
回目の実験で得た平均を表す。
次の図は、1人の子供数の分布が非正規でも、平均の分布は釣り鐘型に近づくこと、さらに平均と標本分散が一緒に大きくなる場合があることを示す。上段は1人分の分布、中段は標本平均の分布、下段は標本平均と標本分散の組の分布である。中段と下段のKDE(カーネル密度推定)は、乱数で得た点の集まりを滑らかな密度として描く方法である。平滑化の幅には、中段はScottの基準値の2倍、下段はその基準値を用いた。
図5.7 子供数の経験分布、非復元標本の平均の分布、平均と分散の同時分布。各nで5,000反復、シード507。
上段は右に裾を持つ離散分布だが、中段では標本数を増やすほど平均2.42付近に集中する。下段は右上がりであり、平均が大きい標本ほど分散も大きい傾向がある。平滑化した密度曲線は描画上の近似で、実際の標本平均も有限個の値を取る。下段の線は等密度線であり、特定の確率を含む領域ではない。
図5.7の中段は Y ˉ 5 , Y ˉ 15 , Y ˉ 45 \bar Y_5,\bar Y_{15},\bar Y_{45} Y ˉ 5 , Y ˉ 15 , Y ˉ 45
の標本分布のモンテカルロ近似を示している。 Y ˉ 5 \bar Y_5 Y ˉ 5
の分布はやや歪んでいるように見えるものの、 Y ˉ 15 \bar Y_{15} Y ˉ 15 と
Y ˉ 45 \bar Y_{45} Y ˉ 45
の標本分布は正規分布とほとんど見分けがつかない。これは何も驚くことではない。中心極限定理によれば、
p ( y ˉ ∣ θ , σ 2 ) ≈ normalPDF ( y ˉ , θ , σ 2 / n ) p(\bar y\mid\theta,\sigma^2)\approx\operatorname{normalPDF}(\bar y,\theta,\sqrt{\sigma^2/n}) p ( y ˉ ∣ θ , σ 2 ) ≈ normalPDF ( y ˉ , θ , σ 2 / n )
であり、 n n n
が大きくなるにつれ近似はよくなるからである。もし母集団分散
σ 2 \sigma^2 σ 2
が既知であれば、母集団平均の近似的な事後分布は、標本平均が所与のもとで、次のようになる。
p ( θ ∣ y ˉ , σ 2 ) ∝ p ( θ ) × p ( y ˉ ∣ θ , σ 2 ) ≈ p ( θ ) × normalPDF ( y ˉ , θ , σ 2 / n ) . p(\theta\mid\bar y,\sigma^2)
\propto p(\theta)\times p(\bar y\mid\theta,\sigma^2)
\approx p(\theta)\times\operatorname{normalPDF}(\bar y,\theta,\sqrt{\sigma^2/n}). p ( θ ∣ y ˉ , σ 2 ) ∝ p ( θ ) × p ( y ˉ ∣ θ , σ 2 ) ≈ p ( θ ) × normalPDF ( y ˉ , θ , σ 2 / n ) .
非復元抽出では有限母集団補正がある
直前の σ 2 / n \sigma^2/n σ 2 / n は独立抽出の近似である。この実験では
N = 921 N=921 N = 921 人から非復元抽出するため、母集団の分散を
S N 2 = ∑ i = 1 N ( y ( i ) − y ˉ N ) 2 / ( N − 1 ) S_N^2=\sum_{i=1}^N(y^{(i)}-\bar y_N)^2/(N-1) S N 2 = ∑ i = 1 N ( y ( i ) − y ˉ N ) 2 / ( N − 1 ) と定義すると、厳密には
Var ( Y ˉ n ) = ( 1 − n N ) S N 2 n \operatorname{Var}(\bar Y_n)=\left(1-\frac nN\right)\frac{S_N^2}{n} Var ( Y ˉ n ) = ( 1 − N n ) n S N 2
となる。全員を抽出すれば平均は完全に既知になるので、
n = N n=N n = N のとき分散が0になることとも整合する。
ここで表のSDは、5,000回の標本平均のばらつきであり、各標本内の子供数のSDではない。
n = 45 n=45 n = 45 では補正係数が 1 − 45 / 921 ≈ 0.9511 1-45/921\approx0.9511 1 − 45/921 ≈ 0.9511
なので、独立抽出の式より分散が約4.9%小さい。本節の後半は独立同分布モデルの性質を論じているため、この有限母集団実験の厳密式とは区別して読む。
実際には母分散 σ 2 \sigma^2 σ 2 も未知なので、標本分散
s 2 s^2 s 2
から推定する必要がある。すると、「平均の分布を正規分布で近似できる」というだけでは計算が終わらない。標本分散がどのように変動するか、さらにそれが標本平均とどう関係するかも必要になる。
この点を式で確かめる。データの要約 ( y ˉ , s 2 ) (\bar y,s^2) ( y ˉ , s 2 )
を使う尤度は、「平均が y ˉ \bar y y ˉ
になる密度」と「その平均のもとで分散が s 2 s^2 s 2
になる密度」の積に分けられる。したがって、事後分布は次のように書ける。なお、非正規分布では、平均と分散だけから以下の密度が一意に決まるとは限らない。ここでは、データの生じ方を定めたモデルのもとでの密度を考えている。
p ( θ , σ 2 ∣ y ˉ , s 2 ) ∝ p ( θ , σ 2 ) × p ( y ˉ , s 2 ∣ θ , σ 2 ) = p ( θ , σ 2 ) × p ( y ˉ ∣ θ , σ 2 ) × p ( s 2 ∣ y ˉ , θ , σ 2 ) ≈ p ( θ , σ 2 ) × normalPDF ( y ˉ , θ , σ 2 / n ) × p ( s 2 ∣ y ˉ , θ , σ 2 ) . (5.2) \begin{aligned}
p(\theta,\sigma^2\mid\bar y,s^2)
&\propto p(\theta,\sigma^2)\times p(\bar y,s^2\mid\theta,\sigma^2)\\
&=p(\theta,\sigma^2)\times p(\bar y\mid\theta,\sigma^2)\times p(s^2\mid\bar y,\theta,\sigma^2)\\
&\approx p(\theta,\sigma^2)\times\operatorname{normalPDF}(\bar y,\theta,\sqrt{\sigma^2/n})\times p(s^2\mid\bar y,\theta,\sigma^2). \tag{5.2}
\end{aligned} p ( θ , σ 2 ∣ y ˉ , s 2 ) ∝ p ( θ , σ 2 ) × p ( y ˉ , s 2 ∣ θ , σ 2 ) = p ( θ , σ 2 ) × p ( y ˉ ∣ θ , σ 2 ) × p ( s 2 ∣ y ˉ , θ , σ 2 ) ≈ p ( θ , σ 2 ) × normalPDF ( y ˉ , θ , σ 2 / n ) × p ( s 2 ∣ y ˉ , θ , σ 2 ) . ( 5.2 )
最後の行で正規近似したのは、標本平均の密度だけである。右端の
p ( s 2 ∣ y ˉ , θ , σ 2 ) p(s^2\mid\bar y,\theta,\sigma^2) p ( s 2 ∣ y ˉ , θ , σ 2 )
は、そのまま残っている。中心極限定理は、この右端の項まで正規モデルと同じになるとは述べていない。もし個々の観測も本当に正規分布に従うなら、この項には次のガンマ密度を使える。
p ( s 2 ∣ y ˉ , θ , σ 2 ) = gammaPDF ( s 2 , n − 1 2 , n − 1 2 σ 2 ) . p(s^2\mid\bar y,\theta,\sigma^2)
=\operatorname{gammaPDF}\left(s^2,\frac{n-1}{2},\frac{n-1}{2\sigma^2}\right). p ( s 2 ∣ y ˉ , θ , σ 2 ) = gammaPDF ( s 2 , 2 n − 1 , 2 σ 2 n − 1 ) .
ここで gammaPDF ( x , a , b ) \operatorname{gammaPDF}(x,a,b) gammaPDF ( x , a , b ) は形状 a a a ・率
b b b のガンマ密度を x x x
で評価する記法である。Pythonでは
gamma.pdf(x, a=a, scale=1/b) となる。正規母集団のもとでは
( n − 1 ) s 2 / σ 2 (n-1)s^2/\sigma^2 ( n − 1 ) s 2 / σ 2 が自由度 n − 1 n-1 n − 1
のカイ二乗分布に従い、カイ二乗分布は形状 ( n − 1 ) / 2 (n-1)/2 ( n − 1 ) /2 ・率
1 / 2 1/2 1/2 のガンマ分布なので、上の式が得られる。
この結論によれば、正規母集団においては Y ˉ \bar Y Y ˉ と
s 2 s^2 s 2 とは独立である。この標本モデルを式 (5.2) の
s 2 s^2 s 2
に用いることで、データが正規分布に従うという仮定のもとでの
( θ , σ 2 ) (\theta,\sigma^2) ( θ , σ 2 ) の条件付き分布 p ( θ , σ 2 ∣ y ( 1 ) , … , y ( n ) ) p(\theta,\sigma^2\mid y^{(1)},\ldots,y^{(n)}) p ( θ , σ 2 ∣ y ( 1 ) , … , y ( n ) )
と同じものが得られる。しかし、もしデータが正規分布に従っていないならば、
s 2 s^2 s 2 がガンマ分布に従うとは限らず、 y ˉ \bar y y ˉ
と独立であるとも限らない。たとえば、図5.7の下段にあるのは母集団のもとでの
{ Y ˉ , s 2 } \{\bar Y,s^2\} { Y ˉ , s 2 } の同時標本分布であるが、 Y ˉ \bar Y Y ˉ と
s 2 s^2 s 2
には正の相関があることに注目するとよい。これは正の方向に歪んだ母集団分布ではよくあることである。これより式
(5.2) の事後分布を非正規なデータに用いることは、 { θ , σ 2 } \{\theta,\sigma^2\} { θ , σ 2 }
の同時分布に関して誤解を招く結論を導きかねないことが示唆される。
平均と分散が一緒に動く具体例
架空の子供数データ ( 1 , 2 , 2 ) (1,2,2) ( 1 , 2 , 2 ) では、平均は
5 / 3 ≈ 1.667 5/3\approx1.667 5/3 ≈ 1.667 、標本分散は 1 / 3 ≈ 0.333 1/3\approx0.333 1/3 ≈ 0.333
である。最後の1人が子供7人で ( 1 , 2 , 7 ) (1,2,7) ( 1 , 2 , 7 ) になると、平均は
10 / 3 ≈ 3.333 10/3\approx3.333 10/3 ≈ 3.333 、標本分散は 31 / 3 ≈ 10.333 31/3\approx10.333 31/3 ≈ 10.333
になる。右側の大きな値が入ると、平均と分散の両方を押し上げうるのである。
今回の n = 45 n=45 n = 45
の実験では、5,000組の標本平均と標本分散の相関は約0.477である。参考として、独立同分布で3次モーメントが存在する場合には、
Cov ( Y ˉ , s 2 ) = E [ ( Y − θ ) 3 ] / n \operatorname{Cov}(\bar Y,s^2)=\mathrm{E}[(Y-\theta)^3]/n Cov ( Y ˉ , s 2 ) = E [( Y − θ ) 3 ] / n
という関係がある。右に歪んだ分布では正の共分散が生じうる。これは独立抽出の式であり、非復元実験にそのまま数値代入する式ではないが、図の傾きが生じる理由を説明する。
それでも、十分な標本数があり、有限分散や独立性などの条件を満たす場合には、母平均
θ \theta θ
だけの推定はよい近似になりうる。その理由を、母平均の推定誤差に注目して考える。中心極限定理により、大きい
n n n に対して、
n Y ˉ − θ σ ∼ ˙ normal ( 0 , 1 ) \sqrt n\frac{\bar Y-\theta}{\sigma}\ \dot\sim\ \operatorname{normal}(0,1) n σ Y ˉ − θ ∼ ˙ normal ( 0 , 1 )
となる。ただし、 ∼ ˙ \dot\sim ∼ ˙
は「左辺は近似的に右辺の分布に従う」ことを意味する。さらに、
n n n が十分大きければ、 s 2 ≈ σ 2 s^2\approx\sigma^2 s 2 ≈ σ 2
であり、かつ
n Y ˉ − θ s ∼ ˙ normal ( 0 , 1 ) \sqrt n\frac{\bar Y-\theta}{s}\ \dot\sim\ \operatorname{normal}(0,1) n s Y ˉ − θ ∼ ˙ normal ( 0 , 1 )
となる。この結果は馴染みのあるものであろう。データに正規性を仮定すると
n ( Y ˉ − θ ) / s \sqrt n(\bar Y-\theta)/s n ( Y ˉ − θ ) / s は自由度 n − 1 n-1 n − 1 の
t t t 分布に従うことを思い出すとよい。
n n n が大きければ s 2 s^2 s 2 は
σ 2 \sigma^2 σ 2 に非常に近いものとなり、 t n − 1 t_{n-1} t n − 1
分布は normal ( 0 , 1 ) \operatorname{normal}(0,1) normal ( 0 , 1 ) に非常に近くなる。
母集団平均に対しては正規モデルに基づく事後分布でもよい推定ができるかもしれないが、母集団に関する他の量に対しては正規モデルから得られる結論は誤解を招きかねない。たとえば、正規分布の密度は対称であり歪度はゼロであるが、先ほどの例における真の母集団分布の歪度は
E [ ( Y − θ ) 3 ] / σ 3 = 0.89 \mathrm{E}[(Y-\theta)^3]/\sigma^3=0.89 E [( Y − θ ) 3 ] / σ 3 = 0.89
である。この母集団から得られる標本に対して、正規モデルに基づく推測では右側の裾に属する人の数を過小に見積もってしまい、子供がたくさんいる人の割合の推定は不正確なものとなる。したがって、この議論が主に支えるのは母平均についての大標本での推論である。個人の値の予測や、極端に大きい値の割合まで正確になるとはいえない。
平均が合っても、裾の割合は合わない
この有限母集団では、子供数の記録が7以上の人は 9 + 21 = 30 9+21=30 9 + 21 = 30
人なので、その割合は 30 / 921 ≈ 3.257 % 30/921\approx3.257\% 30/921 ≈ 3.257%
である。同じ平均2.420195、標準偏差1.760461の正規分布で近似し、離散値の7以上を連続値の6.5以上とみなす連続性補正を使っても、
Pr 正規近似 ( Y ≥ 6.5 ) = 1 − Φ ( 6.5 − 2.420195 1.760461 ) ≈ 1.024 % \Pr_{\text{正規近似}}(Y\ge6.5)
=1-\Phi\left(\frac{6.5-2.420195}{1.760461}\right)
\approx1.024\% 正規近似 Pr ( Y ≥ 6.5 ) = 1 − Φ ( 1.760461 6.5 − 2.420195 ) ≈ 1.024%
にしかならない。平均と分散を実際の値に完全に合わせても、右端の割合は実測の約3分の1となる。さらに、この正規分布は
Y < 0 Y<0 Y < 0
に約8.46%の確率を与えるため、そのまま子供数1人分の分布として用いるには無理がある。
それでも平均の推定がよい近似となりうるのは、大標本では
Y ˉ \bar Y Y ˉ
が平均付近に集中し、その変動が主として母分散で決まるからである。ただし、有限分散、適切な独立性、十分な標本数、データを圧倒しない事前分布などが前提となる。「非正規なら何でも平均の推定だけは安全」という意味ではない。裾が極端に重い場合、強い依存がある場合、小標本の場合には、この近似の妥当性を別途検討する必要がある。