第6章 ギブスサンプラーによる事後分布の近似

複数の未知量を推測するときには、それぞれの値だけでなく、「どの値とどの値が組み合わさりやすいか」も知る必要がある。この組み合わせの不確実性を、データを見た後に表すものが同時事後分布である。しかし、その分布からパラメータの組を直接、乱数として取り出すことは難しい場合がある。

そこで、ほかの未知量をいったん固定し、残る一つを生成する操作を考える。この操作なら簡単にできる場合、固定する側と生成する側を交代させながら繰り返すことで、同時事後分布を調べられる。これがギブスサンプリングの基本的な考え方である。本章では正規モデルを例に、更新式の作り方、得られた乱数の使い方、そして計算がうまく進んでいるかを確かめる方法を学ぶ。

本ノートは第6章の節構成に沿って、数式の導出、数値例、グラフの読み方を説明する。R のコードは NumPy・SciPy によるPythonへ置き換え、診断には ArviZ Stats を使う。ギブス法そのものを理解する章なので、二つの条件付き分布から交互に生成する処理を明示する。

この章で解きたい問題

9匹の羽虫の羽の長さから、「この種類の平均的な長さ」と「個体差の大きさ」を同時に知りたいとする。個体差が小さければ、9匹の平均は母平均をかなりよく教えてくれる。一方、個体差が大きければ、同じ9匹だけでは母平均にも大きな不確実性が残る。ところが、その個体差自体も未知である。

このように互いに関係する未知量を一度に生成するのは難しくても、 片方を仮に固定すると、もう片方は簡単な分布から生成できる 場合がある。その二つの生成を交互に繰り返す方法がギブスサンプリングである。各回の値は最終的な答えではなく、事後分布の形を調べるために記録する値である。

ここで、観測するものとコンピュータで生成するものを分けておこう。観測した羽の長さは9個であり、計算中に増えたり変わったりしない。一方、コンピュータが生成するのは「母平均が1.82 mmで、母分散が0.011 mm²」といった 未知量の候補の組 である。1,000回生成しても、1,000匹の羽虫を新たに観測したことにはならない。

ギブス法を使う理由を先に整理する

この先の計算が何を目指すのか、先に短く整理しておこう。母平均を θ\theta 、母分散の逆数である精度を λ=1/σ2\lambda=1/\sigma^2 、観測済みのデータ全体を ∣y⟩=(y(1),…,y(n))T\ket{y}=(y^{(1)},\ldots,y^{(n)})^{\mathsf{T}} と書く。縦線の右側は、条件として与える値を表す。本章で扱う、母平均と精度を事前に独立とする正規モデルでは、次の違いがある。

  1. 相手の値を固定した条件付き分布なら、生成しやすい。 p(θ∣λ,∣y⟩)p(\theta\mid\lambda,\ket{y}) は正規分布、 p(λ∣θ,∣y⟩)p(\lambda\mid\theta,\ket{y}) はガンマ分布になる。そのため、相手の値さえ仮に決めれば、既知の乱数生成器で自分の値を生成できる。
  2. 相手の値を固定しない周辺分布からは、そのままでは生成しにくい。 p(θ∣∣y⟩)p(\theta\mid \ket{y}) や p(λ∣∣y⟩)p(\lambda\mid \ket{y}) は、一般に正規分布やガンマ分布のような扱いやすい形にはならない。分布が定まらないという意味ではなく、直接生成するには別の工夫が必要になる。
  3. そこで、生成しやすい二つの条件付き分布を使って、交互に更新する。 これがギブスサンプリングの発想である。

具体的には、精度の初期値 λ[0]>0\lambda^{[0]}>0 を決め、次の二段階を繰り返す。上付きの [s][s] は反復の番号である。

θ[s]∼p(θ∣λ[s−1],∣y⟩),λ[s]∼p(λ∣θ[s],∣y⟩).\begin{aligned} \theta^{[s]}&\sim p(\theta\mid\lambda^{[s-1]},\ket{y}),\\ \lambda^{[s]}&\sim p(\lambda\mid\theta^{[s]},\ket{y}). \end{aligned}

つまり、「現在の精度を固定して平均を生成し、いま生成した平均を固定して精度を生成する」という操作である。平均や精度を一つの値に決めたままにせず、相手を生成するために一時的に固定し、その後で自分も更新する。

このモデルでは、更新を十分に繰り返すことで、得られた組を同時事後分布 p(θ,λ∣∣y⟩)p(\theta,\lambda\mid \ket{y}) の近似に使えるようになる。組から平均だけを集めれば p(θ∣∣y⟩)p(\theta\mid \ket{y}) を、精度だけを集めれば p(λ∣∣y⟩)p(\lambda\mid \ket{y}) を近似できる。 難しい周辺分布から直接生成せずに、その周辺分布を調べられる ことが利点である。ただし、任意の初期値から一度更新しただけで目的の分布に従うわけではなく、生成した標本どうしには依存が残る。

以下では、「条件付き分布は本当に簡単か」「交互の更新でなぜ事後分布を調べられるか」「近似が十分かをどう確かめるか」を、次の順に学ぶ。

節 読者の問い 次の節へつながる点
6.1 個体差を仮定したら、母平均をどう推測するか 一方を固定すれば簡単な正規分布になる
6.2 二つの未知量の組を、全部並べて調べられないか 少数の未知量なら可能だが、格子点は急増する
6.3〜6.4 もう一方も条件付きで生成し、交互に更新できないか 更新規則を作り、実際の乱数生成へ進む
6.5〜6.6 得られた値をどう使い、何回あれば十分と考えるか 平均・割合を計算し、探索と計算誤差を調べる
記号 意味 羽虫の例の単位
y(i)y^{(i)} 、 nn ii 番目に観測した羽の長さ、観測した個体数 mm、匹
∣y⟩\ket{y} 9匹分の長さを並べたデータベクトル (y(1),…,y(n))T(y^{(1)},\ldots,y^{(n)})^{\mathsf{T}} mm
θ\theta 未知の母平均 mm
σ2\sigma^2 、 σ\sigma 個体差を表す母分散、母標準偏差 mm²、mm
λ=1/σ2\lambda=1/\sigma^2 母分散の逆数である精度 mm⁻²
μ0\mu_0 、 τ02\tau_0^2 母平均についての事前平均、事前分散 mm、mm²
∣ϕ[s]⟩\ket{\phi^{[s]}} 、 SS 第 ss 回に記録したパラメータの組、反復回数 対象による、回

記号の形は第7章以降と同じ規約に従う。細字はスカラー、ket ∣⋅⟩\ket{\cdot} は列ベクトルを表す。上付きの (i)^{(i)} は何番目の観測か、上付きの [s]^{[s]} はMCMCやモンテカルロの何回目の反復・標本かを表し、下付きの添字は成分や候補の番号を表す。例えば y(3)y^{(3)} は3匹目の羽の長さ、 ∣y⟩\ket{y} は9匹分の長さを並べたベクトル、 θ[s]\theta^{[s]} は ss 回目の反復で得た母平均である。冪と反復番号が重なるときは、括弧でくくらずに冪を先に書き、 σ2 [s]\sigma^{2\,[s]} のようにわずかな空きをはさむ。角括弧は反復番号にしか使わないので、「2乗」と「 ss 回目」を読み違えることはない。本章の量はほとんどスカラーなので、ket が現れるのは「データ全体」と「パラメータの組」を指す場面に限られる。

本ノートでは精度の記号を λ\lambda に統一する。教科書の σ~2\tilde\sigma^2 と同じ量であり、分散 σ2\sigma^2 とは逆の関係にある。例えば、 σ2=0.04\sigma^2=0.04 なら σ=0.2\sigma=0.2 、 λ=25\lambda=25 である。精度が大きいほど、個体の長さは母平均の近くに集まる。

縦線 ∣\mid は「右側を既知とする」、 ∝\propto は「注目する変数に依存しない定数倍を除いて等しい」という意味である。分布名 normal⁡(μ,v)\operatorname{normal}(\mu,v) の第2引数は分散であり、密度関数 dnorm⁡(x,μ,s)\operatorname{dnorm}(x,\mu,s) の第3引数は標準偏差である。

本章の gamma⁡(a,b)\operatorname{gamma}(a,b) は形状 aa ・ 率 bb の表記を使う。その密度と平均は、

p(λ)=baΓ(a)λa−1e−bλ,E⁡[λ]=ab,λ>0p(\lambda)=\frac{b^a}{\Gamma(a)}\lambda^{a-1}e^{-b\lambda},\qquad \operatorname{E}[\lambda]=\frac{a}{b},\qquad \lambda>0

である。Pythonで使う rng.gamma(shape=a, scale=1/b) は第2引数に尺度を渡すので、率の逆数を指定する。NumPy公式ドキュメントもこの形状・尺度の定義を採用している。

6.1 準共役な事前分布

前章では θ\theta の不確実性を σ2\sigma^2 に依存する形で以下のようにモデル化した。

p(θ∣σ2)=dnorm⁡(θ,μ0,σκ0).p(\theta\mid\sigma^2)=\operatorname{dnorm}\left(\theta,\mu_0,\frac{\sigma}{\sqrt{\kappa_0}}\right).

この事前分布では θ\theta の分散が母分散 σ2\sigma^2 と関係しており、 μ0\mu_0 は母集団からの κ0\kappa_0 個の事前のサンプルの標本平均だと思うことができる。このモデルが妥当である状況もあるが、一方で θ\theta の不確実性を σ2\sigma^2 とは独立に特定化したい、つまり p(θ,σ2)=p(θ)×p(σ2)p(\theta,\sigma^2)=p(\theta)\times p(\sigma^2) としたい場合もある。そのような同時分布の一つは以下の準共役な (semiconjugate) 事前分布である。

θ∼normal⁡(μ0,τ02),1/σ2∼gamma⁡(ν0/2,ν0σ02/2).\begin{aligned} \theta&\sim \operatorname{normal}(\mu_0,\tau_0^2),\\ 1/\sigma^2&\sim \operatorname{gamma}(\nu_0/2,\nu_0\sigma_0^2/2). \end{aligned}

観測値は、母平均と母分散を固定すると、互いに独立な同じ正規分布から得られると仮定する。これを {Y(1),…,Y(n)∣θ,σ2}∼i.i.d. normal⁡(θ,σ2)\{Y^{(1)},\ldots,Y^{(n)}\mid\theta,\sigma^2\}\sim\text{i.i.d. }\operatorname{normal}(\theta,\sigma^2) と書く。i.i.d. は「独立で同一の分布に従う」の略である。このとき、母分散を固定した母平均の事後分布は、

{θ∣σ2,∣y⟩}∼normal⁡(μn,τn2)\{\theta\mid\sigma^2,\ket{y}\}\sim \operatorname{normal}(\mu_n,\tau_n^2)

となる。ここで、

μn=μ0/τ02+nyˉ/σ21/τ02+n/σ2,τn2=(1τ02+nσ2)−1\mu_n=\frac{\mu_0/\tau_0^2+n\bar y/\sigma^2}{1/\tau_0^2+n/\sigma^2}, \qquad \tau_n^2=\left(\frac{1}{\tau_0^2}+\frac{n}{\sigma^2}\right)^{-1}

である。

ここで求めたのは「データだけから見た母平均の分布」ではなく、 データに加えて、母分散の値も与えられた場合の分布 である。この違いは、条件の縦線の右側に σ2\sigma^2 が残っていることに表れている。条件付きの計算では、未知の分散を本当に知ったことにするのではない。「もし分散がこの値なら」という問いを、候補の分散ごとに解くのである。

また、記号 μn\mu_n と τn2\tau_n^2 は短く書いてあるが、式の右辺に σ2\sigma^2 が含まれるので、その値を変えるたびに計算し直す。この点が、後で二つの未知量を交互に更新するときの要点になる。

本章の未知量は母平均と母分散の二つなので、母分散を固定すれば、母平均以外の未知量をすべて固定したことになる。このように、更新する未知量以外をすべて条件に入れた分布を 完全条件付き分布 と呼ぶ。未知量が三つなら、一つを更新するときに残る二つを条件に入れる、という意味である。

補足:事前に独立とすることと、データを見た後も独立であることは違う

共役な設定では Var⁡(θ∣σ2)=σ2/κ0\operatorname{Var}(\theta\mid\sigma^2)=\sigma^2/\kappa_0 とする。例えば κ0=1\kappa_0=1 なら、 σ2=0.01\sigma^2=0.01 のとき母平均の事前標準偏差は0.1 mmであり、 σ2=1\sigma^2=1 のときは1 mmになる。つまり、個体差についてどんな値を仮定するかによって、平均に関する事前の確信の強さも変わる。

これに対し準共役な設定では、 τ0=0.95\tau_0=0.95 と決めたなら、その値を σ2\sigma^2 によって変えない。「平均についての事前知識」と「個体差についての事前知識」を別々に表したいときに自然である。ただし、データを観測すると両者は尤度を通じて結び付く。 事前独立は事後独立を意味しない。

例えば、観測値からかなり離れた母平均を仮定するなら、その観測値を説明するためには大きな母分散が必要になる。この関係が事後分布の中に現れるのである。

補足:母平均の完全条件付き分布を平方完成で求める

ここでの目的は、母分散を固定したうえで、母平均についての「事前の情報」と「データからの情報」を一つの正規分布へまとめることである。観測したデータを固定し、候補のパラメータがそのデータをどれくらい説明するかを表す関数を尤度と呼ぶ。正規分布の密度を観測数だけ掛けると、尤度は次の形になる。

p(∣y⟩∣θ,σ2)=(2πσ2)−n/2exp⁡[−12σ2∑i=1n(y(i)−θ)2].p(\ket{y}\mid\theta,\sigma^2) =(2\pi\sigma^2)^{-n/2} \exp\left[-\frac{1}{2\sigma^2}\sum_{i=1}^n(y^{(i)}-\theta)^2\right].

ここで ∣y⟩=(y(1),…,y(n))T\ket{y}=(y^{(1)},\ldots,y^{(n)})^{\mathsf{T}} と略記した。各観測値と候補の平均とのずれは、 y(i)−θ=(y(i)−yˉ)+(yˉ−θ)y^{(i)}-\theta=(y^{(i)}-\bar y)+(\bar y-\theta) と分けられる。二乗して足すと交差項が ∑i(y(i)−yˉ)=0\sum_i(y^{(i)}-\bar y)=0 によって消えるため、

∑i=1n(y(i)−θ)2=∑i=1n(y(i)−yˉ)2+n(θ−yˉ)2\sum_{i=1}^n(y^{(i)}-\theta)^2 =\sum_{i=1}^n(y^{(i)}-\bar y)^2+n(\theta-\bar y)^2

となる。右辺の最初の項はデータだけで決まり、候補の θ\theta を変えても変わらない。また、 σ2\sigma^2 もここでは固定している。したがって、尤度に正規事前密度を掛け、 θ\theta に依存しない因子を比例定数へまとめると、

p(θ∣σ2,∣y⟩)∝exp⁡[−12{(θ−μ0)2τ02+n(θ−yˉ)2σ2}]p(\theta\mid\sigma^2,\ket{y}) \propto\exp\left[-\frac12\left\{ \frac{(\theta-\mu_0)^2}{\tau_0^2} +\frac{n(\theta-\bar y)^2}{\sigma^2} \right\}\right]

となる。指数の中を展開すると、

(θ−μ0)2τ02+n(θ−yˉ)2σ2=(1τ02+nσ2)θ2−2(μ0τ02+nyˉσ2)θ+C=Aθ2−2Bθ+C,\begin{aligned} \frac{(\theta-\mu_0)^2}{\tau_0^2} +\frac{n(\theta-\bar y)^2}{\sigma^2} &=\left(\frac1{\tau_0^2}+\frac n{\sigma^2}\right)\theta^2 -2\left(\frac{\mu_0}{\tau_0^2}+\frac{n\bar y}{\sigma^2}\right)\theta+C\\ &=A\theta^2-2B\theta+C, \end{aligned}

と整理できる。 C=μ02/τ02+nyˉ2/σ2C=\mu_0^2/\tau_0^2+n\bar y^2/\sigma^2 は θ\theta に依存しない項であり、 AA と BB は次の係数である。

A=1τ02+nσ2,B=μ0τ02+nyˉσ2.A=\frac1{\tau_0^2}+\frac n{\sigma^2},\qquad B=\frac{\mu_0}{\tau_0^2}+\frac{n\bar y}{\sigma^2}.

次に、正規密度の指数にある「平均との差の二乗」の形へ直す。 A(θ−B/A)2A(\theta-B/A)^2 を展開すると Aθ2−2Bθ+B2/AA\theta^2-2B\theta+B^2/A なので、余分な B2/AB^2/A を引けばよい。

Aθ2−2Bθ+C=A(θ−BA)2+C−B2A,p(θ∣σ2,∣y⟩)∝exp⁡[−(θ−B/A)22(1/A)].\begin{aligned} A\theta^2-2B\theta+C &=A\left(\theta-\frac BA\right)^2+C-\frac{B^2}{A},\\ p(\theta\mid\sigma^2,\ket{y}) &\propto\exp\left[-\frac{(\theta-B/A)^2}{2(1/A)}\right]. \end{aligned}

2行目では、 C−B2/AC-B^2/A を比例定数へまとめた。正規密度の形 exp⁡[−(θ−μ)2/(2v)]\exp[-(\theta-\mu)^2/(2v)] と比べれば、平均は μ=B/A\mu=B/A 、分散は v=1/Av=1/A と読める。これが上の μn\mu_n と τn2\tau_n^2 である。

この平均は、事前平均と標本平均の重み付き平均としても読める。

μn=w0μ0+(1−w0)yˉ,w0=1/τ021/τ02+n/σ2.\mu_n=w_0\mu_0+(1-w_0)\bar y,\qquad w_0=\frac{1/\tau_0^2}{1/\tau_0^2+n/\sigma^2}.

この重みを理解するには、標本平均の分散が σ2/n\sigma^2/n になることを使う。事前平均側の精度は 1/τ021/\tau_0^2 、標本平均側の精度は 1/(σ2/n)=n/σ21/(\sigma^2/n)=n/\sigma^2 である。つまり、 ばらつきが小さく、平均の位置をよく教えてくれる側ほど、大きい重みを置く のである。例えば二つの精度がともに4で、事前平均が2、標本平均が3なら、更新後の平均は (4×2+4×3)/(4+4)=2.5(4\times2+4\times3)/(4+4)=2.5 、分散は 1/(4+4)=0.1251/(4+4)=0.125 になる。

数値を代入する。 羽虫のデータでは n=9n=9 、 yˉ=1.804444\bar y=1.804444 である。いま σ2=0.0168778\sigma^2=0.0168778 と仮定し、 μ0=1.9\mu_0=1.9 、 τ02=0.9025\tau_0^2=0.9025 を使うと、

1τ02=1.10803,nσ2=533.24556,w0≈0.002074\frac1{\tau_0^2}=1.10803,\qquad \frac n{\sigma^2}=533.24556,\qquad w_0\approx0.002074

となる。したがって、

μn≈1.804643,τn2≈0.00187142,τn≈0.043260.\mu_n\approx1.804643,\qquad \tau_n^2\approx0.00187142,\qquad \tau_n\approx0.043260.

事前分布が広いため、この条件では観測平均に約99.8%の重みが置かれる。ただし、この数値は母分散を一つの値に固定した場合の結果である。未知の母分散に関する不確実性まで含めるには、後でさまざまな σ2\sigma^2 を使って平均についての分布を混ぜる必要がある。

条件付き分布を一つ選ぶことと、周辺分布を求めること

例えば、母分散を標本分散 s2=0.0168778s^2=0.0168778 に固定してしまえば、上で求めた正規分布をそのまま使える。しかし、9匹から計算した標本分散が、真の母分散そのものであると判明したわけではない。母分散がもっと大きい可能性も小さい可能性も、推測に反映したい。

そのためには、母分散の候補ごとに求めた条件付き分布を、「その母分散がデータを見た後でどれくらい支持されるか」で重み付けして足す。精度 λ=1/σ2\lambda=1/\sigma^2 を使えば、式は次のようになる。

p(θ∣∣y⟩)=∫0∞p(θ∣λ,∣y⟩) p(λ∣∣y⟩) dλ.p(\theta\mid \ket{y}) =\int_0^\infty p(\theta\mid\lambda,\ket{y})\,p(\lambda\mid \ket{y})\,d\lambda.

積分は、連続な候補をすべて足し合わせる操作である。ここでは母平均 θ\theta の位置を一つ決め、精度ごとの条件付き密度の高さを、その精度の事後の重みで平均している。条件付き分布がすべて正規分布でも、幅や中心の異なる正規分布を混ぜた結果は、一般に一つの正規分布にはならない。

次の図では、母分散を標本分散に固定した正規分布と、母分散の不確実性を積分した周辺分布を、同じ軸で比較する。後者は章末で説明する一次元数値積分による基準値であり、ここではまず両者の違いを見る。

補助図 母分散を標本分散に固定した条件付き密度と、母分散を積分した周辺密度。羽虫9匹と同じ事前分布を使用。表示範囲外の裾を除いた再正規化は行っていない。

固定した場合の標準偏差は約0.043260 mm、周辺分布の標準偏差は約0.047882 mmである。この例では、母分散の不確実性を含めると裾が厚くなり、母平均に残る不確実性も大きくなる。ただし「任意の固定値との比較で必ず広くなる」という一般則ではなく、標本分散に固定した場合との数値比較である。

なぜ「分散を先に生成し、その後で平均を生成する」のか

ここでの目標は、データを見た後でありそうな母平均と母分散の組を、事後分布に従って多数生成することである。上の積分は母平均の周辺密度を求める式だが、それを乱数で近似するなら、 各条件付き分布を、事後の重みに応じた頻度で選んで生成する と考えられる。

例えば、説明のために母分散の候補が0.01と0.04の二つだけであり、データを見た後の確率がそれぞれ0.8と0.2だとする。この場合、母平均の分布は、

p(θ∣∣y⟩)=0.8 p(θ∣σ2=0.01,∣y⟩)+0.2 p(θ∣σ2=0.04,∣y⟩)p(\theta\mid \ket{y}) =0.8\,p(\theta\mid\sigma^2=0.01,\ket{y}) +0.2\,p(\theta\mid\sigma^2=0.04,\ket{y})

という混合になる。これに従う乱数を生成するには、まず確率0.8で分散0.01を、確率0.2で分散0.04を選び、次に選んだ分散に対応する正規分布から母平均を一つ生成すればよい。1,000回繰り返すと、平均的には約800回が前者、約200回が後者からの生成になる。半分ずつ選ぶと、ここで指定した事後の重みを再現できない。

実際には分散の候補は連続しているので、この「確率0.8と0.2に従って選ぶ」に相当するのが、周辺事後分布 p(σ2∣∣y⟩)p(\sigma^2\mid \ket{y}) からの生成である。手順は次の二段階になる。ここで上付きの [s][s] は生成した組の番号であり、べき乗ではない。

  1. 母分散を選ぶ。 データだけを条件とする周辺事後分布 p(σ2∣∣y⟩)p(\sigma^2\mid \ket{y}) から、候補 σ2 [s]\sigma^{2\,[s]} を一つ生成する。
  2. その母分散に対応する母平均を選ぶ。 第1段階で得た値を条件に入れ、 p(θ∣σ2 [s],∣y⟩)p(\theta\mid\sigma^{2\,[s]},\ket{y}) から θ[s]\theta^{[s]} を一つ生成する。

この手順が正しいのは、同時事後密度を次のように分解できるからである。

p(θ,σ2∣∣y⟩)=p(σ2∣∣y⟩)⏟第1段階:分散を選ぶp(θ∣σ2,∣y⟩)⏟第2段階:その分散のもとで平均を選ぶ.p(\theta,\sigma^2\mid \ket{y}) =\underbrace{p(\sigma^2\mid \ket{y})}_{\text{第1段階:分散を選ぶ}} \underbrace{p(\theta\mid\sigma^2,\ket{y})}_{\text{第2段階:その分散のもとで平均を選ぶ}}.

この二段階を毎回新しい乱数で独立に繰り返せば、組どうしは独立な事後標本になる。ただし、一つの組の中の母平均と母分散は依存していてよい。母平均の値だけを集めると、母分散を事後の重みで混ぜた p(θ∣∣y⟩)p(\theta\mid \ket{y}) の標本が得られる。

したがって、 第2段階の正規分布がわかるだけでは、この二段階の生成はまだ実行できない。第1段階で、分散をどの分布から選ぶかも必要である。 積分自体が乱数生成を要求するわけではなく、その積分をこの方法でモンテカルロ近似するときに、周辺分布からの生成が必要になるのである。

共役な設定では、なぜ二段階とも簡単なのか

ここでいう 共役 とは、データを観測して事前分布を事後分布へ更新しても、分布の種類が保たれ、パラメータの更新だけで結果を表せることである。正規モデルで母平均と母分散がともに未知の場合、前章では次の組み合わせを使った。

θ∣σ2∼normal⁡(μ0,σ2κ0),λ=1σ2∼gamma⁡(a0,b0),\theta\mid\sigma^2\sim\operatorname{normal}\left(\mu_0,\frac{\sigma^2}{\kappa_0}\right), \qquad \lambda=\frac1{\sigma^2}\sim\operatorname{gamma}(a_0,b_0),
a0=ν02,b0=ν0σ022,κ0>0.a_0=\frac{\nu_0}{2},\qquad b_0=\frac{\nu_0\sigma_0^2}{2},\qquad \kappa_0>0.

「母平均の事前分散が母分散に比例する」とは、この Var⁡(θ∣σ2)=σ2/κ0\operatorname{Var}(\theta\mid\sigma^2)=\sigma^2/\kappa_0 という設定を指す。 固定した τ02\tau_0^2 の値を調整するだけではなく、母平均の事前分布を、母分散に依存する条件付き分布へ変えている 点に注意する。例えば κ0=2\kappa_0=2 なら、母分散が0.01のとき母平均の事前分散は0.005、母分散が0.04のときは0.02になる。

この組み合わせでは、データを見た後も「精度の周辺分布はガンマ分布、その精度を条件とする母平均の分布は正規分布」という構造が保たれる。精度を母分散に戻し、母平均と母分散の組で表した同時分布の族を 正規・逆ガンマ分布 と呼ぶ。共役であることは、母平均と母分散が独立になることを意味しない。

具体的には、 Q=∑i=1n(y(i)−yˉ)2Q=\sum_{i=1}^n(y^{(i)}-\bar y)^2 と置くと、精度の周辺事後分布は、

λ∣∣y⟩∼gamma⁡(a0+n2, b0+12[Q+κ0nκ0+n(yˉ−μ0)2])\lambda\mid \ket{y}\sim\operatorname{gamma}\left( a_0+\frac n2, \ b_0+\frac12\left[Q+\frac{\kappa_0n}{\kappa_0+n}(\bar y-\mu_0)^2\right] \right)

となる。逆数の σ2=1/λ\sigma^2=1/\lambda は逆ガンマ分布に従うので、ガンマ乱数を一つ生成して逆数を取れば、先ほどの第1段階を実行できる。続く第2段階には、

θ∣σ2,∣y⟩∼normal⁡(κ0μ0+nyˉκ0+n,σ2κ0+n)\theta\mid\sigma^2,\ket{y}\sim\operatorname{normal}\left( \frac{\kappa_0\mu_0+n\bar y}{\kappa_0+n}, \frac{\sigma^2}{\kappa_0+n} \right)

を使えばよい。こうして、二段階とも既知の乱数生成器で実行できる。

独立な事前分布では、どこが変わるのか

ここでいったん、何のために計算しているのかを振り返ろう。知りたいのは、羽虫の母平均と母分散について、データを見た後にどのような値がありそうで、どれくらい不確実性が残るかである。そのために、 事後分布に従う「母平均と母分散の組」を多数生成し、平均や信用区間を計算したい。 これが、この節を通じて変わらない目的である。

直前までは、その組を生成する方法として、「まず分散を周辺事後分布から生成し、その分散を条件として平均を生成する」という二段階を考えた。そして、共役な事前分布なら、この二段階を簡単に実行できることがわかった。

それでは、なぜ共役な設定で話を終えないのだろうか。その理由を理解するには、まず 「個体どうしの違い」と「平均についての知識の曖昧さ」は別のものである と区別する必要がある。

例えば、次の二つの集団を考えよう。これは違いをはっきりさせるための架空の集団であり、この例だけは正規分布ではなく、二種類の長さが半数ずつあるとする。

集団 個体の羽の長さ 集団全体の平均 個体の長さの標準偏差
A:長さがそろっている 半数が1.9 mm、半数が2.1 mm (1.9+2.1)/2=2.0(1.9+2.1)/2=2.0 mm 0.1 mm
B:長さが大きく違う 半数が1.0 mm、半数が3.0 mm (1.0+3.0)/2=2.0(1.0+3.0)/2=2.0 mm 1.0 mm

集団Bには短い個体と長い個体がいるが、平均は集団Aと同じく2.0 mmである。両集団の内訳をすべて知っているなら、どちらの平均も正確にわかる。 個体の長さがそろっていなくても、集団の平均を正確に知っていることはありうる。 個体の標準偏差 σ\sigma は、個体の長さが平均からどれくらい離れているかを表す量であり、「私たちが平均をどれくらい知らないか」そのものではない。

今度は、集団の内訳を知らない状況に戻ろう。ただし、対象集団の平均については、別の信頼できる資料から「2.00 mmにかなり近い」という知識があるとする。その資料には個々の長さやばらつきが載っていないため、「ほぼ全員が2.00 mm前後」なのか、「短い個体と長い個体が混ざり、平均すると2.00 mm前後」なのかはわからない。このように、平均の位置についての知識と、個体差についての知識は、同じ詳しさで得られるとは限らない。

この知識を表す際には、次の二つを別々に決めたいことがある。

  • 母平均については、 θ∼normal⁡(2.00,0.012)\theta\sim\operatorname{normal}(2.00,0.01^2) とする。これは、母平均の候補を2.00 mm付近に集中させ、およそ95%の事前確率を1.98〜2.02 mmに置く、という意味である。個々の羽の長さの95%がこの範囲に入る、という意味ではない。
  • 個体の標準偏差 σ\sigma については、0.1 mm程度も1.0 mm程度も候補として考える。そして、どちらを仮定しても、平均についての上の知識は変えないことにする。

ここで「平均についての知識は変えない」とは、母平均を2.00 mmに固定することではない。 母平均には標準偏差0.01 mmの不確実性を残すが、その幅を個体差に連動させない ということである。これは事前知識の表し方についての仮定であり、資料があるだけで自動的に独立と決まるわけではない。

一方、共役な設定では、母平均の事前標準偏差を、

SD⁡(θ∣σ2)=σκ0\operatorname{SD}(\theta\mid\sigma^2)=\frac{\sigma}{\sqrt{\kappa_0}}

と決める。例えば κ0=100\kappa_0=100 とすると、次のようになる。以下は正規モデルの事前分布の比較であり、上の二種類の長さだけからなる集団の分布を使った計算ではない。

仮定した個体の標準偏差 σ\sigma 共役な設定での、母平均の事前標準偏差 独立な設定での、母平均の事前標準偏差
0.1 mm 0.1/100=0.010.1/\sqrt{100}=0.01 mm 0.01 mm
1.0 mm 1.0/100=0.11.0/\sqrt{100}=0.1 mm 0.01 mm

共役な設定では、「個体差が10倍大きい」と仮定するだけで、母平均についての事前の不確実性も10倍になる。事前平均を2.00 mmとすると、およそ95%の事前確率を置く範囲は1.98〜2.02 mmから1.80〜2.20 mmへ広がる。これが、先ほど述べた「平均についての事前の確信が、個体差に連動する」という意味である。 κ0\kappa_0 を別の固定値に変えても、個体の標準偏差が10倍なら母平均の事前標準偏差も10倍、という関係は残る。

この連動が自然な場合もある。例えば、母平均に関する事前知識を「同じ母集団から100匹程度を調べた分の情報」として表したいなら、個体差が大きいほど平均の見積もりも粗くなる、という設定には理由がある。一方、「個体差の大小によらず、平均は2.00 mmのごく近くだと考えている」という知識を表したいなら、上の独立な設定が候補になる。 表したい事前知識によっては、共役な設定の比例関係を外したくなる のである。

なお、ここまでの話は、新しく分析するデータを見る前の設定である。事前分布を独立にしても、その後の少数の観測から得られる平均の情報量は、個体差に左右される。例えば9匹の標本平均の標準偏差は σ/9=σ/3\sigma/\sqrt9=\sigma/3 なので、個体差が大きいほど、その9匹から平均を絞り込む力は弱い。このデータ側の性質まで消えるわけではない。

この先の問いは、 「そのように事前分布を変えても、先ほどの二段階の生成を、そのまま簡単に実行できるか」 である。答えを先に示すと、次のようになる。

二段階のうち、どの操作か 独立な事前分布に変えた後はどうなるか
第1段階:母平均をまだ決めずに、分散を周辺事後分布から生成する 分散の逆数である精度の周辺事後分布が、一般にガンマ分布ではなくなる。そのため、既知のガンマ乱数生成器をそのまま使えない
第2段階:選んだ分散を固定して、平均を生成する 引き続き正規分布から生成できる

つまり、確かめたいのは第1段階で行き詰まる理由である。後でギブス法を考えるのは、この問題を解くためである。ギブス法では、平均も分散も一度仮置きし、「相手の現在の値を固定すれば生成できる」という性質を使って交互に更新する。 独立な事前分布を使いたい → 先ほどの第1段階が簡単ではなくなる → 条件付き分布からの生成を繰り返す方法を考える 、という流れを押さえておこう。

以下の数式は、この「第1段階が簡単ではなくなる」という主張を確かめるためのものである。まず話の流れをつかみたい場合は、次の「『準共役』なら、何が扱いやすいまま残るのか」へ進んでもよい。

補足:第1段階の分布がガンマ分布にならないことを式で確かめる

独立な設定を式で表すと、母平均の事前分散を固定して、

θ∼normal⁡(μ0,τ02),λ∼gamma⁡(a0,b0),p(θ,λ)=p(θ)p(λ)\theta\sim\operatorname{normal}(\mu_0,\tau_0^2), \qquad \lambda\sim\operatorname{gamma}(a_0,b_0), \qquad p(\theta,\lambda)=p(\theta)p(\lambda)

とする。この場合も、母分散を一つ固定すれば、母平均の条件付き事後分布は正規分布である。ところが、 母平均を固定せず、その不確実性をすべて足し合わせた精度の周辺事後分布 は、一般にガンマ分布にならない。

その違いがどこから生じるかを式でも確認しよう。目的は、 母平均が未知であることも考慮したうえで、精度の候補ごとの事後の重みを求める ことである。以下では ∣y⟩=(y(1),…,y(n))T\ket{y}=(y^{(1)},\ldots,y^{(n)})^{\mathsf{T}} を観測済みのデータとし、 λ>0\lambda>0 とする。データと事前分布のパラメータは固定されている。

手順1:同時事後分布を作り、母平均の方向に積分する。

まず、ベイズの公式を二つの未知量の組に適用すると、

p(θ,λ∣∣y⟩)=p(∣y⟩∣θ,λ)p(θ,λ)p(∣y⟩)=p(∣y⟩∣θ,λ)p(θ)p(λ)p(∣y⟩)p(\theta,\lambda\mid \ket{y}) =\frac{p(\ket{y}\mid\theta,\lambda)p(\theta,\lambda)}{p(\ket{y})} =\frac{p(\ket{y}\mid\theta,\lambda)p(\theta)p(\lambda)}{p(\ket{y})}

となる。最後の等号で、事前の独立性 p(θ,λ)=p(θ)p(λ)p(\theta,\lambda)=p(\theta)p(\lambda) を使った。ここでは事後の独立性を仮定していない。

いま欲しいのは、母平均と精度の組の分布ではなく、精度だけの分布である。そこで、ある精度の候補を固定し、それと組み合わせられるすべての母平均について、同時事後密度を足し合わせる。母平均は連続量なので、その足し算が積分になる。

p(λ∣∣y⟩)=∫−∞∞p(θ,λ∣∣y⟩) dθ=p(λ)p(∣y⟩)∫−∞∞p(∣y⟩∣θ,λ)p(θ) dθ.\begin{aligned} p(\lambda\mid \ket{y}) &=\int_{-\infty}^{\infty}p(\theta,\lambda\mid \ket{y})\,d\theta\\ &=\frac{p(\lambda)}{p(\ket{y})} \int_{-\infty}^{\infty}p(\ket{y}\mid\theta,\lambda)p(\theta)\,d\theta. \end{aligned}

積分している変数は θ\theta なので、 p(λ)p(\lambda) と p(∣y⟩)p(\ket{y}) は積分の外に出せる。さらに、観測した ∣y⟩\ket{y} を固定すれば p(∣y⟩)p(\ket{y}) はどの λ\lambda に対しても同じ値である。したがって、精度による密度の形だけを調べるなら、この分母を比例定数に含めて、

p(λ∣∣y⟩)∝p(λ)∫−∞∞p(∣y⟩∣θ,λ)p(θ) dθp(\lambda\mid \ket{y}) \propto p(\lambda)\int_{-\infty}^{\infty}p(\ket{y}\mid\theta,\lambda)p(\theta)\,d\theta

と書ける。これが最初の式である。積分の中身全体は、精度を指定したときのデータの密度 p(∣y⟩∣λ)p(\ket{y}\mid\lambda) に等しい。一般には p(∣y⟩∣λ)=∫p(∣y⟩∣θ,λ)p(θ∣λ) dθp(\ket{y}\mid\lambda)=\int p(\ket{y}\mid\theta,\lambda)p(\theta\mid\lambda)\,d\theta だが、今回は事前の独立性により p(θ∣λ)=p(θ)p(\theta\mid\lambda)=p(\theta) となる。

この積分は、「母平均の候補ごとにデータの説明のしやすさを計算し、それを母平均の事前分布で重み付けして平均する」という意味である。その結果に精度の事前密度 p(λ)p(\lambda) を掛けると、精度の事後の重みになる。

ここでの比例記号は、精度 λ\lambda に依存しない倍率だけを省略している。 「母平均 θ\theta に依存しない」だけでは、最終的な式から省略してよいとは限らない。この区別が、次の計算で重要になる。

手順2:正規モデルの尤度を、母平均を含む部分と含まない部分に分ける。

精度が λ\lambda なら、個体の分散は 1/λ1/\lambda である。各観測の正規密度を掛けると、尤度は、

p(∣y⟩∣θ,λ)=∏i=1nλ2πexp⁡[−λ2(y(i)−θ)2]=(2π)−n/2λn/2exp⁡[−λ2∑i=1n(y(i)−θ)2]\begin{aligned} p(\ket{y}\mid\theta,\lambda) &=\prod_{i=1}^n\sqrt{\frac{\lambda}{2\pi}} \exp\left[-\frac{\lambda}{2}(y^{(i)}-\theta)^2\right]\\ &=(2\pi)^{-n/2}\lambda^{n/2} \exp\left[-\frac{\lambda}{2}\sum_{i=1}^n(y^{(i)}-\theta)^2\right] \end{aligned}

となる。ここで、標本平均 yˉ\bar y と、そのまわりの偏差平方和 QQ を、

yˉ=1n∑i=1ny(i),Q=∑i=1n(y(i)−yˉ)2\bar y=\frac1n\sum_{i=1}^n y^{(i)}, \qquad Q=\sum_{i=1}^n(y^{(i)}-\bar y)^2

と置く。 y(i)−θ=(y(i)−yˉ)+(yˉ−θ)y^{(i)}-\theta=(y^{(i)}-\bar y)+(\bar y-\theta) を二乗して足すと、

∑i=1n(y(i)−θ)2=∑i=1n(y(i)−yˉ)2+2(yˉ−θ)∑i=1n(y(i)−yˉ)+n(yˉ−θ)2=Q+n(θ−yˉ)2\begin{aligned} \sum_{i=1}^n(y^{(i)}-\theta)^2 &=\sum_{i=1}^n(y^{(i)}-\bar y)^2 +2(\bar y-\theta)\sum_{i=1}^n(y^{(i)}-\bar y) +n(\bar y-\theta)^2\\ &=Q+n(\theta-\bar y)^2 \end{aligned}

となる。交差項が消えるのは、標本平均からの偏差の合計が ∑i(y(i)−yˉ)=0\sum_i(y^{(i)}-\bar y)=0 だからである。したがって、尤度は、

p(∣y⟩∣θ,λ)=(2π)−n/2λn/2e−λQ/2exp⁡[−nλ2(θ−yˉ)2]p(\ket{y}\mid\theta,\lambda) =(2\pi)^{-n/2}\lambda^{n/2}e^{-\lambda Q/2} \exp\left[-\frac{n\lambda}{2}(\theta-\bar y)^2\right]

と分解できる。このうち母平均を含むのは最後の指数関数だけである。

手順3:母平均についての積分を平方完成で計算する。

母平均の事前密度は、

p(θ)=12πτ02exp⁡[−(θ−μ0)22τ02]p(\theta)=\frac1{\sqrt{2\pi\tau_0^2}} \exp\left[-\frac{(\theta-\mu_0)^2}{2\tau_0^2}\right]

である。これを尤度に掛け、母平均に依存しない部分を積分の外に出すと、

∫−∞∞p(∣y⟩∣θ,λ)p(θ) dθ=(2π)−n/2λn/2e−λQ/2J(λ),\int_{-\infty}^{\infty}p(\ket{y}\mid\theta,\lambda)p(\theta)\,d\theta =(2\pi)^{-n/2}\lambda^{n/2}e^{-\lambda Q/2}J(\lambda),
J(λ)=12πτ02∫−∞∞exp⁡[−12{nλ(θ−yˉ)2+(θ−μ0)2τ02}]dθJ(\lambda)=\frac1{\sqrt{2\pi\tau_0^2}} \int_{-\infty}^{\infty} \exp\left[-\frac12\left\{ n\lambda(\theta-\bar y)^2 +\frac{(\theta-\mu_0)^2}{\tau_0^2} \right\}\right]d\theta

となる。 J(λ)J(\lambda) は、この計算で残った積分を短く呼ぶための記号である。精度を一つ指定すれば、この積分は一つの数になる。ただし、指定する精度を変えると値も変わるので、 λ\lambda の関数として残す。

二つの二乗の和を、一つの二乗と残りの項にまとめよう。そのために、

A=nλ+1τ02,m=nλyˉ+μ0/τ02AA=n\lambda+\frac1{\tau_0^2},\qquad m=\frac{n\lambda\bar y+\mu_0/\tau_0^2}{A}

と置く。平方完成すると、

nλ(θ−yˉ)2+(θ−μ0)2τ02=A(θ−m)2+D,n\lambda(\theta-\bar y)^2 +\frac{(\theta-\mu_0)^2}{\tau_0^2} =A(\theta-m)^2+D,
D=nλ1+nτ02λ(yˉ−μ0)2D=\frac{n\lambda}{1+n\tau_0^2\lambda}(\bar y-\mu_0)^2

となる。残りの項 DD も、省略せずに確かめておこう。左辺を展開した定数項から、 A(θ−m)2A(\theta-m)^2 の定数項 Am2Am^2 を引くと、

D=nλyˉ2+μ02τ02−(nλyˉ+μ0/τ02)2A=(nλ+1/τ02)(nλyˉ2+μ02/τ02)−(nλyˉ+μ0/τ02)2A=(nλ/τ02)(yˉ−μ0)2A=nλ(yˉ−μ0)21+nτ02λ\begin{aligned} D &=n\lambda\bar y^2+\frac{\mu_0^2}{\tau_0^2} -\frac{(n\lambda\bar y+\mu_0/\tau_0^2)^2}{A}\\ &=\frac{ (n\lambda+1/\tau_0^2)(n\lambda\bar y^2+\mu_0^2/\tau_0^2) -(n\lambda\bar y+\mu_0/\tau_0^2)^2}{A}\\ &=\frac{(n\lambda/\tau_0^2)(\bar y-\mu_0)^2}{A} =\frac{n\lambda(\bar y-\mu_0)^2}{1+n\tau_0^2\lambda} \end{aligned}

を得る。母平均の条件付き分布を求めるだけなら、 DD は θ\theta に依存しないので定数として扱えた。しかし、今回は精度の分布を求めている。 残りの項 DD は精度によって変わるので、ここで捨ててはいけない。

この平方完成を使えば、

J(λ)=e−D/22πτ02∫−∞∞exp⁡[−A2(θ−m)2]dθJ(\lambda)=\frac{e^{-D/2}}{\sqrt{2\pi\tau_0^2}} \int_{-\infty}^{\infty}\exp\left[-\frac A2(\theta-m)^2\right]d\theta

となる。残る積分は、平均 mm 、分散 1/A1/A の正規密度から、その前の係数を取り除いた形である。正規密度全体の積分が1であることから、

∫−∞∞A2πexp⁡[−A2(θ−m)2]dθ=1,\int_{-\infty}^{\infty} \sqrt{\frac A{2\pi}}\exp\left[-\frac A2(\theta-m)^2\right]d\theta=1,
∫−∞∞exp⁡[−A2(θ−m)2]dθ=2πA\int_{-\infty}^{\infty}\exp\left[-\frac A2(\theta-m)^2\right]d\theta =\sqrt{\frac{2\pi}{A}}

がわかる。したがって、

J(λ)=e−D/22πτ022πA=e−D/2τ02A=11+nτ02λexp⁡[−nλ(yˉ−μ0)22(1+nτ02λ)]\begin{aligned} J(\lambda) &=\frac{e^{-D/2}}{\sqrt{2\pi\tau_0^2}}\sqrt{\frac{2\pi}{A}} =\frac{e^{-D/2}}{\sqrt{\tau_0^2A}}\\ &=\frac1{\sqrt{1+n\tau_0^2\lambda}} \exp\left[-\frac{n\lambda(\bar y-\mu_0)^2}{2(1+n\tau_0^2\lambda)}\right] \end{aligned}

となる。これが、求める式の2行目に現れる二つの因子である。平方根の因子は正規型の関数を積分した結果から、指数関数は平方完成した残りの項から生じている。

小さな数値例で、この積分を確かめる。 観測値を y(1)=1,y(2)=3y^{(1)}=1,y^{(2)}=3 、母平均の事前分布を normal⁡(1,1)\operatorname{normal}(1,1) とし、精度の候補 λ=1\lambda=1 を調べる。このとき n=2,yˉ=2,μ0=1,τ02=1n=2,\bar y=2,\mu_0=1,\tau_0^2=1 なので、

A=2+1=3,m=2×2+13=53,D=2(2−1)21+2=23.A=2+1=3,\qquad m=\frac{2\times2+1}{3}=\frac53, \qquad D=\frac{2(2-1)^2}{1+2}=\frac23.

実際に、二乗の和は、

2(θ−2)2+(θ−1)2=3(θ−53)2+232(\theta-2)^2+(\theta-1)^2 =3\left(\theta-\frac53\right)^2+\frac23

とまとまる。よって、

J(1)=e−1/32π∫−∞∞e−3(θ−5/3)2/2 dθ=e−1/33≈0.4137J(1) =\frac{e^{-1/3}}{\sqrt{2\pi}} \int_{-\infty}^{\infty}e^{-3(\theta-5/3)^2/2}\,d\theta =\frac{e^{-1/3}}{\sqrt3}\approx0.4137

となる。この例では、平方完成した残りの 2/32/3 を捨てると、必要な倍率 e−1/3e^{-1/3} が失われてしまう。

手順4:精度の事前密度を掛け、精度に依存する項をまとめる。

形状 a0a_0 、率 b0b_0 のガンマ事前密度は、

p(λ)=b0a0Γ(a0)λa0−1e−b0λp(\lambda)=\frac{b_0^{a_0}}{\Gamma(a_0)}\lambda^{a_0-1}e^{-b_0\lambda}

である。手順1の式に戻り、ここまでの結果を入れると、

p(λ∣∣y⟩)∝λa0−1e−b0λ⏟精度の事前密度からλn/2e−Qλ/2⏟尤度からJ(λ)⏟母平均についての積分から=λa0+n/2−1exp⁡[−(b0+Q2)λ]J(λ).\begin{aligned} p(\lambda\mid \ket{y}) &\propto \underbrace{\lambda^{a_0-1}e^{-b_0\lambda}}_{\text{精度の事前密度から}} \underbrace{\lambda^{n/2}e^{-Q\lambda/2}}_{\text{尤度から}} \underbrace{J(\lambda)}_{\text{母平均についての積分から}}\\ &=\lambda^{a_0+n/2-1} \exp\left[-\left(b_0+\frac Q2\right)\lambda\right]J(\lambda). \end{aligned}

ここで省略した b0a0/Γ(a0)b_0^{a_0}/\Gamma(a_0) と (2π)−n/2(2\pi)^{-n/2} は、どちらも精度に依存しない。最後に J(λ)J(\lambda) を書き戻すと、二つ目の式が得られる。

p(λ∣∣y⟩)∝λa0+n/2−1exp⁡[−(b0+Q2)λ]×11+nτ02λexp⁡[−nλ(yˉ−μ0)22(1+nτ02λ)].\begin{aligned} p(\lambda\mid \ket{y}) &\propto \lambda^{a_0+n/2-1} \exp\left[-\left(b_0+\frac Q2\right)\lambda\right]\\ &\qquad\times \frac{1}{\sqrt{1+n\tau_0^2\lambda}} \exp\left[-\frac{n\lambda(\bar y-\mu_0)^2}{2(1+n\tau_0^2\lambda)}\right]. \end{aligned}

この式では、まず 1行目はガンマ密度の形だが、2行目に精度に依存する追加の因子が残る ことに注目すればよい。ガンマ密度なら、精度に依存する部分を λa−1e−bλ\lambda^{a-1}e^{-b\lambda} と書ける必要がある。ところが2行目は、形状 aa と率 bb を選び直すだけでは一般に吸収できない。

追加の因子は、母平均の不確実性を積分したことから生じる。例えば、データの標本平均について、母平均を積分した分布は、

Yˉ∣λ∼normal⁡(μ0,τ02+1nλ)\bar Y\mid\lambda\sim\operatorname{normal}\left(\mu_0,\tau_0^2+\frac{1}{n\lambda}\right)

となる。母平均についての事前のばらつき τ02\tau_0^2 と、母平均のまわりで標本平均がばらつく分散 1/(nλ)1/(n\lambda) が加わるためである。この分散に固定値 τ02\tau_0^2 が含まれるので、密度を整理すると 1+nτ02λ1+n\tau_0^2\lambda が残る。一方、共役な設定では両方の分散が 1/λ1/\lambda に比例するため、このような「固定値と精度に依存する値の和」は残らず、ガンマ密度の形にまとめられる。

具体的な数値でも確認する。羽虫とは別の小さな例として、観測値を y(1)=1,y(2)=3y^{(1)}=1,y^{(2)}=3 、事前の設定を μ0=2,τ02=1,a0=b0=1\mu_0=2,\tau_0^2=1,a_0=b_0=1 とする。このとき、

n=2,yˉ=2,Q=(1−2)2+(3−2)2=2n=2,\qquad \bar y=2,\qquad Q=(1-2)^2+(3-2)^2=2

なので、周辺事後密度は、

p(λ∣∣y⟩)∝λe−2λ⏟ガンマ密度の形11+2λ⏟追加の因子p(\lambda\mid \ket{y})\propto \underbrace{\lambda e^{-2\lambda}}_{\text{ガンマ密度の形}} \underbrace{\frac1{\sqrt{1+2\lambda}}}_{\text{追加の因子}}

となる。追加の因子は、 λ=1\lambda=1 では 1/3≈0.57741/\sqrt3\approx0.5774 、 λ=2\lambda=2 では 1/5≈0.44721/\sqrt5\approx0.4472 である。したがって、単なる一定の倍率ではなく、精度の候補どうしの相対的な重みを変える。例えば、密度の比は、

p(λ=2∣∣y⟩)p(λ=1∣∣y⟩)=2e−235≈0.2097\frac{p(\lambda=2\mid \ket{y})}{p(\lambda=1\mid \ket{y})} =2e^{-2}\sqrt{\frac35}\approx0.2097

となる。一方、追加の因子を無視して gamma⁡(2,2)\operatorname{gamma}(2,2) を使うと、比は 2e−2≈0.27072e^{-2}\approx0.2707 になってしまう。これは一点の確率の比ではなく、密度の高さの比である。

つまり、ガンマ乱数生成器に単にパラメータを渡すだけでは、求めたい周辺分布を再現できない。上のように密度を定数倍を除いて計算できても、その密度に従う乱数を生成するには、さらに数値的な方法が必要なのである。生成が不可能という意味ではなく、共役な場合の手順をそのまま使えない、という意味である。

「準共役」なら、何が扱いやすいまま残るのか

残る利点は、 もう一方の未知量を固定したときには、両方とも既知の分布から生成できる ことである。母平均側の正規分布はすでに求めた。精度側も、母平均を固定すれば、

λ∣θ,∣y⟩∼gamma⁡(a0+n2, b0+12∑i=1n(y(i)−θ)2)\lambda\mid\theta,\ket{y}\sim\operatorname{gamma}\left( a_0+\frac n2,\ b_0+\frac12\sum_{i=1}^n(y^{(i)}-\theta)^2 \right)

となる。この式は6.3節で導く。先ほどの小さな例なら、 θ=2\theta=2 を固定した場合は率が 1+{(1−2)2+(3−2)2}/2=21+\{(1-2)^2+(3-2)^2\}/2=2 なので gamma⁡(2,2)\operatorname{gamma}(2,2) 、 θ=1\theta=1 を固定した場合は率が 1+{(1−1)2+(3−1)2}/2=31+\{(1-1)^2+(3-1)^2\}/2=3 なので gamma⁡(2,3)\operatorname{gamma}(2,3) である。どちらも簡単に生成できるが、 これらは特定の母平均を条件とした分布であり、母平均を積分した p(λ∣∣y⟩)p(\lambda\mid \ket{y}) とは異なる。

ここまでの比較を、生成に必要な分布ごとに整理する。

調べる分布 共役:母平均の事前分散が σ2/κ0\sigma^2/\kappa_0 準共役:母平均の事前分散が固定値 τ02\tau_0^2
分散を固定した母平均の完全条件付き分布 正規分布 正規分布
母平均を固定した精度の完全条件付き分布 ガンマ分布 ガンマ分布
母平均を積分した精度の周辺分布 ガンマ分布 一般にガンマ分布ではない
「周辺分布から分散を生成し、条件付き分布から平均を生成する」方法 二段階とも既知の乱数生成器で実行できる 第1段階に別の工夫が必要になる

準共役とは、このように完全条件付き分布には共役性が残るものの、独立な正規分布とガンマ分布という同時事前分布の形が、そのまま同時事後分布として保たれるわけではない、ということである。

そこで、難しい周辺分布から分散を選ぶ代わりに、「現在の母平均を固定して精度を生成し、得られた精度を固定して母平均を生成する」という更新を繰り返せないか、と考える。これがギブス法への入口になる。ただし、適当に選んだ初期値から一度更新しただけで、事後分布からの標本になるわけではない。6.3〜6.5節で、更新を繰り返す根拠と、得られる標本どうしの依存を扱う。その前に次節では、候補を格子状に並べる離散近似によって、同時分布と周辺分布を直接確かめる。

6.2 離散近似

交互に乱数を生成する方法へ進む前に、候補の組を表に並べて事後分布を調べる方法を考える。これが離散近似である。平均と精度の候補を細かく並べ、それぞれの組の重みを求めるため、二つの未知量の関係を直接確認しやすい。

以下では母平均 θ\theta と精度 λ=1/σ2\lambda=1/\sigma^2 の組を扱う。まず、まだ全体の合計を1にそろえていない重みを、

q(θ,λ)=p(θ,λ,∣y⟩)=p(θ,λ)p(∣y⟩∣θ,λ)q(\theta,\lambda)=p(\theta,\lambda,\ket{y}) =p(\theta,\lambda)p(\ket{y}\mid\theta,\lambda)

と置く。ベイズの公式は p(θ,λ∣∣y⟩)=q(θ,λ)/p(∣y⟩)p(\theta,\lambda\mid \ket{y})=q(\theta,\lambda)/p(\ket{y}) である。分母 p(∣y⟩)p(\ket{y}) の計算が難しくても、二つの候補の密度の比では同じ分母が消える。

p(θ1,λ1∣∣y⟩)p(θ2,λ2∣∣y⟩)=q(θ1,λ1)/p(∣y⟩)q(θ2,λ2)/p(∣y⟩)=q(θ1,λ1)q(θ2,λ2).\frac{p(\theta_1,\lambda_1\mid \ket{y})}{p(\theta_2,\lambda_2\mid \ket{y})} =\frac{q(\theta_1,\lambda_1)/p(\ket{y})}{q(\theta_2,\lambda_2)/p(\ket{y})} =\frac{q(\theta_1,\lambda_1)}{q(\theta_2,\lambda_2)}.

ここで qq は、平均の事前密度、精度の事前密度、各観測値の尤度を掛ければ計算できる。事前に平均と精度を独立と仮定していることを使う。

q(θ,λ)=p(θ)p(λ)p(∣y⟩∣θ,λ)=dnorm⁡(θ,μ0,τ0)⋅dgamma⁡(λ,ν0/2,ν0σ02/2)⋅∏i=1ndnorm⁡(y(i),θ,1/λ).\begin{aligned} q(\theta,\lambda) &=p(\theta)p(\lambda)p(\ket{y}\mid\theta,\lambda)\\ &=\operatorname{dnorm}(\theta,\mu_0,\tau_0) \cdot \operatorname{dgamma}(\lambda,\nu_0/2,\nu_0\sigma_0^2/2) \cdot \prod_{i=1}^n\operatorname{dnorm}(y^{(i)},\theta,1/\sqrt\lambda). \end{aligned}

平均の候補を等間隔に GG 個、精度の候補を等間隔に HH 個用意する。両者を組み合わせた G×HG\times H 個の点を格子点と呼ぶ。各点で計算した重みを qkl=q(θk,λl)q_{kl}=q(\theta_k,\lambda_l) と書くと、格子上の確率は「その点の重み÷全点の重みの合計」で求められる。

pD(θk,λl∣∣y⟩)=qkl/p(∣y⟩)∑g=1G∑h=1Hqgh/p(∣y⟩)=qkl∑g=1G∑h=1Hqgh.\begin{aligned} p_D(\theta_k,\lambda_l\mid \ket{y}) &=\frac{q_{kl}/p(\ket{y})}{\sum_{g=1}^G\sum_{h=1}^H q_{gh}/p(\ket{y})}\\ &=\frac{q_{kl}}{\sum_{g=1}^G\sum_{h=1}^H q_{gh}}. \end{aligned}

二重の和は、「すべての行について、すべての列の値を足す」という意味である。どの点も同じ合計で割るため、得られた確率は全点で足すと1になる。この操作を正規化という。なお、最初から格子点だけを候補とし、各点の事前確率を元の事前密度に比例させた離散モデルなら、上の式はそのモデルの厳密な事後確率になる。ここでは連続なパラメータを扱うので、格子上の分布は近似として使う。

補足:未知の分母があっても、相対的な重みは求められる

この表で確認したいのは、 平均と精度の「組」に付けた重みから、知りたい問いに応じた確率を作る方法 である。まず表の読み方を確かめ、その後で「全体で割る」「足し合わせる」「一部だけで割り直す」を順に計算しよう。

1. 一つのマスは「平均と精度の候補を一つずつ選んだ組」である

母平均 θ\theta の候補を1と2、精度 λ\lambda の候補を1と4とする。ここでの「平均が小さい」は θ=1\theta=1 、「平均が大きい」は θ=2\theta=2 という候補の呼び名である。また、精度は分散の逆数なので、 λ=1\lambda=1 なら分散は1、 λ=4\lambda=4 なら分散は 1/41/4 である。つまり、精度が大きい候補ほど、観測値のばらつきが小さいと仮定している。

平均を二通り、精度を二通り選べるので、組は (1,1),(1,4),(2,1),(2,4)(1,1),(1,4),(2,1),(2,4) の四通りになる。このように、二つの軸に並べた候補を組み合わせた点が「格子点」である。行で平均を、列で精度を選ぶと、一つの組が決まる。

それぞれの組について、同じ観測データ ∣y⟩\ket{y} を使って「事前密度×尤度」を計算し、次の重みが得られたとする。 候補の値も重みも、計算の仕組みを説明するための架空の設定であり、羽虫データから求めた値ではない。 とくに、候補が (1,4)(1,4) だから重みが6になる、という計算規則ではない。実際の分析では、先ほどの q(θ,λ)q(\theta,\lambda) の式に事前分布と観測データを入れて重みを求める。

母平均の候補 ↓ / 精度の候補 → 精度が小さい: λ=1\lambda=1 精度が大きい: λ=4\lambda=4 行の重みの合計
平均が小さい: θ=1\theta=1 2 6 8
平均が大きい: θ=2\theta=2 1 1 2
列の重みの合計 3 7 10

例えば右上の6は、「母平均は1、精度は4」という組に付けた重み q(1,4)=6q(1,4)=6 である。 6個の観測があったという意味でも、確率が6という意味でもない。 左上の重みが2なので、右上の組は左上の組の 6/2=36/2=3 倍の重みを持つ。この段階でわかるのは、こうした相対的な比率である。

また、右端と下端は集計欄であり、新しい候補ではない。右端の8は 2+62+6 、下端の7は 6+16+1 、右下の10は四つのマスの合計 2+6+1+12+6+1+1 である。

2. 「その組の確率」を知りたいなら、全体の10で割る

四つの候補に割り当てる確率は、全部足すと1でなければならない。そこで、重みの比 2:6:1:12:6:1:1 を保ったまま合計を1にするため、各マスを全体の重み10で割る。例えば右上なら、

pD(θ=1,λ=4∣∣y⟩)=62+6+1+1=610=0.6p_D(\theta=1,\lambda=4\mid \ket{y}) =\frac{6}{2+6+1+1}=\frac{6}{10}=0.6

となる。これは、四つの候補で作った離散分布において、「平均が1、かつ精度が4」という組に60%の確率を割り当てるという意味である。以後、この例で述べる確率はすべて、同じデータ ∣y⟩\ket{y} を観測した後の、この離散分布での確率である。

同じ計算を全マスに行うと、次の 同時確率の表 になる。「同時」とは、平均と精度の両方を指定しているという意味である。

母平均の候補 ↓ / 精度の候補 → λ=1\lambda=1 λ=4\lambda=4 行の確率の合計
θ=1\theta=1 2/10=0.22/10=0.2 6/10=0.66/10=0.6 0.8
θ=2\theta=2 1/10=0.11/10=0.1 1/10=0.11/10=0.1 0.2
列の確率の合計 0.3 0.7 1.0

この操作が正規化である。未知の分母 p(∣y⟩)p(\ket{y}) がなくても計算できるのは、元の事後密度に共通する係数 1/p(∣y⟩)1/p(\ket{y}) が比率を変えないためである。例えば四つの重みをすべて100倍して 200,600,100,100200,600,100,100 にしても、右上の確率は 600/1000=0.6600/1000=0.6 のままである。同じ理由で、未知の共通係数を求める必要がない。ただし、この例の合計10は 格子上の重みの合計 であって、連続モデルの p(∣y⟩)p(\ket{y}) そのものではない。

3. 「平均だけの確率」を知りたいなら、精度の候補を足し合わせる

次に、「精度がどちらかは問わず、平均が1である確率」を考える。この問いに当てはまるのは、左上の (1,1)(1,1) と右上の (1,4)(1,4) の二つである。そこで、上の行の確率を足す。

pD(θ=1∣∣y⟩)=pD(θ=1,λ=1∣∣y⟩)+pD(θ=1,λ=4∣∣y⟩)=0.2+0.6=0.8.\begin{aligned} p_D(\theta=1\mid \ket{y}) &=p_D(\theta=1,\lambda=1\mid \ket{y}) +p_D(\theta=1,\lambda=4\mid \ket{y})\\ &=0.2+0.6=0.8. \end{aligned}

ここでは精度を一つに決めていない。精度が1の場合も4の場合も含めることで、平均だけに関する確率を求めている。このように、もう一方の変数の可能性を足し合わせる操作を 周辺化 と呼び、得られる分布を 周辺分布 と呼ぶ。元の重みの表から直接計算するなら、 (2+6)/10=8/10=0.8(2+6)/10=8/10=0.8 である。

同様に、「平均がどちらかは問わず、精度が4である確率」は右の列を足して 0.6+0.1=0.70.6+0.1=0.7 となる。平均だけを知りたいなら各行を横に足し、精度だけを知りたいなら各列を縦に足すのである。

4. 「平均が1という条件での精度」を知りたいなら、上の行の8で割る

今度の問いは、「平均が1だと仮定したとき、精度が4である確率はどれだけか」である。この条件のもとでは、平均が2である下の行は対象から外れる。残る候補は上の行の二つだけであり、その重みは2と6である。

したがって、 条件に合う上の行だけを新しい全体とし、その中で確率の合計が1になるように割り直す。 分母は表全体の10ではなく、上の行の合計 2+6=82+6=8 になる。

pD(λ=1∣θ=1,∣y⟩)=22+6=28=0.25,pD(λ=4∣θ=1,∣y⟩)=62+6=68=0.75.\begin{aligned} p_D(\lambda=1\mid\theta=1,\ket{y})&=\frac{2}{2+6}=\frac28=0.25,\\ p_D(\lambda=4\mid\theta=1,\ket{y})&=\frac{6}{2+6}=\frac68=0.75. \end{aligned}

これは 条件付き分布 である。すでに正規化した確率の表から計算しても、右上の確率0.6を上の行の確率0.8で割れば、 0.6/0.8=0.750.6/0.8=0.75 という同じ結果になる。

ここで、0.6と0.75は別の問いへの答えである。0.6は「四つの組全体の中で、平均が1かつ精度が4となる割合」、0.75は「平均が1である組に限った中で、精度が4となる割合」である。対象とする全体が変わったので、割る数も変わる。

この違いは、十枚のくじでも確かめられる。左上の組を書いたくじを二枚、右上を六枚、左下を一枚、右下を一枚用意するとする。十枚全体から一枚引くなら、右上の組を引く確率は 6/106/10 である。一方、「平均が1」と書かれた八枚だけを集めて引くなら、そのうち精度が4のくじは六枚なので、確率は 6/86/8 になる。このくじは重みの比率を再現するたとえであり、観測データの件数を表しているわけではない。

ここまでの三つの問いを並べると、計算の使い分けが明確になる。

知りたい問い 対象とする全体 計算 確率の種類
平均が1、かつ精度が4である確率は? 四つの組全体 6/10=0.66/10=0.6 同時確率
精度は問わず、平均が1である確率は? 四つの組全体 (2+6)/10=0.8(2+6)/10=0.8 周辺確率
平均が1という条件で、精度が4である確率は? 上の行の二つの組 6/(2+6)=0.756/(2+6)=0.75 条件付き確率

5. 「条件付き分布を混ぜる」とは、条件が現れる割合も考えて足すことである

最後に、6.1節の「条件付き分布を混ぜる」という計算を、この表で確かめよう。求めたいのは、先ほどと同じ「平均が1である確率」である。ただし、今回は精度の値ごとに場合分けする。

精度が1である確率は、左列の合計から 3/103/10 である。そして、精度が1だという条件で平均が1となる確率は、左列の中で割り直して 2/(2+1)=2/32/(2+1)=2/3 となる。同じように、精度が4である確率は 7/107/10 、その条件で平均が1となる確率は 6/(6+1)=6/76/(6+1)=6/7 である。

精度による場合分け その精度となる確率 その精度のもとで平均が1となる確率 両方を満たす確率
精度が1の場合 3/103/10 2/32/3 (3/10)(2/3)=2/10(3/10)(2/3)=2/10
精度が4の場合 7/107/10 6/76/7 (7/10)(6/7)=6/10(7/10)(6/7)=6/10

最後の列を足せば、「精度が1で平均が1」と「精度が4で平均が1」の両方の場合を含められる。したがって、

pD(θ=1∣∣y⟩)=310×23+710×67=210+610=0.8\begin{aligned} p_D(\theta=1\mid \ket{y}) &=\frac{3}{10}\times\frac23+\frac{7}{10}\times\frac67\\ &=\frac{2}{10}+\frac{6}{10}=0.8 \end{aligned}

となり、上の行を足した結果と一致する。これが、精度ごとの条件付き確率を、精度の周辺確率で重み付けして混ぜるという意味である。二つの条件付き確率を単純に半分ずつ混ぜると、 (2/3+6/7)/2=16/21≈0.762(2/3+6/7)/2=16/21\approx0.762 となり、答えが変わってしまう。精度の二つの候補が現れる割合は半々ではなく、0.3対0.7だからである。

ギブス法では、この例のように片方の値を固定し、残った行や列の中の条件付き分布を使って、もう片方の値を選び直す。その仕組みを理解するために、まず 周辺化では可能性を足し合わせ、条件付けでは対象を絞ってから割り直す という違いを押さえておこう。

連続分布に戻るときの注意:格子点の確率と密度は異なる

ここまでの0.6などは、四つの候補に確率を割り当てた離散分布での値である。元の連続分布では、一点だけの確率は0であり、密度の高さそのものを確率とは呼べない。格子による近似では、各点がその周囲の小区画を代表すると考え、密度に小区画の面積 Δθ Δλ\Delta\theta\,\Delta\lambda を掛けて、その区画の確率を近似する。

したがって、正規化前の区画の重みは、本来 qklΔθ Δλq_{kl}\Delta\theta\,\Delta\lambda である。等間隔格子では面積が全点で共通なので、例えば面積が0.01なら、右上の確率は、

6×0.01(2+6+1+1)×0.01=0.6\frac{6\times0.01}{(2+6+1+1)\times0.01}=0.6

となり、面積を省いた計算と一致する。不等間隔格子では、各区画の面積が異なるため省略できない。また、連続分布をよく近似するには、確率が集中している範囲を十分に覆い、格子を十分に細かくする必要がある。四点だけの例は、あくまで表の計算を理解するためのものである。

連続分布そのもので周辺化する場合には、格子上の足し算を積分に置き換える。「もう一方の変数の可能性をすべて含める」という考え方は同じである。


前章の羽虫のデータに対して実際に近似を実行しよう。このデータでは {n=9,yˉ=1.804,s2=0.017}\{n=9,\bar y=1.804,s^2=0.017\} であった。第5章では θ\theta と σ2\sigma^2 の事前分布を共役にするために、 θ\theta の事前分散を σ2/κ0\sigma^2/\kappa_0 として母分散に比例させる必要があった。母分散の値が小さいと θ\theta に関する事前の不確実性が減ってしまうが、これは望ましくないかもしれない。対照的に、準共役な事前分布にはそのような制約はない。われわれは前章で、 θ\theta の事前の平均と標準偏差は μ0=1.9\mu_0=1.9 と τ0=0.95\tau_0=0.95 であり、事前分布の確率質量のほとんどは θ>0\theta>0 にあるべきだと考えていたことを思い出そう。 σ2\sigma^2 については、事前分布のパラメータを ν0=1\nu_0=1 および σ02=0.01\sigma_0^2=0.01 と定める。

実際の観測値は、

∣y⟩=(1.64,1.70,1.72,1.74,1.82,1.82,1.82,1.90,2.08)T mm\ket{y}=(1.64,1.70,1.72,1.74,1.82,1.82,1.82,1.90,2.08)^{\mathsf{T}}\ \text{mm}

だった。

以下に示すPythonコードでは、 θ∈{1.505,1.510,…,1.995,2.00}\theta\in\{1.505,1.510,\ldots,1.995,2.00\} および λ∈{1.75,3.5,…,173.25,175.0}\lambda\in\{1.75,3.5,\ldots,173.25,175.0\} としてパラメータ空間を均等に区切り、そうして得た 100×100100\times100 の格子点上で p(θ,λ∣∣y⟩)p(\theta,\lambda\mid \ket{y}) の値を評価している。

6.2節 離散近似の議論を再掲すると、

q(θ,λ)≔p(θ,λ,∣y⟩)=p(θ,λ)p(∣y⟩∣θ,λ)=p(θ)p(λ)p(∣y⟩∣θ,λ)=dnorm⁡(θ,μ0,τ0)⋅dgamma⁡(λ,ν0/2,ν0σ02/2)⋅∏i=1ndnorm⁡(y(i),θ,1/λ)\begin{aligned} q(\theta,\lambda) &\coloneqq p(\theta,\lambda,\ket{y})=p(\theta,\lambda)p(\ket{y}\mid\theta,\lambda)\\ &=p(\theta)p(\lambda)p(\ket{y}\mid\theta,\lambda)\\ &=\operatorname{dnorm}(\theta,\mu_0,\tau_0) \cdot \operatorname{dgamma}(\lambda,\nu_0/2,\nu_0\sigma_0^2/2) \cdot \prod_{i=1}^n\operatorname{dnorm}(y^{(i)},\theta,1/\sqrt\lambda) \end{aligned}

であるから、 適当な θ,λ\theta, \lambda の値を代入すれば q(θ,λ)q(\theta,\lambda) が計算できるため、p(θ,λ∣∣y⟩)p(\theta,\lambda\mid \ket{y}) の離散近似 pDp_D を以下で求めることができたのである。

pD(θk,λl∣∣y⟩)=q(θk,λl)∑g=1G∑h=1Hq(θk,λl).\begin{aligned} p_D(\theta_k,\lambda_l\mid \ket{y}) =\frac{q(\theta_k,\lambda_l)}{\sum_{g=1}^G\sum_{h=1}^H q(\theta_k,\lambda_l)}. \end{aligned}

図6.1の上の図は {θ,λ}\{\theta,\lambda\} の同時分布の離散近似を示している。 θ\theta と λ\lambda の周辺および条件付き事後分布は、この離散近似された事後分布から簡単な計算によって得られる。たとえば、

pD(θk∣∣y⟩)=∑h=1HpD(θk,λh∣∣y⟩).p_D(\theta_k\mid \ket{y}) = \sum_{h=1}^H p_D(\theta_k,\lambda_h\mid \ket{y}).

結果として得られる θ\theta と精度 λ\lambda の周辺事後分布の離散近似は図6.1の下の二つのパネルに描かれている。

図6.1では、まず上の図で「どの平均と精度の組が支持されるか」を見る。次に下の二つの図で、それぞれ一つのパラメータだけの不確実性を見る。同時分布の色は格子点に割り当てた確率であり、周辺分布の縦軸は格子幅で割った密度である。

図6.1 羽虫9匹の同時・周辺事後分布。100×100の等間隔格子。上は格子点の確率、中央・下は近似密度。下の変数は精度λである。

母平均は1.80 mm付近に集まり、精度にはより広い不確実性が残る。また、精度が小さい領域では母平均が横方向へ広がる。これは「個体差が大きいと、母平均の位置も確定しにくい」という条件付き分布の関係を反映している。

import numpy as np
from scipy.special import logsumexp
from scipy.stats import gamma, norm

mu0, tau02, nu0, sigma02 = 1.9, 0.95**2, 1.0, 0.01
y = np.array([1.64, 1.70, 1.72, 1.74, 1.82, 1.82, 1.82, 1.90, 2.08])
n, ybar = len(y), y.mean()
ss = np.sum((y - ybar)**2)
mean_grid = np.linspace(1.505, 2.00, 100)
precision_grid = np.linspace(1.75, 175.0, 100)
theta, precision = mean_grid[:, None], precision_grid[None, :]

log_post = (
    norm.logpdf(theta, loc=mu0, scale=np.sqrt(tau02))
    + gamma.logpdf(precision, a=nu0/2, scale=2/(nu0*sigma02))
    + n/2 * np.log(precision/(2*np.pi))
    - precision/2 * (ss + n*(ybar-theta)**2)
)
post_grid = np.exp(log_post - logsumexp(log_post))
mean_mass = post_grid.sum(axis=1)
precision_mass = post_grid.sum(axis=0)
print(post_grid.sum())  # 丸め誤差を除き1

補足:対数で計算する理由と、格子を使う際の誤差

密度を大量に掛けると、計算機で表現できないほど小さな値になることがある。そこで、積を対数の和へ変えて計算し、最後に正規化する。例えば重みの対数が (−1000,−1001)(-1000,-1001) でも、その差は1しかなく、正規化後の確率は約 (0.7311,0.2689)(0.7311,0.2689) である。各重みを先に指数関数へ戻すと両方0になりうるが、最大値を引けば (1,e−1)(1,e^{-1}) という安全な大きさで計算できる。上の logsumexp はこの種の計算を安定に行う関数である。SciPy公式ドキュメント

格子近似には、区画が粗いことによる誤差と、有限の範囲しか調べないことによる誤差がある。範囲内で確率の合計が1になっただけでは、範囲外の確率が十分小さいとはいえない。

この例では、別途行った一次元数値積分により、長方形 1.505≤θ≤2.001.505\le\theta\le2.00 、 1.75≤λ≤1751.75\le\lambda\le175 に含まれる事後確率は約0.99677である。格子近似による母平均の事後平均は1.804564 mmであり、積分による基準値1.804687 mmに近い。さらに範囲を 1.0≤θ≤2.61.0\le\theta\le2.6 、 0.125≤λ≤4000.125\le\lambda\le400 へ広げ、641×1,600点にすると、事後平均は1.804687 mmになる。この例では元の格子もよい近似だが、それは数値の比較によって確認している。

また、精度の密度の横軸を単に 1/λ1/\lambda へ置き換えても、分散の密度にはならない。 v=σ2=1/λv=\sigma^2=1/\lambda とすると、幅の変換も必要であり、

pv(v∣∣y⟩)=pλ(1/v∣∣y⟩)1v2,v>0p_v(v\mid \ket{y})=p_\lambda(1/v\mid \ket{y})\frac1{v^2},\qquad v>0

である。一方、乱数標本があれば、各標本に v[s]=1/λ[s]v^{[s]}=1/\lambda^{[s]} を適用するだけで分散の標本が得られる。密度の高さを変換する操作と、標本の値を変換する操作を区別することが大切である。

幅の変換が必要になる理由は、変数を変えても同じ範囲に入る確率を保つためである。分散が vv から v+dvv+dv まで動くと、精度は逆向きに動き、その幅の大きさは ∣dλ/dv∣ dv=(1/v2)dv\lvert d\lambda/dv\rvert\,dv=(1/v^2)dv になる。したがって「分散の密度×分散の幅」と「精度の密度×精度の幅」を等しくすると、上式の 1/v21/v^2 が現れる。例えば v=0.04v=0.04 、 λ=25\lambda=25 の近くでは、分散の幅0.0001は精度の幅およそ0.0625に対応する。幅が625倍違うため、密度の高さにも625倍の調整が必要になる。

この二つのパラメータの事後分布を、各パラメータごとに100の点で評価するには、 100×100=1002100\times100=100^2 の格子点を必要とする。一般に pp 次元の事後分布に対して、精密な近似を同様の方法で得るには pp 次元の格子点上で 100p100^p の事後確率の計算を必要とする。このため離散近似が実行可能となるのはパラメータの数が少ない場合に限られる。

各次元を100点で調べる場合、2次元なら1万点、4次元なら1億点、10次元なら 102010^{20} 点になる。1点の結果を8バイトで保存するだけでも、4次元で約0.8 GB、10次元で約800 EBが必要である。これは単にプログラムを少し速くすれば解決する問題ではない。そこで、空間全体に細かい格子を敷く代わりに、事後分布に沿って値を生成する方法を考える。

6.3 条件付き分布からのサンプリング

6.1節では、分散を固定すると母平均が正規分布から生成できることを確かめた。今度は逆に、母平均 θ\theta を固定して、精度 λ=1/σ2\lambda=1/\sigma^2 を生成するための分布を求める。条件付き密度の定義と、同時密度の分解から、

p(λ∣θ,∣y⟩)=p(∣y⟩,θ,λ)p(θ,∣y⟩)∝p(∣y⟩∣θ,λ)p(θ)p(λ)∝p(∣y⟩∣θ,λ)p(λ)\begin{aligned} p(\lambda\mid\theta,\ket{y}) &=\frac{p(\ket{y},\theta,\lambda)}{p(\theta,\ket{y})}\\ &\propto p(\ket{y}\mid\theta,\lambda)p(\theta)p(\lambda)\\ &\propto p(\ket{y}\mid\theta,\lambda)p(\lambda) \end{aligned}

となる。分母 p(θ,∣y⟩)p(\theta,\ket{y}) と事前密度 p(θ)p(\theta) は、いま動かしている λ\lambda に依存しない。そのため比例定数へまとめられる。ここでも、事前に θ\theta と λ\lambda が独立であるという仮定を使った。

次に、正規尤度とガンマ事前密度のうち、精度に依存する部分を書き出す。

p(∣y⟩∣θ,λ)∝λn/2exp⁡[−λ2∑i(y(i)−θ)2],p(λ)∝λν0/2−1exp⁡[−λ2ν0σ02].\begin{aligned} p(\ket{y}\mid\theta,\lambda) &\propto\lambda^{n/2}\exp\left[-\frac\lambda2\sum_i(y^{(i)}-\theta)^2\right],\\ p(\lambda) &\propto\lambda^{\nu_0/2-1}\exp\left[-\frac\lambda2\nu_0\sigma_0^2\right]. \end{aligned}

同じ底の累乗を掛けると指数は足し算になる。また、指数関数の積では指数の中身を足す。この二つを使うと、

p(λ∣θ,∣y⟩)∝λ(ν0+n)/2−1exp⁡[−λν0σ02+∑i(y(i)−θ)22].p(\lambda\mid\theta,\ket{y}) \propto\lambda^{(\nu_0+n)/2-1} \exp\left[-\lambda\frac{\nu_0\sigma_0^2+\sum_i(y^{(i)}-\theta)^2}{2}\right].

これはガンマ密度の形 λa−1e−bλ\lambda^{a-1}e^{-b\lambda} であり、形状は a=(ν0+n)/2a=(\nu_0+n)/2 、率は b={ν0σ02+∑i(y(i)−θ)2}/2b=\{\nu_0\sigma_0^2+\sum_i(y^{(i)}-\theta)^2\}/2 である。したがって精度をガンマ分布から生成し、その逆数を取れば、母分散を生成できる。ガンマ変数の逆数の分布を逆ガンマ分布と呼び、

σ2∣θ,∣y⟩∼inverse-gamma⁡(νn/2,νnσn2(θ)/2)\sigma^2\mid\theta,\ket{y} \sim\operatorname{inverse-gamma}\left(\nu_n/2,\nu_n\sigma_n^2(\theta)/2\right)

と書く。ここで、教科書の記号との対応は次のとおりである。

νn=ν0+n,sn2(θ)=1n∑i(y(i)−θ)2,σn2(θ)=ν0σ02+nsn2(θ)ν0+n=ν0ν0+nσ02+nν0+nsn2(θ).\begin{aligned} \nu_n&=\nu_0+n,\\ s_n^2(\theta)&=\frac1n\sum_i(y^{(i)}-\theta)^2,\\ \sigma_n^2(\theta) &=\frac{\nu_0\sigma_0^2+ns_n^2(\theta)}{\nu_0+n} =\frac{\nu_0}{\nu_0+n}\sigma_0^2+\frac n{\nu_0+n}s_n^2(\theta). \end{aligned}

最後の行は、事前の尺度 σ02\sigma_0^2 と、候補の平均から測った二乗のずれ sn2(θ)s_n^2(\theta) を重み付きで合わせたものである。ただし σn2(θ)\sigma_n^2(\theta) 自体が母分散の条件付き事後平均になるわけではない。添字や上付きの2だけから意味を判断せず、分布のパラメータを作る量として読む。

これで、分散を固定した母平均と、母平均を固定した分散の両方を生成できるようになった。残る問題は、この二つを交互に生成することで、未知量の組全体の事後分布を調べられるかどうかである。

補足:ガンマ分布の形を見分ける

上の導出では、 θ\theta を固定して精度 λ\lambda だけを見る。 p(θ)p(\theta) は λ\lambda に依存しないので比例定数へ吸収される。一方、正規尤度の正規化係数に含まれる λn/2\lambda^{n/2} は精度に依存するため、落としてはいけない。

ガンマ密度の λa−1e−bλ\lambda^{a-1}e^{-b\lambda} と比較すると、

a=ν0+n2,b(θ)=ν0σ02+∑i(y(i)−θ)22,λ∣θ,∣y⟩∼gamma⁡(a,b(θ))a=\frac{\nu_0+n}{2},\qquad b(\theta)=\frac{\nu_0\sigma_0^2+\sum_i(y^{(i)}-\theta)^2}{2}, \qquad \lambda\mid\theta,\ket{y}\sim\operatorname{gamma}\bigl(a,b(\theta)\bigr)

と読める。羽虫の例で θ=yˉ\theta=\bar y とすると、

a=5,b(yˉ)=0.01+0.1350222222=0.072511111,E⁡[λ∣yˉ,∣y⟩]≈68.954.a=5,\qquad b(\bar y)=\frac{0.01+0.135022222}{2}=0.072511111, \qquad \operatorname{E}[\lambda\mid\bar y,\ket{y}]\approx68.954.

母平均を θ=1.9\theta=1.9 と仮定すると、平均からのずれに対応する 9(1.804444−1.9)2=0.0821777789(1.804444-1.9)^2=0.082177778 が二乗和に加わる。そのため、

b(1.9)=0.01+0.135022222+0.0821777782=0.1136,E⁡[λ∣θ=1.9,∣y⟩]=50.1136≈44.014.b(1.9)=\frac{0.01+0.135022222+0.082177778}{2}=0.1136, \qquad \operatorname{E}[\lambda\mid\theta=1.9,\ket{y}]=\frac5{0.1136}\approx44.014.

観測平均から離れた母平均を仮定したことで、精度は小さい側、すなわち個体差は大きい側へ移る。ただし 1/E⁡[λ∣θ,∣y⟩]1/\operatorname{E}[\lambda\mid\theta,\ket{y}] は E⁡[σ2∣θ,∣y⟩]\operatorname{E}[\sigma^2\mid\theta,\ket{y}] ではない。逆ガンマ分布の平均は b/(a−1)b/(a-1) なので、後者はこの条件で 0.1136/4=0.02840.1136/4=0.0284 である。

逆数を取る順番で結果が変わることは、二つの数でも確かめられる。精度2と8が半々なら、精度の平均は5、その逆数は0.2である。しかし、分散に直してから平均すると (1/2+1/8)/2=0.3125(1/2+1/8)/2=0.3125 になる。母分散の事後平均を知りたいなら、生成した各精度を先に逆数へ直してから平均する必要がある。なお、逆ガンマ分布の平均 b/(a−1)b/(a-1) が有限なのは a>1a>1 の場合であり、今回の a=5a=5 はこの条件を満たす。

なお、 n−1∑i(Y(i)−θ)2n^{-1}\sum_i(Y^{(i)}-\theta)^2 が不偏なのは、引いている θ\theta が真の母平均である場合である。データから求めた Yˉ\bar Y を引くなら、自由度を一つ使うため、通常の不偏標本分散では n−1n-1 で割る。ギブス法での候補値を「真の平均と判明した値」と解釈する必要はなく、その候補値を条件とした分布を計算している。

次の図では、上段で分散の仮定を変えたときの母平均の幅を、下段で母平均の仮定を変えたときの精度の位置を比較する。

補助図 羽虫データの二つの完全条件付き分布。上段は分散を固定、下段は母平均を固定して比較する。

分散が大きいほど母平均の分布は広くなり、母平均を観測平均から遠ざけるほど精度の分布は小さい値へ移る。この相互依存が、交互更新で反映すべき関係である。

ここからは、まず「正しい分布から出発できたとしたら、その分布を保てるか」を考える。これは更新規則を確かめるための仮定であり、実装時に難しい周辺分布から最初の値を引けることを要求しているのではない。仮に、周辺事後分布 p(σ2∣∣y⟩)p(\sigma^2\mid \ket{y}) から発生した σ2 [1]\sigma^{2\,[1]} が与えられたとする。このとき、以下の分布からのサンプリングが可能である。

θ[1]∼p(θ∣σ2 [1],∣y⟩).\theta^{[1]}\sim p(\theta\mid\sigma^{2\,[1]},\ket{y}).

{θ[1],σ2 [1]}\{\theta^{[1]},\sigma^{2\,[1]}\} は、 {θ,σ2}\{\theta,\sigma^2\} の同時分布からのサンプルとなる。さらに、 θ[1]\theta^{[1]} は周辺分布 p(θ∣∣y⟩)p(\theta\mid \ket{y}) からのサンプルであるともみなせる。この θ\theta の値から、以下のサンプリングが可能である。

σ2 [2]∼p(σ2∣θ[1],∣y⟩).\sigma^{2\,[2]}\sim p(\sigma^2\mid\theta^{[1]},\ket{y}).

θ[1]\theta^{[1]} は周辺分布からのサンプルであり、 σ2 [2]\sigma^{2\,[2]} は θ[1]\theta^{[1]} を所与とした条件付き分布からのサンプルであるので、 {θ[1],σ2 [2]}\{\theta^{[1]},\sigma^{2\,[2]}\} もまた {θ,σ2}\{\theta,\sigma^2\} の同時分布からのサンプルである。今度は σ2 [2]\sigma^{2\,[2]} が周辺分布 p(σ2∣∣y⟩)p(\sigma^2\mid \ket{y}) からのサンプルであり、新たなサンプル θ[2]\theta^{[2]} を生成するのに用いられ、以下同様の手順が続く。はじめの σ2 [1]\sigma^{2\,[1]} さえあれば、二つの条件付き分布を用いて、同時分布からサンプルを生成することができそうである。

補足:正しい分布を保つことと、そこへ到達すること

ここでいう「正しい分布」とは、モデル・事前分布・データから定まった、計算の目標となる事後分布である。「正しい一つの母平均の値」を指しているのではない。ギブス法では値を動かし続け、その値が現れる割合によって分布を表したい。

そのため、次の二つの問いを分ける必要がある。

問い 更新前 確かめたいこと
正しい分布を 保つ か すでに目標どおりの確率配分である 更新しても同じ配分になるか
正しい分布へ 近づく か 一つの初期値に集中するなど、目標と違う配分である 更新を繰り返すと目標とのずれが小さくなるか

「分布が同じ」と「値が同じ」は別である。 例えばサイコロを振り直すと、前は2、次は5となりうる。それでも、振る前に考えた各目の確率は毎回 1/61/6 である。同様に、ギブス法でも更新前後の値は変わってよい。「保つ」のは個々の値ではなく、それぞれの値が現れる確率である。

四つの組で「保つ」を確かめる

6.2節の架空の確率表を再掲する。行が母平均の候補、列が精度の候補である。各マスの数値は、その 組を選ぶ目標確率 である。

精度が小さい(左列) 精度が大きい(右列) 行の合計
母平均が小さい(上の行) 0.2 0.6 0.8
母平均が大きい(下の行) 0.1 0.1 0.2
列の合計 0.3 0.7 1.0

いま、更新前の組がこの表どおりの確率で選ばれていると仮定する。多数の独立した実行を並べて見るなら、およそ30%が左列、70%が右列にいる状態である。ここから 列はそのままにして、同じ列の中で行だけを選び直す。

左列の中では、上と下の目標の比は 0.2:0.1=2:10.2:0.1=2:1 である。したがって、左列にいる組は、上を確率 2/32/3 、下を確率 1/31/3 で選び直す。右列なら、上と下の比は 0.6:0.1=6:10.6:0.1=6:1 なので、確率は 6/76/7 と 1/71/7 である。

更新後の組 その列にいる確率 × その列の中で行を選ぶ確率 更新後の確率
左上(小, 小) 0.3×(2/3)0.3\times(2/3) 0.2
右上(小, 大) 0.7×(6/7)0.7\times(6/7) 0.6
左下(大, 小) 0.3×(1/3)0.3\times(1/3) 0.1
右下(大, 大) 0.7×(1/7)0.7\times(1/7) 0.1

元の表に戻った。個々の実行では行が変わっていても、全体の確率配分は変わらない。次に行を固定して列を選び直しても、例えば右上の確率は 0.8×(0.6/0.8)=0.60.8\times(0.6/0.8)=0.6 となり、同じ表が保たれる。これが 不変性 の意味である。

数式では、古い値の可能性を足し合わせている

連続値の母平均 θ\theta と精度 λ=1/σ2\lambda=1/\sigma^2 でも、仕組みは同じである。 ∣y⟩\ket{y} は固定した観測データ、 θ′\theta' は更新後の新しい母平均を表す。更新前の組がすでに目標の同時事後分布に従うと仮定すると、更新後の密度は、

∫p(θ,λ∣∣y⟩) p(θ′∣λ,∣y⟩) dθ=p(λ∣∣y⟩)p(θ′∣λ,∣y⟩)=p(θ′,λ∣∣y⟩)\int p(\theta,\lambda\mid \ket{y})\, p(\theta'\mid\lambda,\ket{y})\,d\theta =p(\lambda\mid \ket{y})p(\theta'\mid\lambda,\ket{y}) =p(\theta',\lambda\mid \ket{y})

となる。式の三つの部分を、先ほどの表と対応させて読もう。

  • 左辺では、同じ新しい組 (θ′,λ)(\theta',\lambda) に至る、古い母平均 θ\theta の可能性をすべて足し合わせている。連続値なので足し算が積分になる。
  • 中央の p(λ∣∣y⟩)p(\lambda\mid \ket{y}) は「列の合計」に対応する。新しい母平均の生成規則 p(θ′∣λ,∣y⟩)p(\theta'\mid\lambda,\ket{y}) は古い θ\theta に依存しないので積分の外に出せて、残りがこの周辺密度になる。
  • 右辺では「列の合計 × その列の中での条件付きの配分」によって、新しい組の同時密度が復元される。表で 0.3×(2/3)=0.20.3\times(2/3)=0.2 とした計算の連続値版である。

精度を更新する場合も、二つの変数の役割を入れ替えれば同じである。したがって、この二つの更新を続けて行っても目標分布を保つ。

なぜ「保つ」だけでは足りないのか

例えば「何も更新せず、今の組をそのまま残す」という規則でも、最初の配分が目標どおりなら、その配分を保つ。しかし、全実行を左上から始めたら、何回繰り返しても全実行が左上にいる。この規則は不変性を満たすが、偏った初期分布を直す働きがない。

実際のギブス法も、通常は選んだ一つの初期値から始める。そのため、目標分布を保つことに加えて、 初めの偏りを解消できるように状態を移動できるか を確かめる必要がある。どんな条件で近づくかは6.5節、有限回の計算をどう診断するかは6.6節で扱う。まず次の四状態の例で、偏りが変わる計算を実際に追おう。

四つの状態で、適当な初期値からの変化を計算する

同じ四状態の表で、今度は目標と異なる初期分布から出発しよう。「平均が小さい/大きい」と「精度が小さい/大きい」の四つの組に、目標確率 0.2,0.6,0.1,0.10.2,0.6,0.1,0.1 を割り当てた例である。羽虫モデルをこの四点に置き換えるのではなく、交互更新の仕組みを手計算するために使う。

まず「1周」と「1周後の確率」を区別する

1周とは、平均の行を選び直し、その新しい行で精度の列を選び直す、二つの更新の組である。 必ず別の行や列へ移るという意味ではなく、同じ候補を再び選ぶこともある。更新に使う条件付き確率は、毎回、目標の表から計算する。途中で生じた配分を新しい目標に置き換えるわけではない。

初期値は左上の(小, 小)に固定する。一つの実行では、例えば「平均に大を選ぶ → 精度に小を選ぶ」となり、1周後の保存値は(大, 小)という 一つの組 になる。四つの組が同時に出るのではない。

一方、ここで計算したいのは、乱数を引く前に考えた「1周後に各組が出る確率」である。同じ初期値から独立に何度も実行し、各実行の1周後だけを集める場面を思い浮かべるとよい。初期時点では全実行が左上にいるので、初期分布は順に (1,0,0,0)(1,0,0,0) である。

1周目:一つの出発点から、四つの行き先へ分かれる

最初は左列にいる。その列を固定して平均を引き直すと、上の行になる確率は 0.2/(0.2+0.1)=2/30.2/(0.2+0.1)=2/3 、下の行になる確率は 1/31/3 である。続いて、 いま選んだ行 を使って精度を引き直す。

  • 上の行を選んだ場合、精度が小さい確率は 0.2/(0.2+0.6)=1/40.2/(0.2+0.6)=1/4 、大きい確率は 3/43/4 である。
  • 下の行を選んだ場合、精度が小さい確率も大きい確率も 0.1/(0.1+0.1)=1/20.1/(0.1+0.1)=1/2 である。

二段階の経路の確率を掛ければ、1周後にそれぞれの組へ到着する確率が得られる。

1周後の状態(平均, 精度) 経路の確率 1周後 目標
(小, 小) (2/3)(1/4)(2/3)(1/4) 1/61/6 0.2
(小, 大) (2/3)(3/4)(2/3)(3/4) 1/21/2 0.6
(大, 小) (1/3)(1/2)(1/3)(1/2) 1/61/6 0.1
(大, 大) (1/3)(1/2)(1/3)(1/2) 1/61/6 0.1

例えば右上へ着くには、最初に上の行を選び、続いて右列を選ぶ必要がある。その確率が (2/3)×(3/4)=1/2(2/3)\times(3/4)=1/2 である。「同じ経路の途中の選択」は掛け算でつなぐ。

したがって、1周後の配分は (1/6,1/2,1/6,1/6)(1/6,1/2,1/6,1/6) となる。仮に6,000回の独立した実行を行うなら、それぞれの組に着く実行数の期待値は1,000、3,000、1,000、1,000である。実際の個数は乱数で揺れるが、この表の確率自体は乱数を使わずに計算したものである。

2周目:違う出発点から同じ行き先へ来る確率を足す

2周目は、全実行が左上から出発するわけではない。1周目の終了位置から続ける。まず、どちらの列にいるかを集計する。

2周目の開始時の列 1周後の表から合計する その列にいる確率
左列 左上 1/61/6 + 左下 1/61/6 1/31/3
右列 右上 1/21/2 + 右下 1/61/6 2/32/3

最初の平均更新は、古い平均の行によらず、現在の精度の列だけで決まる。そのため、出発点をこの二つの列にまとめて計算できる。2周後に左上へ着く確率を求めよう。

出発する列 その列にいる → 上の行を選ぶ → 左列を選ぶ 経路の確率
左列から (1/3)×(2/3)×(1/4)(1/3)\times(2/3)\times(1/4) 1/181/18
右列から (2/3)×(6/7)×(1/4)(2/3)\times(6/7)\times(1/4) 1/71/7

右列にいるとき上の行を選ぶ確率 6/76/7 は、目標表の 0.6/(0.6+0.1)0.6/(0.6+0.1) から来る。最後の 1/41/4 が両方で同じなのは、どちらの出発列から来ても、その時点では上の行を選び終えているからである。

左列から来る場合と右列から来る場合は同時には起こらない。したがって、 同じ行き先へ至る別々の経路は、確率を足す。

Pr⁡(2周後が左上)=132314+236714=25126≈0.198413\Pr(\text{2周後が左上}) =\frac13\frac23\frac14+\frac23\frac67\frac14 =\frac{25}{126}\approx0.198413

となる。他の三つの組も同じ要領で計算する。まとめて計算するなら、2周目の平均更新後に上の行にいる確率を先に求めるとよい。

Pr⁡(上の行)=1323+2367=5063,Pr⁡(下の行)=1363.\Pr(\text{上の行}) =\frac13\frac23+\frac23\frac67 =\frac{50}{63},\qquad \Pr(\text{下の行})=\frac{13}{63}.

上の行を左・右へ 1/4,3/41/4,3/4 、下の行を左・右へ 1/2,1/21/2,1/2 で分ければ、次の表になる。

状態(平均, 精度) 初期 1周後 2周後の計算 2周後 目標
(小, 小) 1 0.166667 (50/63)(1/4)=25/126(50/63)(1/4)=25/126 0.198413 0.2
(小, 大) 0 0.500000 (50/63)(3/4)=25/42(50/63)(3/4)=25/42 0.595238 0.6
(大, 小) 0 0.166667 (13/63)(1/2)=13/126(13/63)(1/2)=13/126 0.103175 0.1
(大, 大) 0 0.166667 (13/63)(1/2)=13/126(13/63)(1/2)=13/126 0.103175 0.1

例えば右上の確率は、初期の0から、1周後の0.5、2周後の約0.595へ変わり、目標の0.6に近づいている。左下と右下は1周後には目標より多いが、2周後には約0.103へ減っている。単に状態を動かすだけでなく、偏っていた配分が直っていく様子を確認できる。

次の図では、一点に集中した初期分布から、各状態の確率が目標へ近づく様子を見る。棒は「その周の終了時の状態の確率」であり、一つの連鎖で数えた訪問頻度ではない。同じ初期値から多数の独立した実行を行い、各実行の同じ周の結果を集めると、この配分に近づく。

補助図 四状態の架空例での確率配分の変化。初期状態は(小, 小)。平均、精度の順に更新し、0・1・2・6周後の分布を厳密に計算。灰色の横印は目標確率。

図ではまず(小, 大)の棒を見て、0周後の0%、1周後の50%、2周後の約59.5%を、目標の横印60%と比べる。続いて他の三状態でも、棒がそれぞれの横印に近づくことを確かめる。6周後には各状態の確率と目標との差が 3×10−83\times10^{-8} 未満になる。

ただし、これは 「6周目に出る一つの組の分布」が目標に近い という結果である。一つの連鎖から6個だけ保存して、その6個の割合が20%、60%、10%、10%になるという意味ではない。分布が目標に近づいた後も、分布の形や平均を精度よく集計するには十分な数の標本が必要である。

この例ではすべてのマスの目標確率が正なので、どの状態からも1周で四状態すべてへ正の確率で移れ、自分と同じ状態にとどまることもできる。有限状態のこの例では、これにより同じ目標分布への収束が保証される。ただし、羽虫モデルや他のモデルでも6周で十分という意味ではない。前の補足は「目標の配分から始めると保つ」、この例は「偏った配分から始めても近づく」という、異なる問いを確かめたのである。

6.4 ギブスサンプリング

分布 p(θ∣σ2,∣y⟩)p(\theta\mid\sigma^2,\ket{y}) および p(σ2∣θ,∣y⟩)p(\sigma^2\mid\theta,\ket{y}) は、それぞれ θ\theta と σ2\sigma^2 以外のすべての変数を条件付けていることから完全条件付き分布 (full conditional distributions) と呼ばれる。直前の段落で説明した反復サンプリングの考え方をより正確に述べよう。パラメータの現在の状態 ∣ϕ[s]⟩=(θ[s],λ[s])T\ket{\phi^{[s]}}=(\theta^{[s]},\lambda^{[s]})^{\mathsf{T}} が与えられているとき、新たな状態を次のようにして生成する。

  1. θ[s+1]∼p(θ∣λ[s],∣y⟩)\theta^{[s+1]}\sim p(\theta\mid\lambda^{[s]},\ket{y}) を生成する。
  2. λ[s+1]∼p(λ∣θ[s+1],∣y⟩)\lambda^{[s+1]}\sim p(\lambda\mid\theta^{[s+1]},\ket{y}) を生成する。
  3. ∣ϕ[s+1]⟩=(θ[s+1],λ[s+1])T\ket{\phi^{[s+1]}}=(\theta^{[s+1]},\lambda^{[s+1]})^{\mathsf{T}} とする。

このアルゴリズムはギブスサンプラー (Gibbs sampler) と呼ばれ、パラメータ {∣ϕ[1]⟩,∣ϕ[2]⟩,…,∣ϕ[S]⟩}\{\ket{\phi^{[1]}},\ket{\phi^{[2]}},\ldots,\ket{\phi^{[S]}}\} の「独立でない」列を発生させる。準共役事前分布のもとでの正規モデルに対して、このサンプリング手法を実行するPythonコードは以下の通りである。

# 6.2節のPythonコードに続けて実行する。
rng = np.random.default_rng(1)
S = 1000
sample_variance = y.var(ddof=1)
theta, precision = ybar, 1/sample_variance
phi = np.empty((S, 2))  # 第1列: 母平均、第2列: 精度

for step in range(S):
    # 直前の精度を使って、新しい母平均を生成する。
    tau2_n = 1/(1/tau02 + n*precision)
    mu_n = tau2_n*(mu0/tau02 + n*ybar*precision)
    theta = rng.normal(mu_n, np.sqrt(tau2_n))

    # いま生成した母平均を使って、新しい精度を生成する。
    shape = (nu0+n)/2
    rate = (nu0*sigma02 + ss + n*(ybar-theta)**2)/2
    precision = rng.gamma(shape=shape, scale=1/rate)
    phi[step] = theta, precision

このPythonコードは、初期値を記録せず、二つの変数を更新し終えた組を1,000個保存する。元のRコードは初期値を1行目に含めた1,000行なので、更新は999回である。また、RとNumPyでは乱数生成器が異なるため、シードを同じ1にしても同じ列にはならない。ここでは分布とアルゴリズムを再現し、今回の値を明示する。

補足:最初の1回を具体的に追う

初期値は θ[0]=1.804444\theta^{[0]}=1.804444 、 λ[0]=1/s2≈59.24951\lambda^{[0]}=1/s^2\approx59.24951 である。まず前節で求めた μn=1.804643\mu_n=1.804643 、 τn2=0.00187142\tau_n^2=0.00187142 の正規分布から1個生成する。このシードで最初に得られる値は、

θ[1]=1.819592530\theta^{[1]}=1.819592530

である。次に、この新しい値を精度の条件付き分布へ入れる。 ∑i(y(i)−θ[1])2\sum_i(y^{(i)}-\theta^{[1]})^2 は約0.137087となり、形状は5、率は約0.073544となる。そのガンマ分布から、

λ[1]=90.777219\lambda^{[1]}=90.777219

を生成し、組 (1.819592530,90.777219)(1.819592530,90.777219) を保存する。次の反復では、精度90.777219を使って母平均の分布を作り直す。

ここで使うのは分布の平均そのものではなく、 分布から引いた乱数値 である。毎回 θ←μn\theta\leftarrow\mu_n 、 λ←a/b\lambda\leftarrow a/b と代入するだけでは、事後分布の広がりを表す標本は得られない。また、精度の更新には必ず更新済みの母平均を使う。両方を古い値から同時に更新する手続きは、ここで導いたギブス法とは異なる。

次のグラフでは、横軸を母平均、縦軸を精度とし、1周の途中の状態も描く。母平均を引き直す間は精度を変えないので横に進み、続いて精度を引き直す間は新しい母平均を変えないので縦に進む。丸印と番号は両方の更新を終えて保存した組、四角印は途中の状態、背景の等高線は同時事後密度の相対的な高さである。表示する周数を切り替えて、更新順をたどれる。

補助図 羽虫モデルの交互更新。横の実線で母平均、縦の破線で精度を更新する。番号付きの丸が保存値。初期表示は最初の3周で、1〜5周に切り替えられる。

最初の1周は、 (1.804444,59.24951)(1.804444,59.24951) から (1.819593,59.24951)(1.819593,59.24951) へ横に移動し、次に (1.819593,90.77722)(1.819593,90.77722) へ縦に移動する。2周目では、この90.77722を使って母平均を引き直す。つまり、最新の値を次の分布の条件へ受け渡している。線は生成順を示す補助線であり、線分上のすべての点を標本として保存するわけではない。

このコードでは、以下の等式を用いている。

nsn2(θ)=∑i=1n(y(i)−θ)2=∑i=1n(y(i)−yˉ+yˉ−θ)2=∑i=1n[(y(i)−yˉ)2+2(y(i)−yˉ)(yˉ−θ)+(yˉ−θ)2]=∑i=1n(y(i)−yˉ)2+0+∑i=1n(yˉ−θ)2=(n−1)s2+n(yˉ−θ)2.\begin{aligned} ns_n^2(\theta) &= \sum_{i=1}^n(y^{(i)}-\theta)^2 = \sum_{i=1}^n(y^{(i)}-\bar y+\bar y-\theta)^2\\ &= \sum_{i=1}^n\left[(y^{(i)}-\bar y)^2+2(y^{(i)}-\bar y)(\bar y-\theta)+(\bar y-\theta)^2\right]\\ &= \sum_{i=1}^n(y^{(i)}-\bar y)^2+0+\sum_{i=1}^n(\bar y-\theta)^2\\ &= (n-1)s^2+n(\bar y-\theta)^2. \end{aligned}

このようにコードを書いた理由は、 θ\theta の値が更新されても s2s^2 と yˉ\bar y は変化しないので、反復のたびに ∑i=1n(y(i)−θ)2\sum_{i=1}^n(y^{(i)}-\theta)^2 の値を再計算するよりも、 (n−1)s2+n(yˉ−θ)2(n-1)s^2+n(\bar y-\theta)^2 を計算するほうが早いからである。

二乗和を分ける理由を、小さな例で確かめる。 データが (1,2,3)(1,2,3) なら yˉ=2\bar y=2 、 s2=1s^2=1 である。候補の母平均を θ=2.5\theta=2.5 とすると、直接計算は (−1.5)2+(−0.5)2+0.52=2.75(-1.5)^2+(-0.5)^2+0.5^2=2.75 となる。一方、分解した式でも、

(n−1)s2+n(yˉ−θ)2=2×1+3×(2−2.5)2=2.75(n-1)s^2+n(\bar y-\theta)^2=2\times1+3\times(2-2.5)^2=2.75

となる。最初の2は「データ同士のもともとの散らばり」であり、追加の0.75は「候補の平均が観測平均からずれた分」である。交差項が0になるのは ∑i(y(i)−yˉ)=0\sum_i(y^{(i)}-\bar y)=0 だからである。この式により、一度データの要約を求めれば、各反復は観測数に依存しない少数の演算で済む。

これで1周の計算がわかったので、同じ操作を1,000回繰り返した結果へ進もう。まず生成順に点を追い、次に順序を取り除いて分布として集計する。最後に、その標本から信用区間を求める。

図6.2では、同じ連鎖を最初の5回、15回、100回まで順に延ばして見る。各点は二つの更新を終えたパラメータの組であり、線は保存順を表す。二つの変数を一つずつ更新する途中の状態は、この線には含めていない。

図6.2 ギブス法の最初の5回・15回・100回。同じ連鎖を共通の軸範囲で比較する。菱形は最初に保存した組。

反復を延ばすと、点が一つの最良値へ集まって停止するのではなく、支持される領域を動き回る。事後分布を表すには、この動き続ける性質が必要である。

図6.3の読み方:同じ1,000組を、組のまま見るか、一方だけで集計するか

図6.3の三段は、すべて同じ1,000組から作る。上段は「平均と精度のどの組が現れたか」、中段は「平均だけなら、どの値が多いか」、下段は「精度だけなら、どの値が多いか」を示す。中段と下段の横軸は、反復回数ではない。

例えば最初の保存値は (θ,λ)=(1.819593,90.777219)(\theta,\lambda)=(1.819593,90.777219) である。上段ではこの組を一つの点として置く。中段を作るときは1.819593だけを使い、下段を作るときは90.777219だけを使う。この操作を1,000組すべてに行い、それぞれの値の集まり方を曲線にする。

段 上段の点から取り出すもの 横軸 縦軸 読みたいこと
上段 平均と精度の組 母平均 θ\theta 精度 λ\lambda どの組が現れやすいか
中段 各点の横座標だけ 母平均 θ\theta (mm) 母平均の確率密度 母平均の中心と、まだ考えられる値の幅
下段 各点の縦座標だけを、横軸に並べ直す 精度 λ\lambda (mm⁻²) 精度の確率密度 精度の中心と、まだ考えられる値の幅

中段は、精度を一つの値に固定しているのではない。 精度が小さい点も大きい点も、すべてから母平均を集めている。このように、もう一方の値を区別せずに集計した分布が「周辺事後分布」である。下段も、母平均を固定せず、すべての点から精度を集めている。

中段と下段には二つの曲線がある。シアンの実線は、生成値の集まり方を滑らかにした曲線(KDE)である。灰色の破線は、同じ事後分布を別の方法で数値積分して求めた比較用の密度である。まず山の位置と広がりを見て、その後に二つの計算法の形が大きく食い違っていないかを見る。

図6.3 同じ1,000組のギブス標本を三通りに見る。上:平均と精度の組。中:平均だけの分布。下:精度だけの分布。中段の縦線は標本分位点による95%等裾信用区間の両端。

中段から読むこと:母平均は約1.8 mmを中心に、幅をもって推測される

中段の山は約1.8 mm付近にある。上段でいえば、横座標がこの付近の点が多いという意味である。ただし、山の頂点だけを答えとして読むのではなく、左右への広がりにも注目する。生成値を小さい順に並べた2.5%点と97.5%点は約1.708 mmと1.900 mmであり、ローズの二本の縦線がその位置を表す。

この二本は 母平均についての95%等裾信用区間の推定値 である。「観測した9匹のうち95%がこの範囲」という意味ではなく、固定したデータとモデルのもとで、未知の母平均がこの範囲にある事後確率が約95%という意味である。個々の羽虫の羽の長さの分布を描いているわけではない。

縦軸は確率そのものではなく 確率密度 なので、山の高さが1を超えても問題ない。確率として読むのは、横軸の区間と曲線に挟まれた面積である。例えば元の1,000個の母平均のうち948個が1.71〜1.90 mmに入るので、

Pr⁡(1.71≤θ≤1.90∣∣y⟩)≈9481000=0.948\Pr(1.71\le\theta\le1.90\mid \ket{y}) \approx\frac{948}{1000}=0.948

と推定できる。密度曲線では、この区間の下の面積がおよそこの確率に対応する。ただし、滑らかにする処理のためKDEの面積と標本割合は完全には一致しない。

下段から読むこと:精度にも不確実性があり、大きいほど個体差は小さい

下段は上段の 縦座標 を集めた分布である。横軸の精度 λ\lambda が大きいほど、個体の羽の長さのばらつきは小さくなる。これは σ=1/λ\sigma=1/\sqrt\lambda という関係による。例えば、

λ=25 mm−2⇒σ=0.2 mm,λ=100 mm−2⇒σ=0.1 mm.\lambda=25\ \text{mm}^{-2}\Rightarrow\sigma=0.2\ \text{mm},\qquad \lambda=100\ \text{mm}^{-2}\Rightarrow\sigma=0.1\ \text{mm}.

今回の精度の中央値は約57.9 mm⁻²、95%等裾信用区間は約16.9〜129.2 mm⁻²である。したがって「精度は約58と確定した」とは読めない。下段の山に幅があり、右側に裾が伸びていることは、精度についてまだ幅広い候補が残っていることを表す。母標準偏差に直すと、95%等裾信用区間は約0.088〜0.243 mmとなる。

ここでの精度は、観測モデルの個体差を表す母分散の逆数である。 計算結果がどれだけ正確かを表す「計算精度」とは別の量 である。また、中段と下段では横軸の量も単位も違うので、山の高さを直接比べて「こちらの方が確実」とは判断しない。

二つの曲線から読むこと:近似の大まかな形を照合する

中段・下段とも、生成値から作った実線と、数値積分による破線の山の位置や広がりは概ね対応している。これはギブス法が狙った事後分布を近似できていることを支持する。ただし、この図は生成順序を取り除いているため、これだけで十分な探索や計算精度を保証することはできない。

KDEは各生成値の周りに小さな滑らかな山を置いて重ねる方法であり、その山の幅を「帯域幅」と呼ぶ。ここではScottの規則で得た帯域幅の2倍を使っているため、基準密度より広く、頂点が低く見えることがある。このずれには有限標本の揺れと平滑化の影響が含まれる。精度は正の範囲だけを表示したが、通常の正規カーネルは0より小さい側にも少量の密度を置く。したがって、信用区間はKDEの面積からではなく、元の標本の分位点から計算している。

比較として、通常の tt 法による95%信頼区間は約 [1.704583,1.904306][1.704583,1.904306] mmである。図の縦線はベイズの信用区間だけに絞っているが、数値では両者は近い。ただし解釈は異なる。信用区間は、データを固定したときの母平均に関する事後確率を表す。頻度論の信頼区間の95%は、標本抽出と区間作成を繰り返す手続きの被覆率を表す。

for name, values in {
    "theta": phi[:, 0],
    "precision": phi[:, 1],
    "sigma": 1/np.sqrt(phi[:, 1]),
}.items():
    print(name, np.quantile(values, [0.025, 0.5, 0.975]))
対象 今回の2.5%点 今回の中央値 今回の97.5%点
母平均 θ\theta (mm) 1.708177 1.804611 1.899607
母精度 λ\lambda (mm⁻²) 16.891576 57.898878 129.181660
母標準偏差 σ\sigma (mm) 0.087983 0.131421 0.243313

教科書に記載されたRの結果も比較用に残す。

対象 教科書の2.5%点 教科書の中央値 教科書の97.5%点
母平均 θ\theta 1.707282 1.804348 1.901129
母精度 λ\lambda 17.48020 53.62511 129.20020
母標準偏差 σ\sigma 0.08797701 0.13655763 0.23918408

1,000個程度の標本では、特に裾の分位点に計算上の揺れが残る。これはデータや事前分布が変わったためではない。別計算の一次元数値積分では、母平均の95%等裾信用区間は [1.709248,1.900306][1.709248,1.900306] mmとなる。

また、 σ=1/λ\sigma=1/\sqrt\lambda は減少関数なので、母精度の下側分位点は母標準偏差の上側分位点に対応する。連続分布では、

q0.025(σ)=1q0.975(λ),q0.975(σ)=1q0.025(λ)q_{0.025}(\sigma)=\frac1{\sqrt{q_{0.975}(\lambda)}},\qquad q_{0.975}(\sigma)=\frac1{\sqrt{q_{0.025}(\lambda)}}

である。有限標本の分位点に線形補間を使う場合は、非線形変換との順序により微小な差が出るため、コードでは変換した標本に直接 np.quantile を適用している。

ギブスサンプラーで得られた標本の経験分布は、もとの事後分布の離散近似によく似ている。これは図6.1と図6.3を比較してもわかる。これにより、ギブスサンプラーの手順が p(θ,σ2∣∣y⟩)p(\theta,\sigma^2\mid \ket{y}) を近似する妥当な手段であることが示唆される。

保存した組から、平均・確率・区間を求める

「標本から分布を調べる」とは、具体的には何をすることだろうか。上と同じ実行で、最初の5周を取り出すと次のようになる。最後の列は、知りたい条件を満たしたかを0または1へ変換したものである。

周数 母平均の生成値(mm) 精度の生成値(mm⁻²) 母平均が1.8 mm以下なら1
1 1.819593 90.77722 0
2 1.759013 84.45563 1
3 1.785122 81.38364 1
4 1.815449 64.72204 0
5 1.774141 56.41071 1

母平均の事後平均を知りたければ、第2列を足して5で割る。

1.819593+1.759013+1.785122+1.815449+1.7741415≈1.790663 mm.\frac{1.819593+1.759013+1.785122+1.815449+1.774141}{5} \approx1.790663\ \text{mm}.

一方、母平均が1.8 mm以下である事後確率を知りたければ、最後の列を平均する。これは (0+1+1+0+1)/5=0.6(0+1+1+0+1)/5=0.6 である。 数値を平均すれば期待値の近似、条件を満たす0・1を平均すれば確率の近似 になる。もちろん5個では計算の仕組みを示す程度であり、十分な推測結果とはみなさない。同じ実行の1,000個では、1.8 mm以下のものが454個なので近似値は0.454となる。

ここで、事後密度をもう一度掛けて重み付けする必要はない。ギブス法では、事後確率の高い範囲ほど多く訪れることによって、分布の重みが標本の出現頻度に反映されるからである。格子近似ではあらかじめ並べた候補に重みを付けたが、ギブス法ではその重みに沿うように候補を生成し、保存後は一つずつ同じ重みで集計する。

信用区間も同じ考え方で求める。母平均の列だけを小さい順に並べ、下側の2.5%と上側の2.5%を除いた両端が95%等裾信用区間である。1,000個なら、おおよそ下から25番目と975番目付近になる。ただし実装では分位点の定義に従って隣り合う値を補間するため、単純に二つの行を選ぶだけではない。

こうして母平均だけを集計すると、各行に組み合わさっていた精度の違いをすべて含んだ周辺分布が得られる。 精度を一つに固定した分布を見ているのではない。 逆に「母平均が1.8 mm以下、かつ精度が50以上」の確率を知りたければ、同じ行の二つの条件を同時に満たす割合を数える。母平均の列と精度の列を別々に並べ替えてから組み直すと、この依存関係が失われる。

これらは実際の集計方法である。次節では、依存のある標本をこのように平均してよい理由と、その限界を述べる。

6.5 ギブスサンプラーの一般的な性質

ここからは、未知量が三つ以上ある場合も含めて考える。未知量をひとまとめにした組をベクトル ∣ϕ⟩=(ϕ1,…,ϕp)T\ket{\phi}=(\phi_1,\ldots,\phi_p)^{\mathsf{T}} 、生成したい組の目標密度を p(∣ϕ⟩)p(\ket{\phi}) と書く。この節では記号を短くするため、データを条件とする縦線を省略する。例えば羽虫モデルなら、 ∣ϕ⟩=(θ,σ2)T\ket{\phi}=(\theta,\sigma^2)^{\mathsf{T}} であり、 p(∣ϕ⟩)p(\ket{\phi}) が表すのは事後密度 p(θ,σ2∣∣y⟩)p(\theta,\sigma^2\mid \ket{y}) である。

初期の組 ∣ϕ[0]⟩\ket{\phi^{[0]}} を決めたら、次の順番で一成分ずつ更新する。下付きの番号は「どの未知量か」、角括弧付きの上付き番号は「何周目の値か」を表す。

  1. ϕ1[s]∼p(ϕ1∣ϕ2[s−1],ϕ3[s−1],…,ϕp[s−1])\phi_1^{[s]}\sim p(\phi_1\mid\phi_2^{[s-1]},\phi_3^{[s-1]},\ldots,\phi_p^{[s-1]}) を生成する。
  2. ϕ2[s]∼p(ϕ2∣ϕ1[s],ϕ3[s−1],…,ϕp[s−1])\phi_2^{[s]}\sim p(\phi_2\mid\phi_1^{[s]},\phi_3^{[s-1]},\ldots,\phi_p^{[s-1]}) を生成する。
  3. …\ldots
  4. ϕp[s]∼p(ϕp∣ϕ1[s],ϕ2[s],…,ϕp−1[s])\phi_p^{[s]}\sim p(\phi_p\mid\phi_1^{[s]},\phi_2^{[s]},\ldots,\phi_{p-1}^{[s]}) を生成する。

このアルゴリズムは以下の「独立でない」ベクトルの列を生成する。

∣ϕ[1]⟩=(ϕ1[1],…,ϕp[1])T,∣ϕ[2]⟩=(ϕ1[2],…,ϕp[2])T,⋮∣ϕ[S]⟩=(ϕ1[S],…,ϕp[S])T.\begin{aligned} \ket{\phi^{[1]}}&=(\phi_1^{[1]},\ldots,\phi_p^{[1]})^{\mathsf{T}},\\ \ket{\phi^{[2]}}&=(\phi_1^{[2]},\ldots,\phi_p^{[2]})^{\mathsf{T}},\\ &\vdots\\ \ket{\phi^{[S]}}&=(\phi_1^{[S]},\ldots,\phi_p^{[S]})^{\mathsf{T}}. \end{aligned}

補足:三つ以上の変数でも「手元の最新値」を使う

三つの未知量がある場合、一周の更新で条件に入れる値は次のようになる。

更新する変数 固定して使う残りの変数
ϕ1[s]\phi_1^{[s]} ϕ2[s−1],ϕ3[s−1]\phi_2^{[s-1]},\phi_3^{[s-1]}
ϕ2[s]\phi_2^{[s]} ϕ1[s],ϕ3[s−1]\phi_1^{[s]},\phi_3^{[s-1]}
ϕ3[s]\phi_3^{[s]} ϕ1[s],ϕ2[s]\phi_1^{[s]},\phi_2^{[s]}

すでに更新した値は今回の値、まだ更新していない値は前回の値である。一周を終えてから組を保存すれば、羽虫の例の phi と同じ考え方になる。

次の組を生成するには、直前の組がわかれば十分である。それより前の履歴を追加しても、次の値を生成する規則は変わらない。この性質をマルコフ性と呼び、そのような確率的な列をマルコフ連鎖 (Markov chain) と呼ぶ。

「直前だけでよい」とは、それ以前の値との相関がすべて消えるという意味ではない。現在の状態さえ与えられれば次の値を生成する確率の規則が定まる、という意味である。例えば、今日の位置だけで明日の動き方を決める散歩でも、今日の位置は昨日、一昨日の移動を反映している。同様に、ギブス連鎖の遠く離れた値も相関を持ちうる。

なお、ここでは二種類の依存を区別する必要がある。一つは、同じ行の母平均と精度の関係である。これは同時事後分布が表す推測上の関係なので、正しく再現したい。もう一つは、異なる反復の値同士の関係であり、こちらは乱数の生成方法によって生じる。後者が強いと、保存した個数の割に計算精度が上がりにくくなる。6.6節の自己相関とESSは、この反復間の依存を調べるために使う。

ある条件のもとで(本書で議論するすべてのモデルが満たしている条件である)、以下が成立する。

Pr⁡(∣ϕ[s]⟩∈A)→∫Ap(∣ϕ⟩) dϕ(s→∞).\Pr(\ket{\phi^{[s]}}\in A)\to \int_A p(\ket{\phi})\,d\phi \qquad (s\to\infty).

ここで AA は、関心のあるパラメータの組の範囲である。例えば羽虫モデルでは「母平均が1.9 mm以下となるすべての組」を選べる。左辺は、第 ss 回の組がその範囲に入る確率であり、右辺は目標分布がその範囲に割り当てる確率である。つまり、反復を進めると、現在の組がどの範囲に現れるかという確率が目標に近づく。初期値によって近づく速さは異なりうる。

さらに計算で重要なのが、生成した組に関数 gg を適用し、その結果を平均することで、目標分布の期待値を求められる性質である。必要な条件のもとで、次が成り立つ。

1S∑s=1Sg(∣ϕ[s]⟩)→E⁡[g(∣ϕ⟩)]=∫g(∣ϕ⟩)p(∣ϕ⟩) dϕ(S→∞).(6.1)\frac{1}{S}\sum_{s=1}^S g(\ket{\phi^{[s]}}) \to \operatorname{E}[g(\ket{\phi})] = \int g(\ket{\phi})p(\ket{\phi})\,d\phi \qquad (S\to\infty). \tag{6.1}

これはモンテカルロ近似のように、 {g(∣ϕ[1]⟩),…,g(∣ϕ[S]⟩)}\{g(\ket{\phi^{[1]}}),\ldots,g(\ket{\phi^{[S]}})\} の標本平均で E⁡[g(∣ϕ⟩)]\operatorname{E}[g(\ket{\phi})] を近似できることを意味している。そのため、この近似はマルコフ連鎖モンテカルロ (Markov chain Monte Carlo, MCMC) 近似と呼ばれ、計算手順はMCMCアルゴリズムと呼ばれる。準共役事前分布のもとでの正規モデルでは、式 (6.1) は十分長い連鎖の経験分布によって事後分布を近似する根拠を与える。ただし、この極限の式だけから1,000回で十分だとはいえず、羽虫の例では図と診断によって近似の様子を調べる。特に、

E⁡[θ∣∣y⟩]≈11000∑s=11000θ[s]=1.804,Pr⁡(θ∈[1.71,1.90]∣∣y⟩)≈0.95\begin{aligned} \operatorname{E}[\theta\mid \ket{y}] &\approx \frac{1}{1000}\sum_{s=1}^{1000}\theta^{[s]} =1.804,\\ \Pr(\theta\in[1.71,1.90]\mid \ket{y})&\approx0.95 \end{aligned}

である。次節と、後の数章では、特定の文脈におけるMCMCの実用的な側面について議論する。

補足:「収束」は値が動かなくなることではない

ここには二種類の極限がある。最初の式は、反復番号を大きくしたときの1個の状態の分布が目標分布へ近づくことを述べる。式 (6.1) は、一つの長い連鎖に沿って平均した値が、目標分布の期待値へ近づくことを述べる。後者が積分の計算に使う性質である。

前者をイメージするには、同じ初期値から別々の乱数で多数の連鎖を走らせ、それぞれの「100回目だけ」を集めるとよい。反復番号を100、1,000、10,000と変えたとき、この集まりの分布がどう変わるかを見る話である。一方、後者は、一つの連鎖の1回目から10,000回目までを使い、平均を計算する話である。二つを分けて読むと、 個々の値は動き続けても、その値を集めた割合や平均は安定してくる という意味がわかる。

厳密な定理には条件がある。例えば、目標密度の合計を1に正規化できること、目標分布が確率を与える領域を連鎖が行き来できること、決まった周期での往復が分布の収束を妨げないことなどが関わる。また、式 (6.1) には E⁡[∣g(∣ϕ⟩)∣]<∞\operatorname{E}[\lvert g(\ket{\phi})\rvert]<\infty という条件を置く。これは、平均したい量の絶対値について、期待値が有限であるという意味である。これらは条件の直感的な説明であり、一般の連鎖に対する定理の条件をすべて列挙したものではない。後で計算誤差を正規分布で近似する際にも、追加の条件が必要になる。

例えば目標分布が、 (0,0)(0,0) と (1,1)(1,1) の二つの組にだけ、それぞれ確率1/2を与えるとする。 (0,0)(0,0) から一成分ずつ更新すると、他方が0である限り更新する成分も必ず0なので、永遠に移動できない。完全条件付き分布を使うだけで、どんな分布にも収束するわけではない。この例では目標分布は不変でも、連鎖は二つの状態を行き来できない。

一方、本章の羽虫モデルは θ∈R\theta\in\mathbb R 、 λ>0\lambda>0 の範囲で条件付き密度が正であり、このような分離した支持の問題はない。ただし、移動できることと速く移動できることは別である。次節の混合分布は、その違いを示す。

関数 gg の使い方も具体化しよう。 g(θ)=θg(\theta)=\theta なら標本の平均が事後平均を近似する。 g(θ)=1(θ≤1.9)g(\theta)=1(\theta\le1.9) なら、条件を満たす標本を数えて総数で割ると事後確率を近似する。例えば1,000個のうち975個が条件を満たせば、近似値は0.975である。平均だけでなく、関心のある確率にも同じ仕組みを使える。

パラメータを推測することと、事後分布を計算で近似すること

ここまでには、観測データ、未知のパラメータ、計算のための乱数という三種類の値が登場した。混同しないよう、未知量について何を仮定するかと、その結果をどう計算するかを分けて整理する。まず、ベイズ的な分析では次の二つを決める。

  1. 「モデルの特定」 確率分布の集合 {p(∣y⟩∣ϕ),ϕ∈Φ}\{p(\ket{y}\mid\phi),\phi\in\Phi\} の特定。ある値 ϕ∈Φ\phi\in\Phi のもとでデータの標本分布を表現する。
  2. 「事前分布の特定」 確率分布 p(ϕ)p(\phi) の特定。理想的には、どのようなパラメータの値が標本分布をよく記述するかに関する、誰かの事前の情報を表す。

これらの構成要素が特定化され、データが集められると、事後分布 p(ϕ∣∣y⟩)p(\phi\mid \ket{y}) は完全に定まり、

p(ϕ∣∣y⟩)=p(ϕ)p(∣y⟩∣ϕ)p(∣y⟩)=p(ϕ)p(∣y⟩∣ϕ)∫p(ϕ)p(∣y⟩∣ϕ) dϕp(\phi\mid \ket{y}) = \frac{p(\phi)p(\ket{y}\mid\phi)}{p(\ket{y})} = \frac{p(\phi)p(\ket{y}\mid\phi)}{\int p(\phi)p(\ket{y}\mid\phi)\,d\phi}

という式で与えられる。分母は、ありうるすべてのパラメータの値について分子を積分したものであり、事後密度の合計を1にそろえる。モデル・事前分布・観測データを固定すれば、乱数を生成する前から目標の事後分布は決まっている。そこで次に、この分布の内容を読み取る。

  1. 「事後分布の要約」 事後分布 p(ϕ∣∣y⟩)p(\phi\mid \ket{y}) を記述する。これは関心のある特定の値、たとえば、事後平均、中央値、最頻値、予測確率や信用区間によってなされる。

多くのモデルでは p(ϕ∣∣y⟩)p(\phi\mid \ket{y}) は複雑になり、書き下すのも大変である。このような場合に事後分布を「見てみる」には、 p(ϕ∣∣y⟩)p(\phi\mid \ket{y}) からのモンテカルロ標本を調べるのが有用である。したがって、モンテカルロおよびMCMCサンプリングのアルゴリズムとは、

  • モデルではなく、
  • ∣y⟩\ket{y} と p(ϕ)p(\phi) がもつ情報「以上」のものを生み出すことはなく、
  • p(ϕ∣∣y⟩)p(\phi\mid \ket{y}) を「見る」ための単なる「手段」にすぎない。

たとえば、 p(ϕ∣∣y⟩)p(\phi\mid \ket{y}) からの近似的なモンテカルロ標本 ϕ[1],…,ϕ[S]\phi^{[1]},\ldots,\phi^{[S]} があるとき、これらは p(ϕ∣∣y⟩)p(\phi\mid \ket{y}) を次のようにして記述するのに役立つ。ここでは ϕ\phi を母平均など一つの数値とし、 1(ϕ[s]≤c)1(\phi^{[s]}\le c) は「条件を満たせば1、満たさなければ0」とする関数である。したがって、2行目の左辺は条件を満たす標本の割合になる。

1S∑ϕ[s]≈∫ϕp(ϕ∣∣y⟩) dϕ,1S∑1(ϕ[s]≤c)≈Pr⁡(ϕ≤c∣∣y⟩)=∫−∞cp(ϕ∣∣y⟩) dϕ.\begin{aligned} \frac{1}{S}\sum \phi^{[s]} &\approx \int \phi p(\phi\mid \ket{y})\,d\phi,\\ \frac{1}{S}\sum 1(\phi^{[s]}\le c) &\approx \Pr(\phi\le c\mid \ket{y}) = \int_{-\infty}^{c}p(\phi\mid \ket{y})\,d\phi. \end{aligned}

この違いを念頭に、「推定」(estimation) という言葉は ϕ\phi に関する推測のために p(ϕ∣∣y⟩)p(\phi\mid \ket{y}) をどのように用いるかを意味するとし、「近似」(approximation) という言葉は積分を近似するモンテカルロ法の使用を指すのに使う、とすると都合がよい。

補足:データを増やすことと、乱数を増やすことを分ける

同じ9匹のデータと同じ事前分布を使う限り、母平均の事後分布は同じである。乱数を1,000個から10,000個へ増やしても、母平均そのものについての情報が10倍になるわけではない。変わるのは、その事後分布を計算でどれだけ細かく調べられるかである。

ここでは「母平均」と「事後平均」という似た名前を区別しよう。 母平均 θ\theta は、羽虫の集団について知りたい未知量 である。一方、 事後平均 m=E[θ∣∣y⟩]m=E[\theta\mid \ket{y}] は、母平均の事後分布全体を平均した一つの要約値 である。今回の mm は数値積分で約1.804687 mmと求まるが、一般には計算しにくいため、生成した値の平均で近似する。

m^S=θ[1]+⋯+θ[S]S≈m=E[θ∣∣y⟩].\widehat m_S=\frac{\theta^{[1]}+\cdots+\theta^{[S]}}{S} \approx m=E[\theta\mid \ket{y}].

固定したデータについては目標の mm は一つに定まる。しかし、乱数を引き直すと生成値が変わり、計算した m^S\widehat m_S も少し変わる。この 計算結果のばらつき がMCSE(モンテカルロ標準誤差)である。例えば独立な標本を100個発生させて平均を求める計算を、乱数だけを変えて何度も繰り返すと、平均の計算結果が何個も得られる。その結果同士の標準偏差を考えている。

比べる量 何のばらつきか この例での意味
母平均の事後標準偏差 事後分布における θ\theta の値の広がり 未知の母平均について、どの程度の幅を残して考える必要があるか
事後平均のMCSE 乱数で計算した m^S\widehat m_S の、実行ごとの広がり 同じ事後平均 mm を、どの程度の計算誤差で求められるか

独立な事後標本を SS 個使う場合、平均を取ると分散は元の 1/S1/S 、標準偏差は 1/S1/\sqrt S になる。したがって、

MCSE⁡(m^S)=SD⁡(θ∣∣y⟩)S.\operatorname{MCSE}(\widehat m_S) =\frac{\operatorname{SD}(\theta\mid \ket{y})}{\sqrt S}.

MCSEは、今回の実行で生じた誤差そのものや、誤差の上限ではない。同じ条件で計算を繰り返したときの揺れの大きさである。また、相関があるギブス標本ではこの式をそのまま使えないため、6.6節で相関を考慮した求め方を説明する。

数値積分による母平均の事後標準偏差は約0.047882 mmである。もし独立な事後標本を使えるなら、事後平均のMCSEは次のようになる。

独立な標本数 SS 母平均の事後標準偏差(mm) 事後平均を計算するMCSE(mm)
100 0.047882 0.004788
1,000 0.047882 0.001514
10,000 0.047882 0.000479

例えば S=100S=100 なら 0.047882/100=0.00478820.047882/\sqrt{100}=0.0047882 mm、 S=10,000S=10{,}000 なら 0.047882/10,000=0.000478820.047882/\sqrt{10{,}000}=0.00047882 mmである。乱数を100倍にすると、平均の計算結果のばらつきは10分の1になる。

次の図では、 計算量を増やすと、「未知の母平均の不確かさ」と「平均を求める計算誤差」のどちらが減るか を見る。横軸の SS はコンピュータで発生させる事後標本数であり、観測した羽虫の数ではない。観測数 n=9n=9 は、図のどの位置でも同じである。横軸は100→1,000→10,000を等間隔に置く対数目盛である。

補助図 乱数を増やすと、平均の計算誤差が減る。上:母平均の事後標準偏差は一定。下:事後平均のMCSEは減少。羽虫9匹のデータを固定し、独立な事後標本を仮定した理論値。下段の縦軸は上段の10倍に拡大。

上段は、左から右へ進んでも0.047882 mmのままである。 新しい羽虫を観測していないので、母平均について新たな情報は加わらない。図6.3の中段にあった事後分布の山は、計算回数を増やしても目標の形のままであり、幅が0へ縮むわけではない。なお、この0.047882 mmは、個々の羽虫のばらつき σ\sigma ではなく、未知の母平均 θ\theta の事後分布の広がりである。

下段は、0.004788→0.001514→0.000479 mmと下がる。 したがって、乱数を多く発生させるほど、事後分布の中心 m≈1.804687m\approx1.804687 mmを計算で精密に求められる。上下は縦軸の範囲が10倍違うので、図の中の線の高さではなく数値を比べる。例えば S=100S=100 の時点でも、下段の0.004788 mmは上段の0.047882 mmの10分の1である。

ここから得るべき結論は、 事後分布の幅が残ったまま、その中心の計算誤差を小さくできる ということである。今回のギブス標本1,000個で得た平均は約1.804278 mmであり、数値積分の1.804687 mmとの差は約0.000409 mmだった。この小さな差は「分布の中心を近くまで計算できた」ことを表し、「未知の母平均が1.804278 mmから0.000409 mm以内にある」ことを表すのではない。

計算を十分長くしても、今回の母平均の95%等裾信用区間は約1.709〜1.900 mmという幅をもつ。MCSEが小さくなれば、この分布をより正確に要約できるが、母平均についての信用区間をMCSEから作る狭い区間に置き換えてはいけない。例えば「事後平均を0.001 mm程度の標準誤差で計算したい」という目的なら、独立標本を仮定したこの比較では S=1,000S=1{,}000 のMCSEはまだ大きく、 S=10,000S=10{,}000 ではその目安を下回る。実際のギブス法では、相関と初期値の影響も確認して判断する。

また、事後分布が定まったという記述は、「モデルを改善する必要がなくなった」という意味ではない。ここではモデル・事前・データを固定した後に残る計算問題を切り分けている。モデルが観測現象をうまく表しているかの確認は、別の問いとして残る。

6.6 MCMCの収束診断法

モンテカルロおよびMCMC近似の目的は、パラメータの列 {ϕ[1],…,ϕ[S]}\{\phi^{[1]},\ldots,\phi^{[S]}\} を得て、関心のある gg について

1S∑s=1Sg(ϕ[s])≈∫g(ϕ)p(ϕ) dϕ\frac{1}{S}\sum_{s=1}^S g(\phi^{[s]}) \approx \int g(\phi)p(\phi)\,d\phi

という近似が十分な精度で成り立つようにすることである。例えば、母平均を求めたいなら生成した値を平均し、ある範囲の確率を求めたいならその範囲に入った割合を数える。いずれも、標本が目標分布の各領域を適切な割合で訪れていることが大切になる。

ここでは、目標分布から互いに独立に生成する方法を独立MCと呼ぶ。独立MCでは、各回の値は最初から目標分布に従い、直前に何を生成したかにも左右されない。一方、適当に決めた初期値から始めるMCMCでは、初期の値の分布は目標分布と異なる場合がある。必要な条件のもとで保証されるのは、反復を十分に進めたときの極限である。

lim⁡s→∞Pr⁡(ϕ[s]∈A)=∫Ap(ϕ) dϕ.\lim_{s\to\infty}\Pr(\phi^{[s]}\in A) =\int_A p(\phi)\,d\phi.

また、目標分布に従う状態から開始したMCMCでも、生成した値同士は一般に独立ではない。この依存によって、たくさん生成しても似た値ばかりになり、分布全体を調べるのに時間がかかることがある。独立MCにも有限個の乱数による揺れはあるが、MCMCではそれに加えて、初期値の影響と値同士の依存を調べる必要がある。

MCとMCMCの違いについて、簡単な例を通じて検討しよう。目標の分布は離散変数 δ∈{1,2,3}\delta\in\{1,2,3\} と連続変数 θ∈R\theta\in\mathbb{R} の2変数の同時確率分布とする。この例における目標の密度は {Pr⁡(δ=1),Pr⁡(δ=2),Pr⁡(δ=3)}=(0.45,0.10,0.45)\{\Pr(\delta=1),\Pr(\delta=2),\Pr(\delta=3)\}=(0.45,0.10,0.45) と、 p(θ∣δ)=dnorm⁡(θ,μδ,σδ)p(\theta\mid\delta)=\operatorname{dnorm}(\theta,\mu_\delta,\sigma_\delta) で定義され、 (μ1,μ2,μ3)=(−3,0,3)(\mu_1,\mu_2,\mu_3)=(-3,0,3) かつ (σ12,σ22,σ32)=(1/3,1/3,1/3)(\sigma_1^2,\sigma_2^2,\sigma_3^2)=(1/3,1/3,1/3) とする。これは三つの正規分布の密度の混合であり、 δ\delta はグループ番号を表す変数で、 (μδ,σδ2)(\mu_\delta,\sigma_\delta^2) は δ\delta 番目のグループの母集団平均と分散だと思える。 θ\theta の周辺密度は p(θ)=∑p(θ∣δ)p(δ)p(\theta)=\sum p(\theta\mid\delta)p(\delta) であり、図6.4に破線で描かれている。三つの最頻値はそれぞれ三つのグループの平均を表していることに注意されたい。

この例では、混合分布の各成分の分散を本文どおり厳密に 1/31/3 とする。付属Rコードは0.33を使い、独立MCを2,000個生成しているが、本ノートでは本文に合わせて独立MCを1,000個とする。混合分布の変数は説明用の無次元量であり、羽虫の長さではない。

例えば、グループ1を引く確率は0.45であり、その場合は平均 −3-3 、標準偏差 1/3≈0.57735\sqrt{1/3}\approx0.57735 の正規分布から値を引く。グループ番号を毎回独立に引き直すので、直前が左の山だったとしても、次に右の山を選ぶ確率は0.45である。全体の密度は、各山の「高さ」だけでなく「面積」が 0.45,0.10,0.450.45,0.10,0.45 になるように混ぜている。

厳密には混合密度の極大点は、ほかの成分の裾の影響で成分平均からわずかにずれることがある。この例では十分分離しており、三つの山は −3,0,3-3,0,3 のごく近くにある。

∣ϕ⟩=(δ,θ)T\ket{\phi}=(\delta,\theta)^{\mathsf{T}} の同時分布から独立なモンテカルロ標本を得るのは容易である。まず δ\delta の値を周辺分布からサンプルし、それを p(θ∣δ)p(\theta\mid\delta) に代入して、そこから θ\theta の値をサンプルすればよい。得られた標本の組 (δ,θ)(\delta,\theta) は同時分布 p(δ,θ)=p(δ)p(θ∣δ)p(\delta,\theta)=p(\delta)p(\theta\mid\delta) からの標本である。 θ\theta の標本の経験分布は周辺分布 p(θ)=∑p(θ∣δ)p(δ)p(\theta)=\sum p(\theta\mid\delta)p(\delta) を近似する。このようにして生成された θ\theta のモンテカルロ標本1,000個のヒストグラムを図6.4に示す。モンテカルロ標本の経験分布が p(θ)p(\theta) によく似ていることがわかる。

図6.4では、既知の目標密度と独立なMC標本のヒストグラムを比べる。棒の高さは密度なので、「高さ×ビン幅」がその区間に入った標本の割合になる。

図6.4 三つの正規分布の混合密度と独立MC標本1,000個。成分の重みは0.45、0.10、0.45、各成分の分散は1/3。

今回のグループ1・2・3の選択割合は46.4%、10.9%、42.7%であり、目標の45%、10%、45%に概ね近い。有限個の独立標本にも揺れはあるので、独立であればヒストグラムが必ず目標と一致する、という意味ではない。

生成のコードは次のとおりである。

weights = np.array([0.45, 0.10, 0.45])
centers = np.array([-3.0, 0.0, 3.0])
component_sd = np.sqrt(1/3)
rng = np.random.default_rng(604)
group = rng.choice(3, size=1000, p=weights)
theta_mc = rng.normal(centers[group], component_sd)

Pythonの添字は0から始まるので、 group=0,1,2 が本文の δ=1,2,3\delta=1,2,3 に対応する。

∣ϕ⟩=(δ,θ)T\ket{\phi}=(\delta,\theta)^{\mathsf{T}} に関するギブスサンプラーも容易に構成できる。ギブスサンプラーでは θ\theta と δ\delta とを、それぞれの完全条件付き分布から交互にサンプルする。 θ\theta の完全条件付き分布はすでに与えてある。 δ\delta の完全条件付き分布もベイズルールを使うことで次のように求められる。

Pr⁡(δ=d∣θ)=Pr⁡(δ=d)×dnorm⁡(θ,μd,σd)∑j=13Pr⁡(δ=j)×dnorm⁡(θ,μj,σj),d∈{1,2,3}.\Pr(\delta=d\mid\theta) = \frac{\Pr(\delta=d)\times\operatorname{dnorm}(\theta,\mu_d,\sigma_d)}{\sum_{j=1}^3\Pr(\delta=j)\times\operatorname{dnorm}(\theta,\mu_j,\sigma_j)}, \qquad d\in\{1,2,3\}.

補足:ギブス法では、なぜ山を飛び越えにくいのか

上の条件付き確率は、単なる混合重み 0.45,0.10,0.450.45,0.10,0.45 ではない。現在の θ\theta が、各成分でどの程度もっともらしいかも掛け合わせる。

分子は「その群を選ぶ重み×その群で現在の値が現れる密度」である。分母では同じ計算を三つの群すべてについて足し、条件付き確率の合計が1になるようにしている。6.2節の格子の重みを合計で割った操作と同じ仕組みである。

例えば θ=0\theta=0 では、共通の正規化定数を除いた重みは、

(0.45e−13.5, 0.10, 0.45e−13.5)\left(0.45e^{-13.5},\ 0.10,\ 0.45e^{-13.5}\right)

である。指数の13.5は、正規密度の 平均との差の二乗/(2×分散)\text{平均との差の二乗}/(2\times\text{分散}) に、 θ=0\theta=0 、左の群の平均 −3-3 、分散 1/31/3 を入れた (0−(−3))2/(2/3)=13.5(0-(-3))^2/(2/3)=13.5 から来る。中央の群では平均との差が0なので指数関数の部分は1になる。三つの重みを合計で割ると、

(Pr⁡(δ=1∣0),Pr⁡(δ=2∣0),Pr⁡(δ=3∣0))≈(0.00000617, 0.99998766, 0.00000617)\bigl(\Pr(\delta=1\mid0),\Pr(\delta=2\mid0),\Pr(\delta=3\mid0)\bigr) \approx(0.00000617,\ 0.99998766,\ 0.00000617)

となる。したがって中央の山にいると、次もほぼ必ずグループ2を選び、そのグループから生成する次の θ\theta も0付近になりやすい。

ただし、この一地点での確率をそのまま「一周あたりの脱出確率」とすることはできない。 θ\theta は毎回変わるためである。例えば θ=1.5\theta=1.5 まで動けば、グループ2と3に対する尤度は同じで、重みは 0.10:0.450.10:0.45 となる。するとグループ3を選ぶ確率は約0.81818まで上がる。問題は、そこまでの移動があまり起こらないことである。

次の図で、現在の位置を横にたどり、次に選ぶ群の確率がどう切り替わるかを確認する。

補助図 現在のθを条件とするグループ選択確率。横軸の各位置で三つの確率の合計は1になる。

各山の近くでは、その山に対応する群をほぼ確実に再選択する。独立MCのように毎回同じ重みで別の群へ飛べるわけではなく、現在の位置が次の選択を強く制約している。

同じ混合分布のギブスサンプラーは次のように実装できる。

rng = np.random.default_rng(1)
theta = 0.0
samples = np.empty(10_000)
groups = np.empty(10_000, dtype=int)
for step in range(len(samples)):
    log_weight = np.log(weights) - 0.5*((theta-centers)/component_sd)**2
    probability = np.exp(log_weight - logsumexp(log_weight))
    group = rng.choice(3, p=probability)
    theta = rng.normal(centers[group], component_sd)
    samples[step], groups[step] = theta, group

標準偏差は全成分で共通なので、条件付き確率の正規化に際して正規密度の共通係数を省略できる。成分ごとに標準偏差が違う場合は、この省略をそのまま使うことはできない。

ギブスサンプラーによって得られた θ\theta の標本1,000個のヒストグラムを図6.5の上の図に示す。MCMC標本の経験分布による p(θ)p(\theta) の近似はうまくいっていないことに注意しよう。 θ\theta の値のうち、 −3-3 まわりの値が過小評価されている一方、 +3+3 まわりの値は過大評価されている。では何が問題なのか。下の図に示した θ\theta の値と反復回数のグラフがそれを物語っている。 θ\theta の値はある領域で「詰まって」おり、 μ\mu の値に対応する三つの領域の間を移動することはほとんどない。このような「詰まり」は、連鎖の中で異なる時点の値に強い正の自己相関 (autocorrelation) がある状態として現れる。隣接する値の相関はラグ1の自己相関である。ギブスサンプラーでは、もし θ\theta の値が0に近いならば、次の δ\delta の値は2になりやすい。また δ\delta が2ならば、次の θ\theta の値は0に近くなるだろう。このようにして連鎖の中で隣接した θ\theta の間に高い正の相関が生じるのである。

図6.5では、1,000個の標本を値の順序を無視して集計した上段と、生成順序を残した下段を対にして見る。

図6.5 混合分布のギブス標本1,000個。上は密度ヒストグラム、下は全1,000回のトレース。初期値θ=0、事前の反復除去なし。

今回のグループ割合は21.5%、24.0%、54.5%であり、左の山を十分に訪れていない。グループ変更は999回の遷移のうち15回しかなく、同じ山の中でたくさん生成しても、全体の配分が正しくなるとは限らないことがわかる。

ギブスサンプラーは最終的に p(θ)p(\theta) のよい近似を与えるのではなかったか。それは正しいのだが、「最終的に」という言葉が非常に長い時間を意味することがある。図6.6の上の図は10,000回の反復によるギブスサンプラーによって近似が大きく改善することを示しているが、依然として適切な結果とはいいがたい。

図6.6は図6.5と同じ連鎖を10,000回まで延ばしたものである。密度の縦軸と、トレースの値の縦軸を図6.5とそろえ、配分の変化を比較する。

図6.6 同じギブス連鎖を10,000回まで延長。図6.5の標本を先頭に含む。ヒストグラムとトレースの全標本を使用。

グループ割合は41.09%、10.67%、48.24%となり、この実行では目標に近づいた。しかし、長い滞在が依然として残り、グループ変更は9,999回の遷移のうち63回にとどまる。反復を増やせば任意の時点で必ず誤差が減るという保証はなく、以下の診断を併せて読む必要がある。

ここで「三つの山を訪れたのだから、もう十分ではないか」と思うかもしれない。しかし、左の群を1回、右の群を99回訪れた記録は、両方を訪れていても45%ずつという配分を表していない。そこで、これまでの全標本のうち各群を選んだ割合を、反復の途中ごとに計算してみる。群1なら、

P^S(δ=1)=1S∑s=1S1(δ[s]=1)\widehat P_S(\delta=1)=\frac{1}{S}\sum_{s=1}^S1(\delta^{[s]}=1)

である。次の図は生成時の群番号を使った集計であり、生成された θ\theta の正負などで群を推定し直したものではない。各パネルの点線が目標の群確率、二つの曲線が独立MCとギブス法の累積割合である。独立MCは元の比較と同じ1,000回まで、ギブス法は10,000回までを描く。

補助図 三つの群の累積選択割合。独立MCは1,000個、ギブス法は10,000個の既出の標本を使用。初期部分の除去なし。各群を共通の0〜100%の尺度で比較する。

ギブス法では同じ群に長く留まると、その群の累積割合が上がり続け、別の群の割合は下がる。そのため、途中まで目標に近づいて見えても、その後また離れうる。1,000回の時点の左の群は21.5%、10,000回では41.09%であり、「訪問したか」に加えて「適切な割合で繰り返し訪問できたか」が重要だとわかる。これが、次に自己相関やESSを調べる理由である。

標本の列は、パラメータの候補が並ぶ空間を、一つの点が動き回った記録だと考えられる。目標確率が0.45の領域なら、十分長い記録の約45%でそこを訪れてほしい。単にすべての山へ一度ずつ到着するだけでは、山ごとの確率を近似したことにはならない。

この点から、二つの問題を分けて考えるとわかりやすい。

  1. 初期値の影響 :出発地点に引きずられた状態を抜け、目標分布に近い分布で動くようになっているか。
  2. 領域間の移動の遅さ :異なる山を十分に行き来し、限られた反復数でも各領域の割合を調べられるか。

一つ目に関係する用語が、定常性 (stationarity) と収束である。厳密な定常性とは、連鎖を進めても状態の分布が変わらない性質をいう。ここで期待するのは目標分布を保つ状態であり、値が動かなくなることではない。また、一度密度の高い地点へ到着しただけで定常になったとはいえない。

二つ目は、ミキシング (mixing) の速さに関わる。すでに目標分布に従う状態から始めても、山から山への移動が遅ければ、一回の有限な実行では偏った記録になりうる。中央のグループも目標分布の10%を占めるので、そこへ戻ること自体は正しい。問題は、そこに留まる割合や、左右の山を訪れる割合を十分に近似できているかである。

実際には目標分布の形が未知なので、有限の記録だけから収束を証明することはできない。ただし、前半と後半で値の中心が違う、初期値を変えると別々の山に留まる、といった兆候から、計算がまだ不十分であると気付ける。羽虫モデルでも、最初から「すぐ収束する」と決めつけず、後で複数の連鎖や別の計算法と照合する。

実際に確認する順序。 まずトレースの前半と後半で中心や幅が大きく違わないかを見る。次に、異なる初期値から出発した連鎖が同じ分布を探索しているかを見る。そのうえで、自己相関、ESS、関心のある要約のMCSEを確認する。ヒストグラムは時間順序を捨てるため、それだけでは長期滞在を見落としうる。

初期値の影響を弱めるため、初めの一定回数を除く処理をバーンイン、またはウォームアップの除去と呼ぶ。ただし、「最初の半分を捨てれば収束する」といった一般則はない。ずっと一つの山に閉じ込められている連鎖は、前半を捨てても探索不足が残る。

独立な標本の平均は、どれだけぶれるか

自己相関の影響を調べる準備として、独立な場合の計算誤差を求める。ここから分散の式では、 ϕ\phi を一つの数値として扱う。複数のパラメータがある場合も、母平均や母分散など、調べたい量を一つ選べば同じ議論を使える。

目標分布の平均を ϕ0=E⁡[ϕ]\phi_0=\operatorname{E}[\phi] 、分散を v=Var⁡(ϕ)v=\operatorname{Var}(\phi) 、乱数標本の平均を ϕˉ=S−1∑s=1Sϕ[s]\bar\phi=S^{-1}\sum_{s=1}^S\phi^{[s]} とする。独立な変数の和の分散は、それぞれの分散の和になる。また、値を SS で割ると分散は S2S^2 で割られるので、

Var⁡MC(ϕˉ)=1S2∑s=1SVar⁡(ϕ[s])=SvS2=vS,MCSE(ϕˉ)=vS.\begin{aligned} \operatorname{Var}_{\mathrm{MC}}(\bar\phi) &=\frac1{S^2}\sum_{s=1}^S\operatorname{Var}(\phi^{[s]})\\ &=\frac{Sv}{S^2}=\frac vS,\\ \mathrm{MCSE}(\bar\phi)&=\sqrt{\frac vS}. \end{aligned}

目標分布から生成しているため E⁡[ϕˉ]=ϕ0\operatorname{E}[\bar\phi]=\phi_0 であり、この分散は E⁡[(ϕˉ−ϕ0)2]\operatorname{E}[(\bar\phi-\phi_0)^2] にも等しい。つまり、平均の計算結果が目標平均からずれる大きさを、二乗して平均したものでもある。

適切な正規近似が使えるとき、計算結果を中心とした ϕˉ±2 MCSE(ϕˉ)\bar\phi\pm2\,\mathrm{MCSE}(\bar\phi) は、目標平均 ϕ0\phi_0 を約95%の割合で含む区間になる。この95%は、観測データを固定し、別の乱数で計算を繰り返したときの割合である。標本数を4倍にするとMCSEは半分になるが、未知のパラメータ自身の不確実性が半分になるわけではない。

補足:ここで確率的に揺れているのは「計算をやり直したときの答え」である

上の Var⁡MC\operatorname{Var}_{\mathrm{MC}} では、観測データも目標分布も固定している。その同じ積分を、別の乱数で何度も近似すると、得られる平均 ϕˉ\bar\phi が少しずつ違う。この計算結果のばらつきがMC分散である。

例えば混合分布では、

E⁡[θ]=0.45(−3)+0.10(0)+0.45(3)=0,Var⁡(θ)=13+0.45×9+0.45×9=8.433333…\begin{aligned} \operatorname{E}[\theta]&=0.45(-3)+0.10(0)+0.45(3)=0,\\ \operatorname{Var}(\theta)&=\frac13+0.45\times9+0.45\times9 =8.433333\ldots \end{aligned}

と厳密に計算できる。分散の最初の 1/31/3 は各群の中のばらつきであり、残る二つの項は群の中心 −3,3-3,3 が全体の平均0から離れていることによるばらつきである。中央の群の中心は0なので、その中心のずれによる寄与は 0.10×02=00.10\times0^2=0 になる。つまり、群の中のばらつきと、群同士の中心の違いを足している。

独立な1,000標本の平均のMCSEは、

8.4333331000≈0.09183\sqrt{\frac{8.433333}{1000}}\approx0.09183

である。今回の独立MC平均は −0.09867-0.09867 であり、0からの差はこのMCSEの約1.07倍である。一方、ギブス標本1,000個の平均は約0.98466であり、独立性を仮定した0.09183をそのまま誤差の物差しに使うのは不適切である。

上の「約95%」という説明は、標本平均に適切な正規近似が使え、標準誤差を十分よく推定できる場合の近似である。有限標本で常に正確な95%被覆を約束するものではない。

相関した標本では、平均との差の積が残る

ここで答えたいのは、 「同じ個数の乱数を平均しているのに、なぜ似た値が続くと計算精度が下がるのか」 という問いである。例えば、混合分布の右の山に長く留まった記録では、正の値を何度も足すため、平均も正の側へずれやすい。左の山に長く留まれば、その逆になる。

以下では、まず二つの標本でこの現象を確かめ、次に一般の個数へ広げる。そのうえで、値同士の関係を「何回離れているか」で整理する自己相関と、平均の計算精度を独立標本の個数に換算するESSへ進む。

まず「どの平均からの差か」を区別する

目標分布の平均を ϕ0\phi_0 、その分散を vv とする。ここでは、すでに目標分布に従う定常な連鎖を考え、 0<v<∞0<v<\infty と仮定する。初期値による偏りをいったん除き、反復間の相関の影響だけを調べるためである。

記号 意味 乱数で計算をやり直すと変わるか
ϕ0=E⁡[ϕ]\phi_0=\operatorname{E}[\phi] 本当に求めたい、目標分布の平均 変わらない
ϕ[s]\phi^{[s]} 第 ss 回に生成する値 変わる
ϕˉ=S−1∑s=1Sϕ[s]\bar\phi=S^{-1}\sum_{s=1}^S\phi^{[s]} 保存した SS 個から計算する平均 変わる
e[s]=ϕ[s]−ϕ0e^{[s]}=\phi^{[s]}-\phi_0 第 ss 回の値と、目標平均との差 変わる

特に、ここでの e[s]e^{[s]} は「今回の標本平均 ϕˉ\bar\phi からの差」ではない。標本平均からの差は足すと必ず0になるが、目標平均からの差は、今回の計算がどちらへずれたかに応じて正にも負にもなる。

∑s=1S(ϕ[s]−ϕˉ)=0,1S∑s=1Se[s]=ϕˉ−ϕ0.\sum_{s=1}^S(\phi^{[s]}-\bar\phi)=0, \qquad \frac1S\sum_{s=1}^S e^{[s]}=\bar\phi-\phi_0.

例えば、目標平均が0なのに生成した値が (1,1)(1,1) だったなら、標本平均は1である。標本平均からの差は (0,0)(0,0) だが、目標平均からの差は (1,1)(1,1) であり、平均しても1のずれが残る。

二つだけ生成する例:同じ側の値が続くと、平均のずれが残る

説明用に、値が −1-1 と +1+1 だけの分布を考える。それぞれの確率が 1/21/2 なので、目標平均は ϕ0=0\phi_0=0 、分散は v=1v=1 である。この分布から二つの値を得る方法を比べよう。

  • 独立に生成する方法 :1個目も2個目も、それぞれ確率 1/21/2 で符号を選ぶ。
  • 同じ符号が続きやすい方法 :1個目は確率 1/21/2 で符号を選ぶ。2個目は確率0.9で1個目と同じ符号、確率0.1で反対の符号にする。

後者でも、2個目が +1+1 になる確率は 0.5×0.9+0.5×0.1=0.50.5\times0.9+0.5\times0.1=0.5 である。したがって、 どちらの方法も、一つ一つの値は正しい目標分布に従う。違うのは二つの値の組み合わせ方である。

次の表は、二つ生成する実験で起こりうる結果をすべて並べたものである。今回は目標平均が0なので、 e[1],e[2]e^{[1]},e^{[2]} は生成した値そのものになる。

生成された組 独立な方法での確率 同じ符号が続きやすい方法での確率 平均 ϕˉ\bar\phi 平均の二乗誤差 (ϕˉ−0)2(\bar\phi-0)^2 積 e[1]e[2]e^{[1]}e^{[2]}
(−1,−1)(-1,-1) 0.25 0.45 −1 1 1
(−1,+1)(-1,+1) 0.25 0.05 0 0 −1
(+1,−1)(+1,-1) 0.25 0.05 0 0 −1
(+1,+1)(+1,+1) 0.25 0.45 1 1 1

上下が一つずつ出れば平均は0になり、ずれが打ち消される。同じ側の値が二つ続けば、平均にも −1-1 または +1+1 のずれが残る。独立な方法では打ち消される確率が0.5だが、同じ符号が続きやすい方法では0.1しかない。

この表の二乗誤差を、各行の確率で重み付けして足すと、

独立な方法:E⁡[(ϕˉ−0)2]=0.25×1+0.25×0+0.25×0+0.25×1=0.5,同じ符号が続きやすい方法:E⁡[(ϕˉ−0)2]=0.45×1+0.05×0+0.05×0+0.45×1=0.9.\begin{aligned} \text{独立な方法:}\quad \operatorname{E}[(\bar\phi-0)^2] &=0.25\times1+0.25\times0+0.25\times0+0.25\times1=0.5,\\ \text{同じ符号が続きやすい方法:}\quad \operatorname{E}[(\bar\phi-0)^2] &=0.45\times1+0.05\times0+0.05\times0+0.45\times1=0.9. \end{aligned}

同じ目標分布から二つずつ生成していても、後者のほうが平均の二乗誤差は大きい。両方法とも、計算を繰り返したときの平均の期待値は0である。それでも後者では、 1回ごとの計算結果が目標平均から大きく離れやすい のである。

なぜ「差の積」が出てくるのか

二つの標本の平均のずれは (e[1]+e[2])/2(e^{[1]}+e^{[2]})/2 である。このずれを二乗すると、普通の二乗の展開によって積 e[1]e[2]e^{[1]}e^{[2]} が現れる。

(ϕˉ−ϕ0)2=(e[1]+e[2]2)2=e2 [1]+e2 [2]+2e[1]e[2]4,E⁡[(ϕˉ−ϕ0)2]=E⁡[e2 [1]]+E⁡[e2 [2]]+2E⁡[e[1]e[2]]4.\begin{aligned} (\bar\phi-\phi_0)^2 &=\left(\frac{e^{[1]}+e^{[2]}}{2}\right)^2 =\frac{e^{2\,[1]}+e^{2\,[2]}+2e^{[1]}e^{[2]}}{4},\\ \operatorname{E}[(\bar\phi-\phi_0)^2] &=\frac{\operatorname{E}[e^{2\,[1]}]+\operatorname{E}[e^{2\,[2]}] +2\operatorname{E}[e^{[1]}e^{[2]}]}{4}. \end{aligned}

ここでの期待値 E⁡\operatorname{E} は、二つ生成する実験を何度もやり直したときの平均を表す。上の表でいえば、各行の値にその行の確率を掛けて足す操作である。

表の右端を見ると、同じ側へずれた組では積が正、反対側へずれた組では積が負になっている。したがって、積の期待値は次のようになる。

独立な方法:E⁡[e[1]e[2]]=0.25−0.25−0.25+0.25=0,同じ符号が続きやすい方法:E⁡[e[1]e[2]]=0.45−0.05−0.05+0.45=0.8.\begin{aligned} \text{独立な方法:}\quad \operatorname{E}[e^{[1]}e^{[2]}] &=0.25-0.25-0.25+0.25=0,\\ \text{同じ符号が続きやすい方法:}\quad \operatorname{E}[e^{[1]}e^{[2]}] &=0.45-0.05-0.05+0.45=0.8. \end{aligned}

どちらも E⁡[e2 [1]]=E⁡[e2 [2]]=1\operatorname{E}[e^{2\,[1]}]=\operatorname{E}[e^{2\,[2]}]=1 なので、二乗誤差はそれぞれ (1+1+2×0)/4=0.5(1+1+2\times0)/4=0.5 と (1+1+2×0.8)/4=0.9(1+1+2\times0.8)/4=0.9 になる。表から直接計算した答えと一致した。

これが「平均との差の積が残る」の意味である。 独立なら、積が毎回0になるのではなく、積を期待値で平均したときに0になる。 一方、同じ側へのずれが続きやすいと、正の積が多くなり、期待値を取っても正の値が残る。

一般にも、独立なら期待値を分けられるので、

E⁡[e[1]e[2]]=E⁡[e[1]]E⁡[e[2]]=0×0=0\operatorname{E}[e^{[1]}e^{[2]}] =\operatorname{E}[e^{[1]}]\operatorname{E}[e^{[2]}]=0\times0=0

である。依存する場合は、 E⁡[e[1]]=E⁡[e[2]]=0\operatorname{E}[e^{[1]}]=\operatorname{E}[e^{[2]}]=0 であっても、このように積の期待値を分けることは一般にはできない。

この「それぞれの平均との差の積の期待値」に付いている名前が、共分散である。

Cov⁡(ϕ[s],ϕ[u])=E⁡[(ϕ[s]−ϕ0)(ϕ[u]−ϕ0)]=E⁡[e[s]e[u]].\operatorname{Cov}(\phi^{[s]},\phi^{[u]}) =\operatorname{E}\left[(\phi^{[s]}-\phi_0)(\phi^{[u]}-\phi_0)\right] =\operatorname{E}[e^{[s]} e^{[u]}].

共分散が正なら同じ側へのずれが強く、負なら反対側へのずれが強く表れる。上の二値の例では、共分散はそのまま「正の積と負の積の、確率で重み付けした差」になっている。

二つから SS 個へ:異なる時点の組をすべて足す

今度は標本数を増やす。3個なら、二乗の展開は次のようになる。

(e[1]+e[2]+e[3])2=e2 [1]+e2 [2]+e2 [3]+2e[1]e[2]+2e[1]e[3]+2e[2]e[3](e^{[1]}+e^{[2]}+e^{[3]})^2=e^{2\,[1]}+e^{2\,[2]}+e^{2\,[3]}+2e^{[1]}e^{[2]}+2e^{[1]}e^{[3]}+2e^{[2]}e^{[3]}

右辺には、自分自身との積が3個と、異なる時点同士の積が3組ある。それぞれの異なる組に2が付くのは、例えば e[1]e[2]e^{[1]}e^{[2]} と e[2]e[1]e^{[2]}e^{[1]} が両方現れるためである。 SS 個の場合も、同じ数え方を使う。

Var⁡MCMC(ϕˉ)=E⁡[(ϕˉ−ϕ0)2]=1S2E⁡[(∑s=1Se[s])2]=1S2{∑s=1SE⁡[e2 [s]]+2∑1≤s<u≤SE⁡[e[s]e[u]]}=vS+2S2∑1≤s<u≤SCov⁡(ϕ[s],ϕ[u]).\begin{aligned} \operatorname{Var}_{\mathrm{MCMC}}(\bar\phi) &=\operatorname{E}[(\bar\phi-\phi_0)^2]\\ &=\frac1{S^2}\operatorname{E}\left[\left(\sum_{s=1}^S e^{[s]}\right)^2\right]\\ &=\frac1{S^2}\left\{\sum_{s=1}^S\operatorname{E}[e^{2\,[s]}] +2\sum_{1\le s<u\le S}\operatorname{E}[e^{[s]} e^{[u]}]\right\}\\ &=\frac vS+\frac2{S^2}\sum_{1\le s<u\le S}\operatorname{Cov}(\phi^{[s]},\phi^{[u]}). \end{aligned}

この式は、次のように読めばよい。

  • 最初の項 v/Sv/S :各値それ自体のばらつきによる部分である。 E⁡[e2 [s]]=v\operatorname{E}[e^{2\,[s]}]=v が SS 個あるので、 Sv/S2=v/SSv/S^2=v/S になる。独立な場合にも残る。
  • 後ろの項 :異なる時点の値が一緒にずれる影響である。 1≤s<u≤S1\le s<u\le S は、反復番号の小さいほうを先にして、すべての組を一度ずつ数えるという意味である。

教科書のように ∑s≠u\sum_{s\ne u} と書く場合は、両方向の組を別々に数えるので、外の2が不要になる。同じ内容を別の数え方で書いているだけである。

したがって、共分散の和が正なら、独立な場合より平均の分散が大きくなる。ただし、MCMCの相関は常に正とは限らず、負の共分散が平均の分散を小さくする場合もある。また、相関した方法のほうが「どの1回の実行でも必ず答えが悪い」という意味ではない。比べているのは、実行を繰り返したときのばらつきである。

自己相関:何回離れても、一緒にずれやすいか

すべての組の共分散を別々に眺めると、標本数が増えるほど見通しが悪くなる。そこで、組を 反復番号の差 でまとめる。この差をラグと呼ぶ。ラグ1は隣同士、ラグ10は10回離れた値同士である。ラグは値の差でも、最初の何回を除くかという指定でもない。

ここから ss は反復番号、 tt はラグを表す。定常な連鎖では、 ss 回目と s+ts+t 回目の共分散は出発時点 ss によらず、ラグ tt で決まる。さらに、共分散を各値の分散 vv で割って、単位に左右されない尺度にする。

ρt=Cov⁡(ϕ[s],ϕ[s+t])v,Cov⁡(ϕ[s],ϕ[s+t])=vρt.\rho_t =\frac{\operatorname{Cov}(\phi^{[s]},\phi^{[s+t]})}{v}, \qquad \operatorname{Cov}(\phi^{[s]},\phi^{[s+t]})=v\rho_t.

これがラグ tt の自己相関である。通常の相関係数の分母は二つの標準偏差の積だが、ここでは両方とも v\sqrt v なので、積が vv になる。例えば単位をmmからcmへ変えると、共分散も分散も 1/1001/100 になるため、比である自己相関は変わらない。

自己相関が正なら、離れた二つの値にも同じ側へのずれが残る。0に近ければ、この積で測った関係は弱い。負なら反対側へのずれが強い。なお、相関が0であることだけでは、独立であるとは限らない。

先ほどの「確率0.9で同じ符号を続ける」方法を繰り返すと、ラグ1の自己相関は 0.8/1=0.80.8/1=0.8 である。ラグ2についても確かめよう。2回先で同じ符号になるのは、「2回とも符号を保つ」か「2回とも反転する」場合である。

P(2回先も同じ符号)=0.92+0.12=0.82,P(2回先は反対の符号)=2×0.9×0.1=0.18,ρ2=0.82×1+0.18×(−1)=0.64.\begin{aligned} P(\text{2回先も同じ符号})&=0.9^2+0.1^2=0.82,\\ P(\text{2回先は反対の符号})&=2\times0.9\times0.1=0.18,\\ \rho_2&=0.82\times1+0.18\times(-1)=0.64. \end{aligned}

つまり、この例では隣同士だけでなく、2回離れても関係が残る。「同じ符号になる確率0.9」と「相関係数0.8」は別の量であることにも注意しよう。

同じラグの組を数えると、平均の分散を整理できる

S=4S=4 の場合を表にすると、組の数え方がわかる。表の (1,2)(1,2) などは、値そのものではなく反復番号の組を表す。

ラグ tt 対応する反復番号の組 組の数 S−tS-t そのラグの共分散の合計
1 (1,2),(2,3),(3,4)(1,2),(2,3),(3,4) 3 3vρ13v\rho_1
2 (1,3),(2,4)(1,3),(2,4) 2 2vρ22v\rho_2
3 (1,4)(1,4) 1 vρ3v\rho_3

一般にも、ラグ tt の組は (1,1+t)(1,1+t) から (S−t,S)(S-t,S) までの S−tS-t 個である。したがって、先ほどの共分散の合計をラグごとにまとめ直せる。

Var⁡(ϕˉ)=vS+2S2∑t=1S−1(S−t)vρt=vS[1+2∑t=1S−1(1−tS)ρt]\begin{aligned} \operatorname{Var}(\bar\phi) &=\frac vS+\frac2{S^2}\sum_{t=1}^{S-1}(S-t)v\rho_t\\ &=\frac vS\left[1+2\sum_{t=1}^{S-1} \left(1-\frac tS\right)\rho_t\right] \end{aligned}

2行目では、全体から v/Sv/S をくくり出した。その結果、組の数 S−tS-t は (S−t)/S=1−t/S(S-t)/S=1-t/S という重みになっている。遠いラグほど組が少ないことを反映した重みである。 角括弧全体は、独立な場合の平均の分散を何倍にするか を表す。すべての ρt\rho_t が0なら角括弧は1となり、 v/Sv/S に戻る。

先ほどの二値の連鎖で、今度は3個を平均しよう。 v=1v=1 、隣同士の2組は相関0.8、2回離れた1組は相関0.64なので、

Var⁡(ϕˉ)=3×1+2(0.8+0.8+0.64)32=7.489≈0.83111=13[1+2(23×0.8+13×0.64)].\begin{aligned} \operatorname{Var}(\bar\phi) &=\frac{3\times1+2(0.8+0.8+0.64)}{3^2}\\ &=\frac{7.48}{9}\approx0.83111\\ &=\frac13\left[1+2\left(\frac23\times0.8+\frac13\times0.64\right)\right]. \end{aligned}

独立な3個なら分散は 1/3≈0.333331/3\approx0.33333 である。相関した3個では分散がその約2.49倍、標準誤差は 2.49≈1.58\sqrt{2.49}\approx1.58 倍になる。式の中で足していた共分散が、平均の計算精度をどれだけ下げるかまで数値で確認できた。

この式で扱っている誤差と、初期値の影響は分ける

ここまでの式では、最初から各時点の値が目標分布に従うと仮定した。そのため E⁡[ϕˉ]=ϕ0\operatorname{E}[\bar\phi]=\phi_0 となり、平均の分散と目標平均に対する二乗誤差が一致していた。初期値の影響が残っている場合には、一般に次の二つを考える必要がある。

E⁡[(ϕˉ−ϕ0)2]=Var⁡(ϕˉ)+(E⁡[ϕˉ]−ϕ0)2\operatorname{E}[(\bar\phi-\phi_0)^2] =\operatorname{Var}(\bar\phi) +\left(\operatorname{E}[\bar\phi]-\phi_0\right)^2

例えば、目標平均が0なのに、計算をやり直しても平均の期待値が0.5にずれ、計算結果の分散が0.04だったなら、二乗誤差は 0.04+0.52=0.290.04+0.5^2=0.29 になる。標準誤差 0.04=0.2\sqrt{0.04}=0.2 だけでは、中心が0.5ずれている影響を表せない。したがって、相関を考慮したMCSEを計算することと、初期値の影響や探索不足を調べることの両方が必要になる。

手元の列から自己相関を推定する

ここまでの ρt\rho_t は、生成方法が決める理論上の自己相関だった。しかし、実際にはその値も、目標平均 ϕ0\phi_0 も普通はわからない。そこで、保存した一つの列から計算できる値で置き換える。

以下でも、同じ標本を ϕ[1],…,ϕ[S]\phi^{[1]},\ldots,\phi^{[S]} と書く。目標平均の代わりに標本平均 ϕˉ\bar\phi を使い、期待値の代わりに観測された組の積を平均する。教科書の標本自己相関関数(ACF)は、次の式である。

acf⁡t(ϕ)=1S−t∑s=1S−t(ϕ[s]−ϕˉ)(ϕ[s+t]−ϕˉ)1S−1∑s=1S(ϕ[s]−ϕˉ)2.\operatorname{acf}_t(\phi) = \frac{\frac{1}{S-t}\sum_{s=1}^{S-t}(\phi^{[s]}-\bar\phi)(\phi^{[s+t]}-\bar\phi)}{\frac{1}{S-1}\sum_{s=1}^{S}(\phi^{[s]}-\bar\phi)^2}.

分子は「ラグ tt の組の、平均との差の積を平均したもの」、分母は「列全体の標本分散」である。理論上の ρt=Cov⁡/v\rho_t=\operatorname{Cov}/v に対応している。ただし、ここでは未知の値を手元の列で推定しているので、理論上の自己相関と完全に一致するわけではない。

四つの値を一つずらして、実際に計算する

小さな列 (1,1,3,3)(1,1,3,3) でラグ1を計算する。平均は ϕˉ=2\bar\phi=2 なので、平均との差は (−1,−1,1,1)(-1,-1,1,1) である。この列を一つずらして、重なる3組を掛け合わせる。

反復番号の組 前の値のずれ 次の値のずれ 積
(1,2)(1,2) −1 −1 1
(2,3)(2,3) −1 1 −1
(3,4)(3,4) 1 1 1
分子=1−1+14−1=13,分母=(−1)2+(−1)2+12+124−1=43,acf⁡1=1/34/3=0.25.\begin{aligned} \text{分子}&=\frac{1-1+1}{4-1}=\frac13,\\ \text{分母}&=\frac{(-1)^2+(-1)^2+1^2+1^2}{4-1}=\frac43,\\ \operatorname{acf}_1&=\frac{1/3}{4/3}=0.25. \end{aligned}

分子の分母 4−14-1 は「ラグ1の組が3組」、分母の分母 4−14-1 は「標本分散で自由度を1減らす」という別の理由から現れる。ラグ2なら、分子では組の数 4−2=24-2=2 で割るが、分母の標本分散は変わらない。

同じ四つの値を (1,3,1,3)(1,3,1,3) と並べ替えると、平均と標本分散は変わらない。一方、隣同士の積はすべて −1-1 なので、 acf⁡1=−1/(4/3)=−0.75\operatorname{acf}_1=-1/(4/3)=-0.75 になる。 ヒストグラムでは同じデータでも、時間順序を見ると違いがわかる。 ただし、4個は計算の仕組みを学ぶための例であり、この短さで生成方法の相関を正確に推定できるという意味ではない。

Pythonで自己相関を計算する

本ノートの標本自己相関は、上に掲載した教科書の式をそのまま使い、ラグ0だけは1と定義する。ライブラリによって分母に SS を使うか S−tS-t を使うかなどが異なるので、同じ列でも末尾の桁は一致しない場合がある。教科書が言及するRの acf の既定推定量も、この表示式と正規化が完全には同じでない。

また、理論上の相関係数は −1-1 から1の範囲にあるが、この標本ACFの式は分子と分母の割り方が違うため、有限な列ではその範囲に必ず収まるとは限らない。特に大きなラグでは使える組が少なく、推定が不安定になる。ラグ0は自分自身との相関として1に設定する。

from ch6_examples import acf

rho = acf(samples, max_lag=100)
print(rho[10], rho[50])

ここで samples は6.6節の混合分布ギブス標本である。コードを独立したファイルから実行する場合は、そのファイルを output/ に置くと ch6_examples を読み込める。

次の図では、 「何回離れると、同じ側へずれる関係が弱くなるか」 を読む。横軸はラグ、縦軸は標本ACFである。横軸のラグ10にある点は、10番目の標本の値ではなく、 (1,11),(2,12),…(1,11),(2,12),\ldots の組から推定した相関を表す。混合分布の独立MC、同じ分布のギブス法、羽虫モデルのギブス法を比較しよう。

補助図 標本自己相関の比較。混合分布のギブスは10,000個、独立MCと羽虫の母平均は各1,000個。ラグ0は1。

混合分布のギブス連鎖では、ラグ10で0.92866、ラグ50で0.80921と高い相関が残る。つまり、50回離して比べても、目標分布の同じ側へずれる傾向がかなり残っている。一方、独立MCと羽虫の母平均の連鎖では、ACFは0付近で小さく揺れている。独立MCでも推定値がぴったり0にならないのは、有限個の値から推定しているためである。ただし、小さい自己相関だけで未訪問の山の存在を否定することはできない。

教科書のRによる計算でも、混合分布の10,000個の標本でラグ10が0.93、ラグ50が0.812であり、同じ傾向が見られた。このような長く残る正の相関が、平均の分散の式で多数の共分散を足し上げる原因になる。

ESS:平均の精度を、独立標本の個数に換算する

ACFからは相関の残り方がわかる。次に知りたいのは、 「結局、この列の平均は、独立な何個分の平均と同じくらい正確なのか」 ということである。この問いに答える量が、有効サンプルサイズ(ESS)である。

独立な標本を mm 個平均したとき、分散は v/mv/m だった。そこで、MCMCの平均の分散と同じになるような個数 mm を考え、その値を SeffS_{\mathrm{eff}} と呼ぶ。

Var⁡MCMC[ϕˉ]=vSeff,Seff=vVar⁡MCMC(ϕˉ).\operatorname{Var}_{\mathrm{MCMC}}[\bar\phi] = \frac{v}{S_{\mathrm{eff}}}, \qquad S_{\mathrm{eff}}=\frac{v}{\operatorname{Var}_{\mathrm{MCMC}}(\bar\phi)}.

先ほどの二値の連鎖を3個平均した例では、 v=1v=1 、平均の分散が約0.83111なので、 Seff=1/0.83111≈1.20S_{\mathrm{eff}}=1/0.83111\approx1.20 である。つまり、3個保存していても、平均の精度は独立な約1.2個分に相当する。個数の形で表しているが、分散の比から決まるため整数である必要はない。

一般にも、先ほどの平均の分散の式を代入すれば、定常な連鎖における有限の SS に対して、

Seff=S1+2∑t=1S−1(1−t/S)ρtS_{\mathrm{eff}} =\frac{S}{1+2\sum_{t=1}^{S-1}(1-t/S)\rho_t}

となる。分母は、独立な場合に比べた分散の倍率である。例えば、その倍率が10なら、保存数1,000個の平均の精度は独立な100個分に相当する。

長い連鎖では、相関の和で近似する

標本数 SS が、相関が残るラグに比べて十分大きいとする。この場合、相関が無視できない範囲では t/St/S が小さいため、重み 1−t/S1-t/S を約1とみなせる。さらに自己相関の絶対値の和が有限なら、大きな SS で分母を次の量に近似できる。

τint=1+2∑t=1∞ρt,Var⁡MCMC(ϕˉ)≈vSτint,Seff≈Sτint.\begin{aligned} \tau_{\mathrm{int}}&=1+2\sum_{t=1}^{\infty}\rho_t,\\ \operatorname{Var}_{\mathrm{MCMC}}(\bar\phi)&\approx\frac vS\tau_{\mathrm{int}},\\ S_{\mathrm{eff}}&\approx\frac{S}{\tau_{\mathrm{int}}}. \end{aligned}

τint\tau_{\mathrm{int}} は、積分自己相関時間と呼ばれる。ここでは 「長い連鎖で、平均の分散が独立な場合の何倍になるか」 と読むとよい。時計で測る時間ではない。以下ではこの量が正で有限な場合を考える。3個のような短い列には、この近似をそのまま当てはめず、上の有限個の式を使う。

例として、同じ二値の連鎖を長く続けよう。この連鎖では、現在値を xx とすると次の値の条件付き期待値は 0.9x+0.1(−x)=0.8x0.9x+0.1(-x)=0.8x になる。この関係を繰り返すと、ラグごとの自己相関は ρt=0.8t\rho_t=0.8^t となる。ラグ1が0.8、ラグ2が0.64、ラグ3が0.512と弱まる。

相関の和を r=0.8+0.82+0.83+⋯r=0.8+0.8^2+0.8^3+\cdots と置く。 0.8r=0.82+0.83+⋯0.8r=0.8^2+0.8^3+\cdots を引くと、 0.2r=0.80.2r=0.8 なので r=4r=4 である。したがって、

τint=1+2×4=9,S=1000 ⟹ Seff≈10009≈111.11.\tau_{\mathrm{int}}=1+2\times4=9, \qquad S=1000\ \Longrightarrow\ S_{\mathrm{eff}}\approx\frac{1000}{9}\approx111.11.

1,000個保存しても、平均の精度は独立な約111個分になる。この例は相関の形がわかっているので和を計算できたが、実際には ρt\rho_t 自体を推定する必要がある。特に、大きなラグでは標本ACFに雑音が多くなるため、すべてのラグの推定値を単純に足すとうまくいかない。実用的なESSの計算では、相関の和をどこで打ち切るかなどの処理も行う。StanのESS推定の説明

MCSE:その個数を、平均の誤差の単位に戻す

ESSが同じでも、もとの分布の幅が大きければ平均の計算結果も大きくぶれる。そこで、平均の分散の平方根を取って、もとの変数と同じ単位のMCSEに戻す。

MCSE(ϕˉ)=Var⁡MCMC(ϕˉ)=vSeff.\mathrm{MCSE}(\bar\phi) =\sqrt{\operatorname{Var}_{\mathrm{MCMC}}(\bar\phi)} =\sqrt{\frac{v}{S_{\mathrm{eff}}}}.

実際には、分散 vv とESSを推定した値からMCSEを求める。二値の例では v=1v=1 なので、長い連鎖の近似を使うと次のようになる。

1,000個を生成する方法 平均に対するESS 平均の分散 平均のMCSE
独立に生成 1,000 1/1000=0.0011/1000=0.001 約0.0316
確率0.9で同じ符号を続ける 約111.11 約 1/111.11=0.0091/111.11=0.009 約0.0949

相関によって分散は約9倍、MCSEは約 9=3\sqrt9=3 倍になる。 分散の倍率と、標準誤差の倍率を区別する ことが大切である。保存数1,000をそのまま独立標本数として使うと、MCSEを実際の約3分の1に見積もってしまう。

教科書の混合分布の例に戻ると、Rの coda::effectiveSize による10,000個のギブス標本の推定ESSは18.42だった。目標分布の分散 8.4333338.433333 を用いると、平均のMCSEの目安は、

ギブス標本10,000個:8.433333/18.42≈0.677,独立標本10,000個:8.433333/10000≈0.0290.\begin{aligned} \text{ギブス標本10,000個:}\quad \sqrt{8.433333/18.42}&\approx0.677,\\ \text{独立標本10,000個:}\quad \sqrt{8.433333/10000}&\approx0.0290. \end{aligned}

となる。保存した個数は同じでも、平均を求める計算の精度には大きな差がある。ただし、ESS 18.42は「実際に独立な18点を発見した」という意味でも、「元データが18人分になった」という意味でもない。 この乱数列を平均する計算の精度 を換算している。

また、負の相関で上下のずれが打ち消されると、ESSが保存標本数を超えることもある。推定ESSには、有限標本による揺れも加わる。したがって、保存数を上回ったことだけを理由に計算ミスと判断したり、機械的に保存数へ切り詰めたりはしない。

今回の混合分布の診断結果

ここからは、説明用の二値の連鎖を離れ、三つの山をもつ混合分布の計算結果に戻る。知りたい平均は0だった。次の表では、「保存した個数」「得られた平均」「その平均を求める精度」を分けて読もう。

Pythonでは、ArviZ Statsの配列用APIを使って次のように推定する。入力は「連鎖数×各連鎖の保存標本数」の二次元配列にする。 samples[None, :] は、10,000個の列を「1行、10,000列」にする操作であり、標本を増やしているわけではない。 method="mean" は、標本を平均して期待値を求める計算のESSとMCSEを指定している。

from arviz_stats.base import array_stats

x = samples[None, :]  # 1連鎖×10,000個
print(array_stats.ess(x, method="mean"))
print(array_stats.mcse(x, method="mean"))

このAPIは平均・裾などに対応するESSの種類を区別している。ArviZ Statsの配列API

方法 個数 平均(目標は0) 平均に対する推定ESS 平均の推定MCSE
独立MC 1,000 −0.09867 1,096.70 0.08737
ギブス 1,000 0.98466 9.56 0.80591
ギブス 10,000 0.20643 8.06 1.01337

例えば最終行の平均0.20643は、今回実際に出た計算結果である。一方、MCSE 1.01337は、この種の計算をやり直したときの平均のばらつきを推定したものであり、「今回の答えが1.01337だけ間違っている」という意味ではない。今回は目標平均が既知なので実際のずれは0.20643だとわかるが、普通の問題ではそのずれ自体は未知である。

この行の標本標準偏差は約2.87634である。したがって、表のESSから、

MCSE^(θˉ)≈2.876348.06≈1.013\widehat{\mathrm{MCSE}}(\bar\theta) \approx\frac{2.87634}{\sqrt{8.06}}\approx1.013

と計算でき、表のMCSEと対応する。ここで帽子の記号は、真のMCSEではなく推定値であることを表す。独立な10,000個だと思い込むと 2.87634/10000≈0.02882.87634/\sqrt{10000}\approx0.0288 となり、誤差をかなり小さく見積もってしまう。

独立MCの真の有効標本数は1,000であるが、推定ESSは有限標本の揺れによって1,096.70になっている。また、今回のギブス連鎖では、1,000回から10,000回へ延ばしたときに推定ESSが9.56から8.06へ下がった。この点は、理論上のESSと、その推定値を区別して読む必要がある。

例えば、最初の1,000回から分散の倍率を100と推定すれば、推定ESSは 1000/100=101000/100=10 になる。しかし、10,000回まで見て長い滞在が明らかになり、倍率の推定が1,250へ変われば、推定ESSは 10000/1250=810000/1250=8 になる。今回の数値を説明するための簡略例だが、保存数とともに分母の推定も変わることがわかる。 有限の連鎖から求める推定ESSは、反復回数に対して単調に増えるとは限らない。 長く計算することが無意味なのではなく、短い記録での精度評価が楽観的になりうるということである。

今回の推定値は教科書の18.42と一致しない。乱数列、成分分散の丸め、ESSの推定法が異なるからである。とくにこの連鎖では探索が遅いため、ESSやMCSEの推定自体も安定した保証値として扱えない。見た目のヒストグラムが改善したことと、計算精度が十分に確かめられたことは分けて考える。

求めたい答えが変われば、調べるESSも変わる

ここまでのESSは、値をそのまま平均して E⁡[θ]\operatorname{E}[\theta] を求める計算に対するものだった。一方、右側にいる確率 P(θ>0)P(\theta>0) を知りたいなら、各標本を「正なら1、それ以外なら0」に変え、その列を平均する。

g(θ)={1θ>0,0θ≤0,P^(θ>0)=1S∑s=1Sg(θ[s]).g(\theta)=\begin{cases}1&\theta>0,\\0&\theta\le0,\end{cases} \qquad \widehat{P}(\theta>0)=\frac1S\sum_{s=1}^S g(\theta^{[s]}).

例えば θ\theta の列が (−3,−2,1,4)(-3,-2,1,4) なら、変換後は (0,0,1,1)(0,0,1,1) であり、確率の近似値は 2/4=0.52/4=0.5 である。この確率の計算精度を調べるには、元の数値の列ではなく、0と1に変換した列の自己相関とESSを使う。

説明用に、この0と1の列に対する推定ESSが100、推定確率が0.5だったとする。0と1を取る変数の分散は p(1−p)p(1-p) なので、MCSEの目安は 0.5(1−0.5)/100=0.05\sqrt{0.5(1-0.5)/100}=0.05 、つまり5パーセントポイントである。元の θ\theta に対するESSを代入してよいとは限らない。

このように、「何を平均するか」を関数 gg で表すと、ESSは gg に依存する。平均なら g(θ)=θg(\theta)=\theta 、確率なら上の0と1への変換を使う。分散の推定では二乗に関わる量の誤差も必要になる。同じ連鎖から求める要約であっても、すべてが同じ精度になるわけではない。

対処としては、異なる初期値で繰り返し、より長い計算で探索を確かめること、変数の表し方や更新方法を見直すことがある。この混合分布は独立MCが容易なので、実際の計算では先に示した直接生成を使うのが自然である。ここではギブス法の遅さを学ぶため、あえて両者を比較している。

保存する値を10回に1回だけにする間引きは、保存容量を減らす用途にはなるが、すでに計算した情報を捨てる操作でもある。同じ計算量のまま一般に精度を上げる方法だとは考えない。相関の有無を隠すことより、十分な探索と適切なMCSEの評価が先である。

例えば、10,000回更新して1,000個だけ残しても、更新の計算は10,000回分行っている。残した列の隣同士の相関が小さくなっても、使う個数も減るため、それだけで平均が正確になったとはいえない。また、混合分布の例ではラグ50でも相関が高く、10回ごとに保存すれば独立になるわけでもない。

ギブスサンプリングとMCMC近似の実行および評価については膨大な先行研究がある。実際に経験することに加えて、成書や文献を読んで経験を補うことで、より理解が深まるだろう。はじめに読む文献としてよいものの一つは “Practical Markov chain Monte Carlo” (Geyer, 1992) である。この論文には多くの研究者による議論が掲載されており、MCMC近似に関する様々な視点やテクニックが含まれている。

準共役事前分布のもとでの正規モデルにおけるMCMCの診断

6.4節でギブスサンプラーによって発生させた θ\theta と σ2\sigma^2 のマルコフ連鎖を評価しよう。図6.7では二つのパラメータの値を生成した順に表示しており、羽虫の例では大きな初期値依存や長期滞在は目立たず、自己相関も小さい。これは良好な兆候であるが、トレースだけから収束を証明したわけではない。教科書の列 {θ[1],…,θ[1000]}\{\theta^{[1]},\ldots,\theta^{[1000]}\} におけるラグ1の自己相関は0.031であり、近似という目的にとってはほぼゼロだといえる。この列の有効サンプルサイズをRで計算すると1,000であった。 σ2\sigma^2 の値に関するラグ1の自己相関は0.147、有効サンプルサイズは742であった。独立標本の場合と全く同じとはいえないものの、このモデルと事前分布に対してはギブスサンプラーも十分機能していることがわかる。

図6.7では、図6.5のように一つの領域へ長く留まる様子があるかを確認する。下段は精度の逆数を取り、母分散を描いている。

図6.7 羽虫モデルの母平均θと母分散σ²のトレース。1,000回の更新後の値を全て表示。上下の縦軸は単位が異なる。

今回の1,000回の結果では、母平均のラグ1自己相関は −0.02468、平均に対する推定ESSは約1,050、母分散ではそれぞれ0.23950、約582である。母分散のほうが相関の影響を受けているが、混合分布の極端な長期滞在とは異なる。少なくとも、この例では二つの完全条件付き分布を使ったギブス法が実用的な近似を与えている。

ここで「母分散のESSが約582」とは、生成した σ2\sigma^2 の値を平均して E⁡[σ2∣∣y⟩]\operatorname{E}[\sigma^2\mid \ket{y}] を求める計算が、独立な約582個分に相当するという意味である。羽虫の観測数が582になったという意味ではない。また、母平均と母分散は同じ1,000回の更新で生成しているが、反復間の相関が違うため、ESSも違う。

補足:複数連鎖、R-hat、裾のESSを合わせて見る

単一連鎖だけで判断を終えず、羽虫モデルを異なる四つの初期値から実行する。初期の組 (θ[0],λ[0])\left(\theta^{[0]},\lambda^{[0]}\right) は (1,1)(1,1) 、 (2.6,5)(2.6,5) 、 (1.8,50)(1.8,50) 、 (1.9,400)(1.9,400) とした。各連鎖で5,500回更新し、初めの500回を除き、残る5,000回ずつを診断する。このモデルには提案幅などの調整はないので、ここでのウォームアップは初期部分の除去を意味する。

複数連鎖を比較する代表的な指標が R^\widehat R (R-hat)である。基本的な考え方は、「各連鎖の中のばらつき」と「連鎖同士の位置の違い」を比べることにある。各連鎖が狭い範囲にしか動かず、それぞれ別の山にいるなら、後者が大きくなり、不一致が見つかる。

例えば、ある連鎖が1.70 mm付近、別の連鎖が1.90 mm付近を動き、それぞれの標準偏差が0.01 mm程度なら、連鎖の中ではよく動いて見えても、同じ分布を調べているとは考えにくい。連鎖ごとの平均の差0.20 mmが、各連鎖の幅に比べて大きすぎるからである。R-hatはこの種の不一致を数値で捉える指標であり、1に近いほど連鎖間の違いが目立ちにくい。

ここでは、役割の異なる指標を次のように使う。

指標 主に確かめたいこと 数値の読み方
順位正規化した分割R-hat 初期値の異なる連鎖や、連鎖の前半・後半に食い違いがないか 1から離れるほど不一致を疑う
bulk ESS 分布の中心付近も含め、全体を効率よく探索できているか 順位に変換した値を用いるESS。平均に対するESSとは区別する
tail ESS 分布の端のほうまで効率よく探索できているか ここでは5%点と95%点に対するESSの小さいほう
平均のMCSE 事後平均をどの程度の計算誤差で求められたか 変数と同じ単位で読み、必要な精度と比べる

「分割」とは、各連鎖を前半と後半に分け、それらも別の連鎖のように比較することである。例えば前半が1.7付近、後半が1.9付近なら、全体の平均1.8だけでは隠れる変化を見つけやすくなる。「順位正規化」では、値を全連鎖の中での順位に置き換え、正規分布の尺度へ変換して比較する。これは極端な値に左右されにくくする工夫である。実装では、中央値からの距離を使った比較も行い、連鎖ごとの幅の違いにも注意を払う。StanのR-hatの説明

また、「裾」は分布の小さい側と大きい側の端を指す。中心付近をよく動けていても、端に届く回数が少なければ分位点の計算は不安定になる。今回のtail ESSは5%点と95%点について調べる設定であり、2.5%点や97.5%点など、別の分位点の精度をそのまま表すわけではない。ArviZ StatsのESSの定義と設定

from ch6_examples import experiments
from arviz_stats.base import array_stats

chains = experiments()["chains"]  # (4連鎖, 5000回, 2変数)
theta_chains = chains[:, :, 0]
print(array_stats.rhat(theta_chains, method="rank"))
print(array_stats.ess(theta_chains, method="bulk"))
print(array_stats.ess(theta_chains, method="tail", prob=0.05))
print(array_stats.mcse(theta_chains, method="mean"))
対象 平均 順位正規化R-hat bulk ESS tail ESS 平均のMCSE
母平均 θ\theta (mm) 1.804836 1.000284 19,641 17,585 0.000343
母分散 σ2\sigma^2 (mm²) 0.020666 1.000085 15,990 17,435 0.000104

保存数は 4×5000=20,0004\times5000=20{,}000 個である。母平均のbulk ESS 19,641は、この保存数と比べて効率の低下が小さいことを示す。一方、平均1.804836 mmに対するMCSEは0.000343 mmなので、適切な正規近似が使えるなら、平均の計算誤差のおおよその幅は、

1.804836±2×0.000343=1.804836±0.000686 mm1.804836\pm2\times0.000343 =1.804836\pm0.000686\ \text{mm}

となる。これは事後平均という一つの数値の計算精度であり、母平均 θ\theta 自身の95%信用区間ではない。事後分布における θ\theta の標準偏差は数値積分で約0.04788 mmであり、MCSEとは大きさも役割も異なる。なお、上の表のbulk ESSを機械的に v/ESS\sqrt{v/\mathrm{ESS}} へ代入するのではなく、平均のMCSEは平均に対応する方法で直接計算している。

R-hatが1に近いことは連鎖間の整合を示す一つの兆候である。例えば1.01を超える値は調査の目安になるが、その値以下なら必ず正確という合否判定ではない。複数の連鎖がすべて同じ未発見の領域を見落とすこともありうる。R-hat、ESS、トレース、計算目的に対するMCSEを併せて使う。Stanの事後診断の説明

次の図は、ウォームアップを除いた後の累積平均を比較する。縦軸は個々の標本ではなく、「そこまでの標本を平均した計算結果」である。横軸は初期の動きも読めるよう対数目盛にした。

補助図 初期値の異なる4連鎖の母平均の累積平均。各連鎖で最初の500回を除外。水平破線は独立した一次元数値積分の基準値。

異なる初期値からの累積平均は、基準値1.804687 mm付近へ近づいている。4連鎖を合わせた平均との差は約0.000148 mmであり、平均の推定MCSE 0.000343 mmより小さい。複数連鎖の整合に加え、この小さなモデルでは別の計算法とも比較できたため、実装と数値近似をより確かめやすい。

数値積分の基準値をどう作ったか

直前の図の水平線1.804687 mmは、ギブス標本をさらに長く生成して求めた値ではない。乱数を使わずに事後密度を数値積分して得た、照合用の基準値である。同じ更新式を何度も使うだけでは、その更新式に間違いがあっても見つけにくいため、別の方法で計算している。

考え方は6.2節の格子近似と共通する。格子では、各母平均に対して精度方向の重みを足し合わせた。ここでは精度 λ=1/σ2\lambda=1/\sigma^2 が連続的なので、足し算を積分へ置き換える。つまり、母平均 θ\theta を固定し、組み合わせうる精度をすべて考慮して、母平均だけの密度を作る。

まず精度についての積分を数式で済ませ、残る母平均についての積分をコンピュータで計算する。 a=(ν0+n)/2a=(\nu_0+n)/2 、 b(θ)={ν0σ02+∑i(y(i)−θ)2}/2b(\theta)=\{\nu_0\sigma_0^2+\sum_i(y^{(i)}-\theta)^2\}/2 と置くと、

p(θ∣∣y⟩)∝exp⁡[−(θ−μ0)22τ02]∫0∞λa−1e−b(θ)λ dλ∝exp⁡[−(θ−μ0)22τ02]b(θ)−a.\begin{aligned} p(\theta\mid \ket{y})&\propto \exp\left[-\frac{(\theta-\mu_0)^2}{2\tau_0^2}\right] \int_0^\infty\lambda^{a-1}e^{-b(\theta)\lambda}\,d\lambda\\ &\propto \exp\left[-\frac{(\theta-\mu_0)^2}{2\tau_0^2}\right]b(\theta)^{-a}. \end{aligned}

最後の比例では ∫0∞λa−1e−bλ dλ=Γ(a)/ba\int_0^\infty\lambda^{a-1}e^{-b\lambda}\,d\lambda=\Gamma(a)/b^a を使った。これを θ\theta について数値積分して正規化し、平均・標準偏差・分位点を求めたものである。ガンマ積分の後にも正規事前の因子が残るので、一般には通常の tt 分布そのものではない。

この積分の省略部分も確認しておこう。ガンマ密度は、全範囲で積分すると1になる。

∫0∞baΓ(a)λa−1e−bλ dλ=1.\int_0^\infty\frac{b^a}{\Gamma(a)}\lambda^{a-1}e^{-b\lambda}\,d\lambda=1.

積分の外に出せる係数 ba/Γ(a)b^a/\Gamma(a) を右辺へ移せば、上で使った積分公式になる。今回、 a=(ν0+n)/2a=(\nu_0+n)/2 は母平均によって変わらないため、 Γ(a)\Gamma(a) は比例定数へまとめられる。しかし、 b(θ)b(\theta) は母平均を変えると変わるので、 b(θ)−ab(\theta)^{-a} は残さなければならない。

最後の正規化を具体的に書くと、次の手順になる。母平均だけに依存する未正規化密度を h(θ)h(\theta) と呼ぶ。

h(θ)=exp⁡[−(θ−μ0)22τ02]b(θ)−a,Z=∫−∞∞h(u) du,p(θ∣∣y⟩)=h(θ)Z,E⁡[θ∣∣y⟩]=∫−∞∞θh(θ) dθZ.\begin{aligned} h(\theta)&=\exp\left[-\frac{(\theta-\mu_0)^2}{2\tau_0^2}\right]b(\theta)^{-a},\\ Z&=\int_{-\infty}^{\infty}h(u)\,du,\qquad p(\theta\mid \ket{y})=\frac{h(\theta)}Z,\\ \operatorname{E}[\theta\mid \ket{y}] &=\frac{\int_{-\infty}^{\infty}\theta h(\theta)\,d\theta}{Z}. \end{aligned}

分母は曲線の面積、平均の分子は各位置にその密度の重みを掛けた積分である。格子近似で「全点の重みの合計で割る」とした操作を、連続な変数に対して積分で行っている。この二つの一次元積分を数値計算すると、本文で比較に使った母平均1.804687 mmが得られる。

この方法が簡単なのは、このモデルが小さく、片方の変数を解析的に積分できるためである。より大きなモデルでは同じ照合が容易でないからこそ、複数の診断を組み合わせる必要がある。

6.7 補足と文献案内

「ギブスサンプリング」という用語は Geman and Geman (1984) の画像分析に関する論文において作られた。アルゴリズム自体はそれよりも早期に、空間統計の文脈で見られる。たとえば、Besag (1974)、または Ripley (1979) である。しかし、ベイズ的データ分析におけるギブスサンプラーの一般的な効用は、1980年代末までは十分に認識されていなかった (Gelfand and Smith, 1990)。歴史的経緯については Robert and Casella (2011) を参照されたい。

ギブスサンプラーの収束とMCMC近似の精度を評価することは難しい。何人かの研究者が収束診断法を考案している (Gelman and Rubin, 1992; Geweke, 1992; Raftery and Lewis, 1992) が、これらは問題を明らかにできるだけで、よい近似を保障するものではない (Geyer, 1992)。

再計算するためのファイルと実行方法

分析は output/ch6_examples.py 、図の生成は output/ch6_plots.py 、本文中の計算結果は output/ch6_results.json にまとめた。どちらのPythonファイルも必要なライブラリとバージョンをファイル先頭に記載している。プロジェクトのルートで次を実行する。

uv run output/ch6_examples.py
uv run output/ch6_plots.py
uv run python build.py

分析ではNumPy 2.5.3、SciPy 1.18.1、rdata 1.1.0、ArviZ Stats 1.3.2を使用し、グラフはPlotly 7.1.0で生成する。乱数シードは羽虫の1,000回の連鎖と混合分布のギブス法が1、混合分布の独立MCが604、羽虫の4連鎖が610〜613である。データに欠測除外や集約は行わず、種 Af の9個をすべて使う。

図6.1〜6.7は提供本文と付属 chapter6.R のモデル・データ・計算内容に基づく再現であり、Rで生成した標本や画像の画素をそのまま再現したものではない。レイアウトは比較しやすい縦配置とし、付属コードの精度の表示に合わせた修正、混合分布の分散と標本数の選択は本文中に明記した。補助図9点を含む16点のHTMLは figs/plotly/ch6_*.html に保存される。図の表示にはPlotly.jsのCDNへの接続が必要である。

分析スクリプトでは、観測値、尤度の直接計算と十分統計量による計算、格子確率の正規化、範囲を広げた格子と独立した一次元積分、ギブス標本の平均とMCSEの整合を確認する。追加した四状態の例についても、更新確率の合計が1になることと、目標分布が更新で保たれることを確認する。また、条件付き密度を精度の事後分布で重み付けして積分した結果を、母平均の周辺密度と照合する。本文の表と図は同じ分析関数の結果を用いている。