第7章 多変量正規モデル:平均・相関・欠測値を同時に推測する

これまでは、1人につき一つの値を測るモデルを考えてきた。例えば、テストの点数だけを扱うモデルである。しかし実際には、同じ子供の「指導前の点数」と「指導後の点数」のように、複数の値を組にして測ることが多い。このようなデータを 多変量データ と呼ぶ。

二つの点数を別々に分析すると、「指導前に点数が高い子供は、指導後も高い傾向がある」という関係を取り逃がす。本章の多変量正規モデルは、各項目の平均とばらつきに加えて、この関係も表すモデルである。前半では平均と共分散を同時に推測する方法を学び、後半では、観測した項目を手掛かりに欠測した項目を予測する方法へ進む。

本ノートでは、第7章の節構成と主要な数式に沿いながら、式変形の途中と数値例を補って説明する。逆ウィシャート分布の尺度、欠測の条件、平均の差と個人の差の解釈については、原稿の表記を整理した。補正の一覧は章末に示す。

RのコードはNumPy・SciPyによるPythonへ置き換える。本章は完全条件付き分布からの更新を学ぶ章であり、それを直接実装すると数式と処理の対応がよく分かる。そこで、教科書と同じ準共役モデルのギブス法を使う。

この章で区別したい三つの「ばらつき」

22人の子供のテストについて、「母集団の平均点が何点か」「子供によって何点くらい違うか」「次の子供が何点を取るか」は、別々の問いである。

問い 数式で表す対象 不確実性の意味
母集団の平均点はどこか ∣θ⟩\ket{\theta} 母平均をまだ十分に知らないこと
子供の得点はどの程度散らばるか Σ\boldsymbol{\Sigma} 個人差と、二つの得点の関連
次の子供の得点はどうなるか ∣Y~⟩\ket{\widetilde Y} 個人差に加え、母数を知らないこと

人数が増えると、母平均の場所は詳しく分かるようになる。しかし、人数が増えても子供一人ひとりの個人差が消えるわけではない。この違いが、7.4節の二つの確率を理解する鍵となる。

記号と、読むための前提

記号 意味 形
nn 、 pp 人数、1人について測る変数の数 数
∣y(i)⟩\ket{y^{(i)}} 、 ∣θ⟩\ket{\theta} ii 番目の子供の観測、母平均 p×1p\times1 列ベクトル
Y\mathbf{Y} 第 ii 行に ⟨y(i)∣\bra{y^{(i)}} を並べたデータ n×pn\times p 行列
Σ\boldsymbol{\Sigma} 個人差の共分散行列 p×pp\times p 行列
∣μ0⟩\ket{\mu_0} 、 Λ0\boldsymbol{\Lambda}_0 母平均についての事前平均、事前共分散 ベクトル、行列
Λn\boldsymbol{\Lambda}_n Σ\boldsymbol{\Sigma} を固定したときの母平均の事後共分散 p×pp\times p 行列
S0\mathbf{S}_0 、 Sθ\mathbf{S}_\theta 共分散の事前尺度、残差平方和行列 p×pp\times p 行列

本ノートでは、記号の形だけで「数・ベクトル・行列」のどれかが分かるように、次の規約で書く。

書き方 表すもの 例
細字 スカラー(数) yj(i)y^{(i)}_j 、 θj\theta_j 、 σj,k\sigma_{j,k} 、 nn
ket ∣⋅⟩\ket{\cdot} p×1p\times1 列ベクトル ∣y(i)⟩\ket{y^{(i)}} 、 ∣θ⟩\ket{\theta}
bra ⟨⋅∣\bra{\cdot} 列ベクトルを転置した 1×p1\times p 行ベクトル ⟨y(i)∣\bra{y^{(i)}}
太字の大文字 行列 Y\mathbf{Y} 、 S0\mathbf{S}_0 、 Σ\boldsymbol{\Sigma} 、 Λ0\boldsymbol{\Lambda}_0

実数ベクトルだけを扱うので、bra は ket の単なる転置 ⟨a∣=∣a⟩T\bra{a}=\ket{a}^{\mathsf{T}} であり、複素共役は現れない。したがって、内積 ⟨a∣b⟩\braket{a|b} 、二次形式 ⟨a∣A∣b⟩\bra{a}\mathbf{A}\ket{b} はスカラー、外積 ∣a⟩⟨b∣\ket{a}\bra{b} は行列になる。行列の転置には AT\mathbf{A}^{\mathsf{T}} を使う。

添え字も、位置によって意味を分ける。下付きの j_j はベクトルの第 jj 成分、上付きの (i)^{(i)} は何番目の観測か、上付きの [s]^{[s]} はMCMCの何回目の反復かを表す。例えば y2(i)y^{(i)}_2 は「 ii 番目の子供の2回目の得点」、 ∣θ[s]⟩\ket{\theta^{[s]}} は「 ss 回目の反復で得た母平均ベクトル」である。冪と反復番号が重なるときは、括弧でくくらずに冪を先に書き、わずかな空きをはさんで Σ−1 [s]\boldsymbol{\Sigma}^{-1\,[s]} 、 σ2 [s]\sigma^{2\,[s]} のように書く。角括弧は反復番号にしか使わないので、これで読み違えることはない。行列の成分は細字の小文字 σj,k\sigma_{j,k} で書き、行列式は縦線と紛れないよう det⁡Σ\det\boldsymbol{\Sigma} と書く。

縦線 ∣\mid は「右側の値を与える」、 ∝\propto は「注目する変数に依存しない定数倍を省く」という意味である。観測した数値には小文字 yy 、観測前の確率変数には大文字 YY を使う。データ行列は太字の Y\mathbf{Y} なので、確率変数 ∣Y(i)⟩\ket{Y^{(i)}} とは形で区別できる。

Σ\boldsymbol{\Sigma} と Λ0\boldsymbol{\Lambda}_0 は、同じ大きさの行列でも意味が異なる。例えば、母平均が50点だと正確に分かっていても、子供の得点の標準偏差は10点かもしれない。このとき母平均に関する不確実性はほぼ0だが、個人差の分散は100点²である。

7.1 多変量正規分布の密度関数

例:読解力テスト

22人の子供たちが、特定の指導方法を受ける前と後に読解テストを受けるという例を考える。各生徒 ii にはそれぞれ指導前と指導後の採点を表す二つの値 Y1(i)Y^{(i)}_1 と Y2(i)Y^{(i)}_2 が与えられている。指導前後の得点の組を 2×12\times1 のベクトル ∣Y(i)⟩\ket{Y^{(i)}} で表すことにすると、

∣Y(i)⟩=(Y1(i)Y2(i))=(1回目のテストの得点2回目のテストの得点)\ket{Y^{(i)}}= \begin{pmatrix} Y^{(i)}_1\\ Y^{(i)}_2 \end{pmatrix} = \begin{pmatrix} 1\text{回目のテストの得点}\\ 2\text{回目のテストの得点} \end{pmatrix}

と書ける。関心のある量として、母集団平均 ∣θ⟩\ket{\theta} 、

E[∣Y(i)⟩]=(E[Y1(i)]E[Y2(i)])=(θ1θ2)E\left[\ket{Y^{(i)}}\right]= \begin{pmatrix} E[Y^{(i)}_1]\\ E[Y^{(i)}_2] \end{pmatrix} = \begin{pmatrix} \theta_1\\ \theta_2 \end{pmatrix}

や母集団共分散行列 Σ\boldsymbol{\Sigma} 、

Σ=Cov⁡[∣Y⟩]=(E[Y12]−E[Y1]2E[Y1Y2]−E[Y1]E[Y2]E[Y1Y2]−E[Y1]E[Y2]E[Y22]−E[Y2]2)=(σ12σ1,2σ1,2σ22)\boldsymbol{\Sigma}=\operatorname{Cov}\left[\ket{Y}\right] = \begin{pmatrix} E[Y_1^2]-E[Y_1]^2 & E[Y_1Y_2]-E[Y_1]E[Y_2]\\ E[Y_1Y_2]-E[Y_1]E[Y_2] & E[Y_2^2]-E[Y_2]^2 \end{pmatrix} = \begin{pmatrix} \sigma_1^2 & \sigma_{1,2}\\ \sigma_{1,2} & \sigma_2^2 \end{pmatrix}

を考える。共分散行列の中では、観測番号 (i)^{(i)} を省いて ∣Y⟩=(Y1,Y2)T\ket{Y}=(Y_1,Y_2)^{\mathsf{T}} と書いた。母集団から取り出した1人分の得点を表しており、どの ii でも分布は同じだからである。期待値は、今回の22人だけでなく、対象とする母集団全体で平均した量である。 θ2−θ1\theta_2-\theta_1 は前後の母平均の差を、 ρ1,2=σ1,2/(σ1σ2)\rho_{1,2}=\sigma_{1,2}/(\sigma_1\sigma_2) は前後の得点の関連を表す。ただし、平均が上がった理由が指導だけにあるかどうかは、この二つの量だけでは判断できない。

多変量正規分布の密度関数

∣θ⟩\ket{\theta} と Σ\boldsymbol{\Sigma} はともに、母集団モーメント(moment)、つまり Y1Y_1 と Y2Y_2 の値や、それらの積に関する期待値から作られる量である。このうち、特に ∣θ⟩\ket{\theta} は一次モーメント、 Σ\boldsymbol{\Sigma} は二次の中心モーメントである。

単変量正規分布はその平均と分散 (θ,σ2)(\theta,\sigma^2) を用いて母集団を記述していた。これを一般化すると、多変量正規分布ではベクトル ∣θ⟩\ket{\theta} と行列 Σ\boldsymbol{\Sigma} を用いることができる。多変量正規(multivariate normal)モデルである pp 次元のデータベクトル ∣y⟩\ket{y} が多変量正規分布に従うとき、その密度関数が

p(∣y⟩∣∣θ⟩,Σ)=(2π)−p/2(det⁡Σ)−1/2exp⁡{−12⟨y−θ∣Σ−1∣y−θ⟩}p(\ket{y}\mid\ket{\theta},\boldsymbol{\Sigma}) =(2\pi)^{-p/2}(\det\boldsymbol{\Sigma})^{-1/2} \exp\left\{-\frac12\bra{y-\theta}\boldsymbol{\Sigma}^{-1}\ket{y-\theta}\right\}

で与えられるという。ただし、 ∣y−θ⟩\ket{y-\theta} は差 ∣y⟩−∣θ⟩\ket{y}-\ket{\theta} を一つの ket にまとめた略記であり、

∣y⟩=(y1y2⋮yp),∣θ⟩=(θ1θ2⋮θp),Σ=(σ12σ1,2⋯σ1,pσ1,2σ22⋯σ2,p⋮⋮⋱⋮σ1,pσ2,p⋯σp2)\ket{y}= \begin{pmatrix} y_1\\y_2\\\vdots\\y_p \end{pmatrix},\qquad \ket{\theta}= \begin{pmatrix} \theta_1\\\theta_2\\\vdots\\\theta_p \end{pmatrix},\qquad \boldsymbol{\Sigma}= \begin{pmatrix} \sigma_1^2 & \sigma_{1,2} & \cdots & \sigma_{1,p}\\ \sigma_{1,2} & \sigma_2^2 & \cdots & \sigma_{2,p}\\ \vdots & \vdots & \ddots & \vdots\\ \sigma_{1,p} & \sigma_{2,p} & \cdots & \sigma_p^2 \end{pmatrix}

とする。密度式は、単変量正規分布の式を二つの点で広げたものと読むとよい。単変量の「分散で割った偏差の二乗」 (y−θ)2/σ2(y-\theta)^2/\sigma^2 が ⟨y−θ∣Σ−1∣y−θ⟩\bra{y-\theta}\boldsymbol{\Sigma}^{-1}\ket{y-\theta} に、「標準偏差の逆数」 1/σ1/\sigma が (det⁡Σ)−1/2(\det\boldsymbol{\Sigma})^{-1/2} に置き換わっている。前者は平均からの離れ方を測り、後者は密度全体の積分を1に調整する。

ここで det⁡A\det\mathbf{A} は行列式である。2行2列では、 A=(abcd)\mathbf{A}=\begin{pmatrix}a&b\\c&d\end{pmatrix} に対して det⁡A=ad−bc\det\mathbf{A}=ad-bc と計算する。共分散行列の行列式は、個々の分散だけでなく相関も含めた広がりを表す。一方、逆行列 A−1\mathbf{A}^{-1} は AA−1=Ip\mathbf{A}\mathbf{A}^{-1}=\mathbf{I}_p を満たし、数の逆数に相当する。ただし、行列の各要素を別々に逆数にする操作ではない。 Ip\mathbf{I}_p は対角成分が1、他が0の行列である。

指数の中の ⟨y−θ∣Σ−1∣y−θ⟩\bra{y-\theta}\boldsymbol{\Sigma}^{-1}\ket{y-\theta} は、左から 1×p1\times p の bra、 p×pp\times p の行列、 p×1p\times1 の ket の積である。まず Σ−1∣y−θ⟩\boldsymbol{\Sigma}^{-1}\ket{y-\theta} が p×1p\times1 の ket になり、それと bra の内積をとるので、全体はスカラーとなる。単変量の (y−θ)2/σ2(y-\theta)^2/\sigma^2 も1個の数なので、指数の中身がスカラーであることは密度として当然の要請である。

補足:共分散と相関を数字で読む

共分散は「二つの値が、それぞれの平均から同じ向きにずれるか」を測る量である。例えば、1回目が平均より8点高く、2回目が12点高ければ、偏差の積は 8×12=968\times12=96 点²である。2回目が12点低ければ 8×(−12)=−968\times(-12)=-96 点²となる。この積を母集団で平均したものが共分散である。

ただし、共分散の大きさは単位や尺度に依存する。標準偏差がそれぞれ8点、12点で、共分散が48点²なら、

ρ=488×12=0.5\rho=\frac{48}{8\times12}=0.5

となる。相関は二つの偏差を標準偏差で割った後の関連であり、単位をもたない。相関が0なら共分散は0である。さらに 同時分布が多変量正規分布なら、相関0は独立を意味する 。一般の分布で相関0から独立まではいえない。

補足:密度の中の行列を、手で計算してみる

正の相関をもつ例として、

∣θ⟩=(5050),Σ=(644848144)\ket{\theta}=\begin{pmatrix}50\\50\end{pmatrix},\qquad \boldsymbol{\Sigma}=\begin{pmatrix}64&48\\48&144\end{pmatrix}

を使う。対角の64と144は分散なので、標準偏差は8と12である。行列式と逆行列は、

det⁡Σ=64×144−482=6912,Σ−1=16912(144−48−4864)\det\boldsymbol{\Sigma}=64\times144-48^2=6912, \qquad \boldsymbol{\Sigma}^{-1}=\frac1{6912}\begin{pmatrix}144&-48\\-48&64\end{pmatrix}

となる。二次形式 ⟨d∣Σ−1∣d⟩\bra{d}\boldsymbol{\Sigma}^{-1}\ket{d} は、偏差 ∣d⟩=∣y⟩−∣θ⟩\ket{d}=\ket{y}-\ket{\theta} を単位と相関で調整した距離の二乗であり、マハラノビス距離の二乗と呼ばれる。普通のユークリッド距離の二乗 ⟨d∣d⟩\braket{d|d} の間に、計量として Σ−1\boldsymbol{\Sigma}^{-1} を挟んだものと見ることもできる。

例えば ∣y⟩=(58,62)T\ket{y}=(58,62)^{\mathsf{T}} なら ∣d⟩=(8,12)T\ket{d}=(8,12)^{\mathsf{T}} である。まず行列を ket に作用させ、次に bra との内積をとると、

Σ−1∣d⟩=16912(144⋅8−48⋅12−48⋅8+64⋅12)=16912(576384),⟨d∣Σ−1∣d⟩=8⋅576+12⋅3846912=92166912=43\begin{aligned} \boldsymbol{\Sigma}^{-1}\ket{d} &=\frac1{6912}\begin{pmatrix}144\cdot8-48\cdot12\\-48\cdot8+64\cdot12\end{pmatrix} =\frac1{6912}\begin{pmatrix}576\\384\end{pmatrix},\\ \bra{d}\boldsymbol{\Sigma}^{-1}\ket{d} &=\frac{8\cdot576+12\cdot384}{6912} =\frac{9216}{6912} =\frac43 \end{aligned}

となる。一方、 ∣y⟩=(58,38)T\ket{y}=(58,38)^{\mathsf{T}} なら ∣d⟩=(8,−12)T\ket{d}=(8,-12)^{\mathsf{T}} であり、同じ計算の結果は4になる。二つの点はどちらも ⟨d∣d⟩=82+122=208\braket{d|d}=8^2+12^2=208 であり、普通の距離では平均から同じだけ離れている。しかし正の相関があるため、「両方高い」点の方が自然なのである。密度の比は exp⁡{−(4−4/3)/2}=exp⁡(−4/3)≈0.264\exp\{-(4-4/3)/2\}=\exp(-4/3)\approx0.264 となり、「一方が高く他方が低い」点の密度は約26%になる。

行列式の平方根 (det⁡Σ)1/2(\det\boldsymbol{\Sigma})^{1/2} は、同じ標準化距離の楕円の面積に比例する。広く散らばる分布では、密度を低くしないと全体の積分が1にならない。その調整が密度の (det⁡Σ)−1/2(\det\boldsymbol{\Sigma})^{-1/2} である。なお、連続分布の密度は、その点が生じる確率そのものではない。確率は領域にわたって密度を積分して求める。

次の図では、平均と二つの分散をそろえたまま、相関だけを変える。点は各分布から生成した30人分の仮想的な得点、楕円は50%・95%の確率を含む領域である。

図7.1は三つの異なる二次元正規分布の等高線図と、各分布からの30個のサンプルを示している。各ケースにおいて、 ∣θ⟩=(50,50)T\ket{\theta}=(50,50)^{\mathsf{T}} 、 σ12=64\sigma_1^2=64 、 σ22=144\sigma_2^2=144 としているが、 σ1,2\sigma_{1,2} の値はケースごとに異なる。上段では σ1,2=−48\sigma_{1,2}=-48 、中段では0、下段では48としている(それぞれ、相関係数が −0.5,0,0.5-0.5,0,0.5 となっている)。多変量正規分布の特徴として、各変数 YjY_j の周辺分布は母平均 θj\theta_j 、分散 σj2\sigma_j^2 をもつ単変量正規分布であるという性質がある。また、 σ1,2\sigma_{1,2} は Y1Y_1 と Y2Y_2 の関連性を表す。

図7.1の再現。平均は両方50点、標準偏差は8点と12点。実線は50%、破線は95%確率領域。乱数シード701。

相関が負なら右下がり、0なら軸に沿う楕円、正なら右上がりとなる。1回目だけ、あるいは2回目だけを見た分布は三つの設定で同じである。違うのは、二つを組にしたときの現れ方である。図の配置は読みやすさのため縦に変更し、乱数点はPythonで新たに生成している。

7.2 平均に関する準共役事前分布

ここで知りたいのは、観測した得点から母平均 ∣θ⟩\ket{\theta} をどう更新するかである。まず、個人差の共分散 Σ\boldsymbol{\Sigma} は一時的に分かっているものとして計算する。その後、7.4節で Σ\boldsymbol{\Sigma} 自体も更新する方法につなげる。

母平均の事前分布には、多変量正規分布を使う。

∣θ⟩∼Np(∣μ0⟩,Λ0).\ket{\theta}\sim N_p(\ket{\mu_0},\boldsymbol{\Lambda}_0).

NpN_p は pp 変量正規分布を表し、 ∣μ0⟩\ket{\mu_0} は観測前に考える母平均の中心、 Λ0\boldsymbol{\Lambda}_0 はその中心についての不確実性である。本章では ∣θ⟩\ket{\theta} と Σ\boldsymbol{\Sigma} の事前分布を独立に指定し、 p(∣θ⟩,Σ)=p(∣θ⟩)p(Σ)p(\ket{\theta},\boldsymbol{\Sigma})=p(\ket{\theta})p(\boldsymbol{\Sigma}) とする。

完全条件付き分布 とは、「観測データと、他の未知量の現在の値を与えたときの分布」である。例えば p(∣θ⟩∣Y,Σ)p(\ket{\theta}\mid\mathbf{Y},\boldsymbol{\Sigma}) では、動かすのは ∣θ⟩\ket{\theta} だけである。「準共役」とは、このように片方を固定すると、もう片方の更新後の分布が事前分布と同じ扱いやすい分布族に入ることをいう。

なお、 ∣θ⟩∣Σ∼Np(∣μ0⟩,Σ/κ0)\ket{\theta}\mid\boldsymbol{\Sigma}\sim N_p(\ket{\mu_0},\boldsymbol{\Sigma}/\kappa_0) として二つの母数を事前に結び付ける完全共役モデルもあるが、本章では使わない。本章の Λ0\boldsymbol{\Lambda}_0 は、 Σ\boldsymbol{\Sigma} が変わってもそれに合わせて変える量ではない。

事前分布から、母平均に関係する項を取り出す

まず正規密度の指数を展開する。実数の対称行列 M\mathbf{M} では、一般に ⟨a∣M∣b⟩=⟨b∣MT∣a⟩=⟨b∣M∣a⟩\bra{a}\mathbf{M}\ket{b}=\bra{b}\mathbf{M}^{\mathsf{T}}\ket{a}=\bra{b}\mathbf{M}\ket{a} が成り立つ。量子力学の ⟨a∣M^∣b⟩∗=⟨b∣M^†∣a⟩\bra{a}\hat{M}\ket{b}^{*}=\bra{b}\hat{M}^{\dagger}\ket{a} から、複素共役をとる操作を除いたものである。逆行列 Λ0−1\boldsymbol{\Lambda}_0^{-1} も対称なので、交差項 ⟨θ∣Λ0−1∣μ0⟩\bra{\theta}\boldsymbol{\Lambda}_0^{-1}\ket{\mu_0} と ⟨μ0∣Λ0−1∣θ⟩\bra{\mu_0}\boldsymbol{\Lambda}_0^{-1}\ket{\theta} は同じ数になる。したがって、

⟨θ−μ0∣Λ0−1∣θ−μ0⟩=⟨θ∣Λ0−1∣θ⟩−2⟨θ∣Λ0−1∣μ0⟩+⟨μ0∣Λ0−1∣μ0⟩.\begin{aligned} \bra{\theta-\mu_0}\boldsymbol{\Lambda}_0^{-1}\ket{\theta-\mu_0} &=\bra{\theta}\boldsymbol{\Lambda}_0^{-1}\ket{\theta} -2\bra{\theta}\boldsymbol{\Lambda}_0^{-1}\ket{\mu_0} +\bra{\mu_0}\boldsymbol{\Lambda}_0^{-1}\ket{\mu_0}. \end{aligned}

右辺の最後の項は ∣θ⟩\ket{\theta} を含まない。密度の前に掛かる係数も ∣θ⟩\ket{\theta} に依存しないので、 ∣θ⟩\ket{\theta} に関する分布の形だけを調べる段階では定数倍として省ける。そのことを ∝\propto で表す。

p(∣θ⟩)∝exp⁡{−12⟨θ∣A0∣θ⟩+⟨θ∣b0⟩},A0=Λ0−1,∣b0⟩=Λ0−1∣μ0⟩.(7.1)p(\ket{\theta})\propto \exp\left\{-\frac12\bra{\theta}\mathbf{A}_0\ket{\theta}+\braket{\theta|b_0}\right\}, \qquad \mathbf{A}_0=\boldsymbol{\Lambda}_0^{-1},\quad \ket{b_0}=\boldsymbol{\Lambda}_0^{-1}\ket{\mu_0}. \tag{7.1}

つまり、事前分布から残すのは「 ∣θ⟩\ket{\theta} の二次の項」 ⟨θ∣A0∣θ⟩\bra{\theta}\mathbf{A}_0\ket{\theta} と「一次の項」 ⟨θ∣b0⟩\braket{\theta|b_0} の二つだけである。二次の係数は行列 A0\mathbf{A}_0 、一次の係数はベクトル ∣b0⟩\ket{b_0} であり、記号の形からも区別できる。省いた部分は不要になったのではなく、最後に密度の積分を1にするときの定数へまとめられる。

尤度も、同じ二つの項に整理する

各人の観測は、 ∣θ⟩,Σ\ket{\theta},\boldsymbol{\Sigma} を与えた下で互いに独立とする。そのため、全員の密度を掛けると、指数の中では各人の二次形式が足し合わされる。

p(Y∣∣θ⟩,Σ)=(2π)−np/2(det⁡Σ)−n/2exp⁡{−12∑i=1n⟨y(i)−θ∣Σ−1∣y(i)−θ⟩}.p(\mathbf{Y}\mid\ket{\theta},\boldsymbol{\Sigma}) =(2\pi)^{-np/2}(\det\boldsymbol{\Sigma})^{-n/2} \exp\left\{-\frac12\sum_{i=1}^n\bra{y^{(i)}-\theta}\boldsymbol{\Sigma}^{-1}\ket{y^{(i)}-\theta}\right\}.

標本平均を ∣yˉ⟩=(1/n)∑i=1n∣y(i)⟩\ket{\bar y}=(1/n)\sum_{i=1}^n \ket{y^{(i)}} とする。ここで省略しやすい途中計算を確かめる。各項を展開し、 ∑i∣y(i)⟩=n∣yˉ⟩\sum_i \ket{y^{(i)}}=n\ket{\bar y} を使うと、

∑i=1n⟨y(i)−θ∣Σ−1∣y(i)−θ⟩=∑i=1n⟨y(i)∣Σ−1∣y(i)⟩−2⟨θ∣Σ−1(∑i=1n∣y(i)⟩)+n⟨θ∣Σ−1∣θ⟩=∑i=1n⟨y(i)∣Σ−1∣y(i)⟩−2⟨θ∣nΣ−1∣yˉ⟩+⟨θ∣(nΣ−1)∣θ⟩.\begin{aligned} \sum_{i=1}^n\bra{y^{(i)}-\theta}\boldsymbol{\Sigma}^{-1}\ket{y^{(i)}-\theta} &=\sum_{i=1}^n \bra{y^{(i)}}\boldsymbol{\Sigma}^{-1}\ket{y^{(i)}} -2\bra{\theta}\boldsymbol{\Sigma}^{-1}\left(\sum_{i=1}^n \ket{y^{(i)}}\right) +n\bra{\theta}\boldsymbol{\Sigma}^{-1}\ket{\theta}\\ &=\sum_{i=1}^n \bra{y^{(i)}}\boldsymbol{\Sigma}^{-1}\ket{y^{(i)}} -2\bra{\theta}n\boldsymbol{\Sigma}^{-1}\ket{\bar y} +\bra{\theta}(n\boldsymbol{\Sigma}^{-1})\ket{\theta}. \end{aligned}

第1項は ∣θ⟩\ket{\theta} に依存しない。したがって、今回は Σ\boldsymbol{\Sigma} を固定していることに注意すると、尤度は次の形になる。

p(Y∣∣θ⟩,Σ)∝exp⁡{−12⟨θ∣A1∣θ⟩+⟨θ∣b1⟩},A1=nΣ−1,∣b1⟩=nΣ−1∣yˉ⟩.(7.2)p(\mathbf{Y}\mid\ket{\theta},\boldsymbol{\Sigma})\propto \exp\left\{-\frac12\bra{\theta}\mathbf{A}_1\ket{\theta}+\braket{\theta|b_1}\right\}, \qquad \mathbf{A}_1=n\boldsymbol{\Sigma}^{-1},\quad \ket{b_1}=n\boldsymbol{\Sigma}^{-1}\ket{\bar y}. \tag{7.2}

母平均を動かしたときに尤度がどう変わるかは、データの中では ∣yˉ⟩\ket{\bar y} だけで決まる。この意味で、 Σ\boldsymbol{\Sigma} を固定した母平均の推測では ∣yˉ⟩\ket{\bar y} が 十分統計量 である。ただし、 Σ\boldsymbol{\Sigma} も推測するときには、省いた第1項も Σ\boldsymbol{\Sigma} に依存するので戻す必要がある。何を定数として省けるかは、いま推測する量によって変わるのである。

事前と尤度を掛け、平方完成する

式(7.1)と式(7.2)を掛ける。指数関数同士の積では指数が足されるので、二次の係数同士、一次の係数同士をそれぞれ足せばよい。

p(∣θ⟩∣Y,Σ)∝exp⁡{−12⟨θ∣An∣θ⟩+⟨θ∣bn⟩},An=Λ0−1+nΣ−1,∣bn⟩=Λ0−1∣μ0⟩+nΣ−1∣yˉ⟩.(7.3)\begin{aligned} p(\ket{\theta}\mid\mathbf{Y},\boldsymbol{\Sigma}) &\propto\exp\left\{-\frac12\bra{\theta}\mathbf{A}_n\ket{\theta}+\braket{\theta|b_n}\right\},\\ \mathbf{A}_n&=\boldsymbol{\Lambda}_0^{-1}+n\boldsymbol{\Sigma}^{-1},\\ \ket{b_n}&=\boldsymbol{\Lambda}_0^{-1}\ket{\mu_0}+n\boldsymbol{\Sigma}^{-1}\ket{\bar y}. \end{aligned} \tag{7.3}

この式から平均と共分散を読み取るために平方完成する。単変量で ax2−2bx=a(x−b/a)2−b2/aax^2-2bx=a(x-b/a)^2-b^2/a とした操作を、行列で行うのである。 A\mathbf{A} を対称正定値行列、 ∣m⟩=A−1∣b⟩\ket{m}=\mathbf{A}^{-1}\ket{b} とすると、 A∣m⟩=∣b⟩\mathbf{A}\ket{m}=\ket{b} なので、

⟨θ−m∣A∣θ−m⟩=⟨θ∣A∣θ⟩−2⟨θ∣A∣m⟩+⟨m∣A∣m⟩=⟨θ∣A∣θ⟩−2⟨θ∣b⟩+⟨b∣A−1∣b⟩.\begin{aligned} \bra{\theta-m}\mathbf{A}\ket{\theta-m} &=\bra{\theta}\mathbf{A}\ket{\theta}-2\bra{\theta}\mathbf{A}\ket{m}+\bra{m}\mathbf{A}\ket{m}\\ &=\bra{\theta}\mathbf{A}\ket{\theta}-2\braket{\theta|b}+\bra{b}\mathbf{A}^{-1}\ket{b}. \end{aligned}

2行目では、 A∣m⟩\mathbf{A}\ket{m} を ∣b⟩\ket{b} に置き換えた。最後の項は ⟨m∣A∣m⟩=⟨m∣b⟩\bra{m}\mathbf{A}\ket{m}=\braket{m|b} であり、 ⟨m∣=⟨b∣A−1\bra{m}=\bra{b}\mathbf{A}^{-1} ( A−1\mathbf{A}^{-1} が対称なので転置しても同じ行列)を使うと ⟨b∣A−1∣b⟩\bra{b}\mathbf{A}^{-1}\ket{b} になる。これを並べ替えると、

−12⟨θ∣A∣θ⟩+⟨θ∣b⟩=−12⟨θ−m∣A∣θ−m⟩+12⟨b∣A−1∣b⟩.-\frac12\bra{\theta}\mathbf{A}\ket{\theta}+\braket{\theta|b} =-\frac12\bra{\theta-m}\mathbf{A}\ket{\theta-m} +\frac12\bra{b}\mathbf{A}^{-1}\ket{b}.

最後の項は ∣θ⟩\ket{\theta} によらない定数である。残った形を正規密度と比べれば、中心が ∣m⟩=A−1∣b⟩\ket{m}=\mathbf{A}^{-1}\ket{b} 、共分散が A−1\mathbf{A}^{-1} と分かる。式(7.3)に当てはめると、条件付き事後共分散は、

Λn=Cov⁡(∣θ⟩∣Y,Σ)=(Λ0−1+nΣ−1)−1.(7.4)\boldsymbol{\Lambda}_n=\operatorname{Cov}(\ket{\theta}\mid\mathbf{Y},\boldsymbol{\Sigma}) =(\boldsymbol{\Lambda}_0^{-1}+n\boldsymbol{\Sigma}^{-1})^{-1}. \tag{7.4}

条件付き事後平均は、この共分散に一次の係数 ∣bn⟩\ket{b_n} を掛けて、

∣μn⟩=E[∣θ⟩∣Y,Σ]=Λn(Λ0−1∣μ0⟩+nΣ−1∣yˉ⟩).(7.5)\ket{\mu_n}=E[\ket{\theta}\mid\mathbf{Y},\boldsymbol{\Sigma}] =\boldsymbol{\Lambda}_n\left(\boldsymbol{\Lambda}_0^{-1}\ket{\mu_0}+n\boldsymbol{\Sigma}^{-1}\ket{\bar y}\right). \tag{7.5}

したがって、 ∣θ⟩∣Y,Σ∼Np(∣μn⟩,Λn)\ket{\theta}\mid\mathbf{Y},\boldsymbol{\Sigma}\sim N_p(\ket{\mu_n},\boldsymbol{\Lambda}_n) となる。

式(7.4)で足しているのは 分散ではなく、その逆行列である精度 である。精度とは、分布がどれだけ狭く位置を定めているかを表す量である。独立な nn 人の平均の共分散は Σ/n\boldsymbol{\Sigma}/n なので、その精度は (Σ/n)−1=nΣ−1(\boldsymbol{\Sigma}/n)^{-1}=n\boldsymbol{\Sigma}^{-1} となる。これに事前精度を足し、最後に逆行列へ戻している。

例えば1変量で、事前の分散が100、個人差の分散も100、人数が4なら、事後の精度は 1/100+4/100=0.051/100+4/100=0.05 、事後分散は 1/0.05=201/0.05=20 となる。人数が9に増えれば事後分散は10になる。人数が増えると母平均についての不確実性は減るが、ここで固定した個人差の分散100が小さくなるわけではない。

補足:重み付き平均を、実際の数値で求める

計算を見通しよくするため、母共分散を固定して、

Σ=(644848144),Λ0=4Σ,∣μ0⟩=(5050),n=10,∣yˉ⟩=(5460)\boldsymbol{\Sigma}=\begin{pmatrix}64&48\\48&144\end{pmatrix},\quad \boldsymbol{\Lambda}_0=4\boldsymbol{\Sigma},\quad \ket{\mu_0}=\begin{pmatrix}50\\50\end{pmatrix},\quad n=10,\quad \ket{\bar y}=\begin{pmatrix}54\\60\end{pmatrix}

という説明用の例を考える。すると Λ0−1=Σ−1/4\boldsymbol{\Lambda}_0^{-1}=\boldsymbol{\Sigma}^{-1}/4 なので、

Λn=[(0.25+10)Σ−1]−1=Σ10.25=(6.2444.6834.68314.049),∣μn⟩=Σ10.25Σ−1(0.25∣μ0⟩+10∣yˉ⟩)=0.25∣μ0⟩+10∣yˉ⟩10.25=((12.5+540)/10.25(12.5+600)/10.25)=(53.90259.756).\begin{aligned} \boldsymbol{\Lambda}_n&=[(0.25+10)\boldsymbol{\Sigma}^{-1}]^{-1} =\frac{\boldsymbol{\Sigma}}{10.25} =\begin{pmatrix}6.244&4.683\\4.683&14.049\end{pmatrix},\\ \ket{\mu_n}&=\frac{\boldsymbol{\Sigma}}{10.25}\boldsymbol{\Sigma}^{-1}\left(0.25\ket{\mu_0}+10\ket{\bar y}\right) =\frac{0.25\ket{\mu_0}+10\ket{\bar y}}{10.25}\\ &=\begin{pmatrix}(12.5+540)/10.25\\(12.5+600)/10.25\end{pmatrix} =\begin{pmatrix}53.902\\59.756\end{pmatrix}. \end{aligned}

事前分布はこの例では0.25人分の情報として働き、観測した10人の平均の方が強く反映される。母平均の事後標準偏差はそれぞれ 6.244=2.50\sqrt{6.244}=2.50 点と 14.049=3.75\sqrt{14.049}=3.75 点である。個人差の標準偏差8点・12点とは異なる。

ただし、一般の Λ0\boldsymbol{\Lambda}_0 と Σ\boldsymbol{\Sigma} では重みは行列になる。単純に「各座標の事前平均と標本平均を0から1の重みで混ぜる」とは限らず、他の座標の情報も混ざる。上のようなスカラーの重みが使えるのは、二つの共分散行列が比例する特別な場合である。

また、式(7.4)の Λn\boldsymbol{\Lambda}_n は Σ\boldsymbol{\Sigma} を固定した条件付きの共分散である。 Σ\boldsymbol{\Sigma} が未知なら最終的な事後分散には、

Cov⁡(∣θ⟩∣Y)=E[Λn(Σ)∣Y]+Cov⁡(∣μn(Σ)⟩∣Y)\operatorname{Cov}(\ket{\theta}\mid\mathbf{Y}) =E[\boldsymbol{\Lambda}_n(\boldsymbol{\Sigma})\mid\mathbf{Y}] +\operatorname{Cov}(\ket{\mu_n(\boldsymbol{\Sigma})}\mid\mathbf{Y})

という二つの成分が含まれる。第1項は「ある Σ\boldsymbol{\Sigma} を仮定しても残る母平均の不確実性」を平均したもの、第2項は「どの Σ\boldsymbol{\Sigma} を仮定するかで、母平均の推定の中心も動くこと」によるばらつきである。毎回変わる Σ\boldsymbol{\Sigma} を使うギブス法は、両方を取り込む。

1変量の小さな例で確かめると、二つの条件が半々で現れ、それぞれの条件付き平均が48と52、条件付き分散がどちらも9なら、全体の平均は50である。全体の分散は 9+[(48−50)2+(52−50)2]/2=139+[(48-50)^2+(52-50)^2]/2=13 となる。各条件の中でのばらつき9に、中心同士のずれによる4が加わるのである。

7.3 逆ウィシャート分布

次に、個人差の分散と共分散をまとめた Σ\boldsymbol{\Sigma} 自体を推測する。分散に負の数を使えないのと同様に、共分散行列にも満たすべき条件がある。本章で使う、逆行列をもつ共分散行列は 対称正定値 でなければならない。対称とは対角線の両側の成分が等しいこと、正定値とは、零ベクトルでない任意の ∣a⟩\ket{a} について

⟨a∣Σ∣a⟩>0\bra{a}\boldsymbol{\Sigma}\ket{a}>0

が成り立つという条件である。 ∣a⟩\ket{a} は、複数の測定値を足し合わせるときの重みと考えるとよい。この条件の具体的な意味は、後の「合成得点」の例で確かめる。正定値なら、各分散は正で、各相関係数は −1-1 と1の間に入る。ただし3変量以上では、個別の分散や相関を一つずつ確かめるだけでは足りない。

標本共分散行列

多変量ベクトル ∣z(1)⟩,…,∣z(n)⟩\ket{z^{(1)}},\ldots,\ket{z^{(n)}} に対する、平方和(sum of squares)行列は

∑i=1n∣z(i)⟩⟨z(i)∣=ZTZ\sum_{i=1}^n \ket{z^{(i)}}\bra{z^{(i)}}=\mathbf{Z}^{\mathsf{T}}\mathbf{Z}

で与えられる。ここで Z\mathbf{Z} は第 ii 行目が ⟨z(i)∣\bra{z^{(i)}} であるような n×pn\times p 行列である。 ∣z(i)⟩\ket{z^{(i)}} は p×1p\times1 、 ⟨z(i)∣\bra{z^{(i)}} は 1×p1\times p なので、外積 ∣z(i)⟩⟨z(i)∣\ket{z^{(i)}}\bra{z^{(i)}} は次の p×pp\times p 行列になる。

∣z(i)⟩⟨z(i)∣=((z1(i))2z1(i)z2(i)⋯z1(i)zp(i)z2(i)z1(i)(z2(i))2⋯z2(i)zp(i)⋮⋮⋱⋮zp(i)z1(i)zp(i)z2(i)⋯(zp(i))2).\ket{z^{(i)}}\bra{z^{(i)}}= \begin{pmatrix} (z^{(i)}_1)^2 & z^{(i)}_1z^{(i)}_2 & \cdots & z^{(i)}_1z^{(i)}_p\\ z^{(i)}_2z^{(i)}_1 & (z^{(i)}_2)^2 & \cdots & z^{(i)}_2z^{(i)}_p\\ \vdots & \vdots & \ddots & \vdots\\ z^{(i)}_pz^{(i)}_1 & z^{(i)}_pz^{(i)}_2 & \cdots & (z^{(i)}_p)^2 \end{pmatrix}.

内積 ⟨z(i)∣z(i)⟩\braket{z^{(i)}|z^{(i)}} が1個の数になるのに対し、並び順を入れ替えた外積 ∣z(i)⟩⟨z(i)∣\ket{z^{(i)}}\bra{z^{(i)}} は行列になる。ブラケット表記では、この違いが記号の向きだけで読み取れる。 ZTZ\mathbf{Z}^{\mathsf{T}}\mathbf{Z} は、行 ⟨z(i)∣\bra{z^{(i)}} を縦に積んだ Z\mathbf{Z} について、各行の外積を足し合わせたものなのである。

もし ∣z(i)⟩\ket{z^{(i)}} が、母平均が既知の零ベクトルで共分散が Φ\boldsymbol{\Phi} である独立な母集団標本なら、 ZTZ/n\mathbf{Z}^{\mathsf{T}}\mathbf{Z}/n は Φ\boldsymbol{\Phi} の不偏推定量となる。ここで「母平均が既知の零ベクトル」と「データから平均を計算して0に中心化した」は異なる。後者では平均の推定に自由度を一つ使うため、不偏な標本共分散の分母は n−1n-1 である。

補足:正定値は「どんな合成得点にも正の分散がある」という条件

二つの得点の差を D=Y2−Y1D=Y_2-Y_1 とすると、 D=⟨a∣Y⟩D=\braket{a|Y} と書ける重み ∣a⟩=(−1,1)T\ket{a}=(-1,1)^{\mathsf{T}} に対して、

Var⁡(D)=⟨a∣Σ∣a⟩=σ12+σ22−2σ1,2.\operatorname{Var}(D)=\bra{a}\boldsymbol{\Sigma}\ket{a} =\sigma_1^2+\sigma_2^2-2\sigma_{1,2}.

先ほどの行列なら 64+144−2×48=11264+144-2\times48=112 点²になる。正定値は、このような非ゼロの重みで作る合成得点の分散が必ず正になることを要求している。なお、一般の共分散行列は半正定値でもよいが、本章の通常の密度式では逆行列が必要なので、完全な線形従属のない正定値を仮定する。

2変量では、二つの分散が正で、行列式が正、すなわち ∣ρ∣<1\lvert\rho\rvert<1 なら正定値となる。3変量以上では各相関が (−1,1)(-1,1) に入るだけでは不十分である。例えば、すべての対の相関を −0.9-0.9 、分散を1とすると、3変数の和の分散は 3+2×3×(−0.9)=−2.43+2\times3\times(-0.9)=-2.4 となり、実在する共分散行列ではありえない。

補足:外積を足すとは何をしているか

例えば ∣z(1)⟩=(1,2)T\ket{z^{(1)}}=(1,2)^{\mathsf{T}} 、 ∣z(2)⟩=(2,−1)T\ket{z^{(2)}}=(2,-1)^{\mathsf{T}} なら、

∣z(1)⟩⟨z(1)∣=(1224),∣z(2)⟩⟨z(2)∣=(4−2−21),ZTZ=(1+42−22−24+1)=(5005).\begin{aligned} \ket{z^{(1)}}\bra{z^{(1)}}&=\begin{pmatrix}1&2\\2&4\end{pmatrix},\qquad \ket{z^{(2)}}\bra{z^{(2)}}=\begin{pmatrix}4&-2\\-2&1\end{pmatrix},\\ \mathbf{Z}^{\mathsf{T}}\mathbf{Z}&=\begin{pmatrix}1+4&2-2\\2-2&4+1\end{pmatrix} =\begin{pmatrix}5&0\\0&5\end{pmatrix}. \end{aligned}

対角には各変数の偏差の二乗、対角以外には二つの偏差の積が足される。一つの行列の中に「それぞれの散らばり」と「一緒に動く程度」を同時に記録しているのである。

共分散行列そのものに、確率分布を置く

母平均が未知のときは、さまざまな平均値に確率を割り当てた。同じように、共分散が未知なら、さまざまな 行列全体 に確率を割り当てたい。例えば2変量なら、「1回目の分散64、2回目の分散144、共分散48」という三つの数の組が、一つの候補になる。各成分をばらばらに生成すると、正定値という条件を破るおそれがある。そこで、条件を満たす行列をまとめて生成できる分布を使う。

その出発点が、正規乱数の外積を足すという構成である。具体的には、 ν0\nu_0 という正の整数と p×pp\times p 行列 Φ0\boldsymbol{\Phi}_0 が与えられたとき、

  1. ∣z(1)⟩,…,∣z(ν0)⟩∼i.i.d.Np(∣0⟩,Φ0)\ket{z^{(1)}},\ldots,\ket{z^{(\nu_0)}}\stackrel{\text{i.i.d.}}\sim N_p(\ket{0},\boldsymbol{\Phi}_0) を生成する。
  2. ZTZ=∑i=1ν0∣z(i)⟩⟨z(i)∣\mathbf{Z}^{\mathsf{T}}\mathbf{Z}=\sum_{i=1}^{\nu_0} \ket{z^{(i)}}\bra{z^{(i)}} を計算する。

ここで ∣0⟩\ket{0} は零ベクトルであり、量子力学の基底状態の意味ではない。この手順で得られる行列 ZTZ\mathbf{Z}^{\mathsf{T}}\mathbf{Z} の分布を、自由度 ν0\nu_0 、尺度行列 Φ0\boldsymbol{\Phi}_0 の ウィシャート分布 と呼ぶ。ここでの自由度は、まず「外積を何個足すか」と理解すればよい。この分布には次の性質がある。

  • Φ0\boldsymbol{\Phi}_0 が正定値で整数 ν0≥p\nu_0\ge p なら、 ZTZ\mathbf{Z}^{\mathsf{T}}\mathbf{Z} は確率1で正定値である。
  • ZTZ\mathbf{Z}^{\mathsf{T}}\mathbf{Z} は確率1で対称行列である。
  • E[ZTZ]=ν0Φ0E[\mathbf{Z}^{\mathsf{T}}\mathbf{Z}]=\nu_0\boldsymbol{\Phi}_0 。

ウィシャート分布は、ガンマ分布を多変量に拡張したものである( zz を平均0の正規分布に従う確率変数とすると、 z2z^2 はガンマ分布に従う)。単変量正規分布の場合、精度パラメータ 1/σ21/\sigma^2 に対する事前分布をガンマ分布にすると、分散に対する完全条件付き分布は逆ガンマ分布になることを学んだ。同様に、ウィシャート分布は精度行列(precision matrix) Σ−1\boldsymbol{\Sigma}^{-1} に対する共役事前分布となり、逆ウィシャート分布は共分散行列(covariance matrix)に対する共役事前分布となる。逆ウィシャート分布から分散行列 Σ\boldsymbol{\Sigma} をサンプリングするには、変数変換を用いた次の手順を行えばよい。

  1. ∣z(1)⟩,…,∣z(ν0)⟩∼i.i.d.Np(∣0⟩,S0−1)\ket{z^{(1)}},\ldots,\ket{z^{(\nu_0)}}\stackrel{\text{i.i.d.}}\sim N_p(\ket{0},\mathbf{S}_0^{-1}) を生成する。
  2. ZTZ=∑i=1ν0∣z(i)⟩⟨z(i)∣\mathbf{Z}^{\mathsf{T}}\mathbf{Z}=\sum_{i=1}^{\nu_0} \ket{z^{(i)}}\bra{z^{(i)}} を計算する。
  3. Σ=(ZTZ)−1\boldsymbol{\Sigma}=(\mathbf{Z}^{\mathsf{T}}\mathbf{Z})^{-1} とおく。

シミュレーションの手順より、精度行列は Σ−1∼Wp(ν0,S0−1)\boldsymbol{\Sigma}^{-1}\sim W_p(\nu_0,\mathbf{S}_0^{-1}) に従う。本ノートでは、その逆行列の分布を、

Σ∼IWp(ν0,S0)\boldsymbol{\Sigma}\sim IW_p(\nu_0,\mathbf{S}_0)

と書く。 第2引数は、密度の指数部に S0Σ−1\mathbf{S}_0\boldsymbol{\Sigma}^{-1} と現れる尺度行列 S0\mathbf{S}_0 である。 教科書原稿の inverse-Wishart⁡(ν0,S0−1)\operatorname{inverse\text{-}Wishart}(\nu_0,\mathbf{S}_0^{-1}) は、対応するウィシャート分布の尺度を第2引数に置く表記なので、本ノートの IWp(ν0,S0)IW_p(\nu_0,\mathbf{S}_0) と同じ分布を意味する。SciPyの invwishart(df=nu0, scale=S0) は本ノートの表記に対応する。SciPy公式ドキュメント

この定義の下で、

E[Σ−1]=ν0S0−1,E[Σ]=S0ν0−p−1(ν0>p+1)E[\boldsymbol{\Sigma}^{-1}]=\nu_0\mathbf{S}_0^{-1},\qquad E[\boldsymbol{\Sigma}]=\frac{\mathbf{S}_0}{\nu_0-p-1}\quad(\nu_0>p+1)

となる。分布が定義できる条件 ν0>p−1\nu_0>p-1 と、有限な平均をもつ条件 ν0>p+1\nu_0>p+1 は異なる。整数の正規標本を足す構成では、正定値にするため ν0≥p\nu_0\ge p が必要である。

提供原稿の期待値には、分子に余分な ν0\nu_0 がある。このままでは密度や生成手順と一致しないため、上式に補正している。

補足:分布の中心を保って、事前知識を強くするには

事前平均を Σ0\boldsymbol{\Sigma}_0 にしたいなら、

S0=(ν0−p−1)Σ0\mathbf{S}_0=(\nu_0-p-1)\boldsymbol{\Sigma}_0

と設定する。例えば p=2p=2 で Σ0=(644848144)\boldsymbol{\Sigma}_0=\begin{pmatrix}64&48\\48&144\end{pmatrix} とすると、 ν0=4\nu_0=4 では S0=Σ0\mathbf{S}_0=\boldsymbol{\Sigma}_0 、 ν0=10\nu_0=10 では S0=7Σ0\mathbf{S}_0=7\boldsymbol{\Sigma}_0 である。どちらも E[Σ]=Σ0E[\boldsymbol{\Sigma}]=\boldsymbol{\Sigma}_0 になる。

S0\mathbf{S}_0 を固定したまま ν0\nu_0 だけを増やすと、平均自体が小さくなる。「同じ中心に集中させる」には、 S0\mathbf{S}_0 も同時に変える必要がある。なお ν0=p+2\nu_0=p+2 は平均が存在するものの、各対角成分の分散は有限でないほど裾が重い。したがって「平均を中心に左右対称に広がる分布」とは考えない方がよい。

次の図は、共分散行列全体のうち、1回目の得点の分散 σ12\sigma_1^2 だけを取り出した周辺事前密度である。三つとも平均64点²にそろえ、自由度による集中の違いを見る。

補助図:同じ事前平均をもつ逆ウィシャート分布の対角成分。p=2、S₀=(ν₀−3)Σ₀。横軸は0~300点²を表示し、その先の右裾は省略。

自由度4では、密度の山は平均より左にあり、右の長い裾が平均を引き上げている。自由度を大きくすると64点²付近へ集中する。平均の線だけでは、弱い事前分布の広がりは分からない。

1変量 p=1p=1 の場合は σ2∼InvGamma⁡(ν0/2,S0/2)\sigma^2\sim\operatorname{InvGamma}(\nu_0/2,S_0/2) となる( p=1p=1 では S0\mathbf{S}_0 が1個の数 S0S_0 になる)。したがって、逆ウィシャート分布は前章の逆ガンマ分布を行列へ拡張したものと理解できる。

共分散行列の完全条件付き分布

IWp(ν0,S0)IW_p(\nu_0,\mathbf{S}_0) の密度関数は

p(Σ)=[2ν0p/2π(p2)/2(det⁡S0)−ν0/2∏j=1pΓ(ν0+1−j2)]−1(det⁡Σ)−(ν0+p+1)/2exp⁡{−tr⁡(S0Σ−1)/2}.(7.7)p(\boldsymbol{\Sigma})= \left[ 2^{\nu_0p/2}\pi^{\binom{p}{2}/2}(\det\mathbf{S}_0)^{-\nu_0/2} \prod_{j=1}^p\Gamma\left(\frac{\nu_0+1-j}{2}\right) \right]^{-1} (\det\boldsymbol{\Sigma})^{-(\nu_0+p+1)/2} \exp\{-\operatorname{tr}(\mathbf{S}_0\boldsymbol{\Sigma}^{-1})/2\}. \tag{7.7}

として与えられる。 Γ\Gamma はガンマ関数であり、密度の積分を1にそろえる係数に現れる。角括弧の中は ν0,S0,p\nu_0,\mathbf{S}_0,p だけで決まり、更新する Σ\boldsymbol{\Sigma} を含まない。したがって、次の導出で追う必要があるのは、 行列式のべき乗 と 指数関数の中の行列 の二か所である。 tr⁡\operatorname{tr} という記号は、行列のトレース(trace)を表し、 p×pp\times p の正方行列 A\mathbf{A} に対し、

tr⁡(A)=∑j=1paj,j,\operatorname{tr}(\mathbf{A})=\sum_{j=1}^p a_{j,j},

つまり対角成分の和で定義される。

上の事前分布と ∣Y(1)⟩,…,∣Y(n)⟩\ket{Y^{(1)}},\ldots,\ket{Y^{(n)}} の標本分布を合わせて考える必要がある。ここで鍵になるのが、二次形式をトレースで書き直す等式

⟨b∣A∣b⟩=tr⁡(A∣b⟩⟨b∣)\bra{b}\mathbf{A}\ket{b}=\operatorname{tr}\left(\mathbf{A}\ket{b}\bra{b}\right)

である。量子力学で、純粋状態の期待値 ⟨ψ∣A^∣ψ⟩\bra{\psi}\hat{A}\ket{\psi} を密度行列 ρ^=∣ψ⟩⟨ψ∣\hat\rho=\ket{\psi}\bra{\psi} を使って tr⁡(A^ρ^)\operatorname{tr}(\hat{A}\hat\rho) と書き直すのと同じ操作である。これを nn 人分足すと、トレースの線形性により、外積の和を一つの行列にまとめられる。

∑i=1n⟨b(i)∣A∣b(i)⟩=tr⁡(A∑i=1n∣b(i)⟩⟨b(i)∣)=tr⁡(A BTB).\sum_{i=1}^n\bra{b^{(i)}}\mathbf{A}\ket{b^{(i)}} =\operatorname{tr}\left(\mathbf{A}\sum_{i=1}^n\ket{b^{(i)}}\bra{b^{(i)}}\right) =\operatorname{tr}(\mathbf{A}\,\mathbf{B}^{\mathsf{T}}\mathbf{B}).

ここで、 B\mathbf{B} は第 ii 行が ⟨b(i)∣\bra{b^{(i)}} である行列である。これにより、尤度の指数部分は

∑i=1n⟨y(i)−θ∣Σ−1∣y(i)−θ⟩=tr⁡(SθΣ−1)\sum_{i=1}^n\bra{y^{(i)}-\theta}\boldsymbol{\Sigma}^{-1}\ket{y^{(i)}-\theta} =\operatorname{tr}(\mathbf{S}_\theta\boldsymbol{\Sigma}^{-1})

となる(トレースの中の積は循環させてよいので、 tr⁡(Σ−1Sθ)=tr⁡(SθΣ−1)\operatorname{tr}(\boldsymbol{\Sigma}^{-1}\mathbf{S}_\theta)=\operatorname{tr}(\mathbf{S}_\theta\boldsymbol{\Sigma}^{-1}) である)。ただし、

Sθ=∑i=1n∣y(i)−θ⟩⟨y(i)−θ∣\mathbf{S}_\theta=\sum_{i=1}^n\ket{y^{(i)}-\theta}\bra{y^{(i)}-\theta}

である。行列 Sθ\mathbf{S}_\theta は ∣θ⟩\ket{\theta} を与えたときの ∣y(1)⟩,…,∣y(n)⟩\ket{y^{(1)}},\ldots,\ket{y^{(n)}} の残差平方和行列(residual sum of squares matrix)である。真の母平均 ∣θ⟩\ket{\theta} を用いた Sθ/n\mathbf{S}_\theta/n は、標本を繰り返し取ったときの期待値が Σ\boldsymbol{\Sigma} となる不偏推定量である。ギブス法で仮に置いた値が真の母平均と違う場合まで、不偏だという意味ではない。より一般には、 ∣θ⟩\ket{\theta} で条件付けないとき、標本共分散行列は ∑i=1n∣y(i)−yˉ⟩⟨y(i)−yˉ∣/(n−1)\sum_{i=1}^n\ket{y^{(i)}-\bar y}\bra{y^{(i)}-\bar y}/(n-1) であり、これが Σ\boldsymbol{\Sigma} の不偏推定量となる。ここからは ∣θ⟩\ket{\theta} を固定し、 Σ\boldsymbol{\Sigma} を動かして分布を調べる。7.2節で定数扱いした (det⁡Σ)−n/2(\det\boldsymbol{\Sigma})^{-n/2} も、今回は省けない。式(7.7)の事前分布と尤度を掛けると、次のようになる。

p(Σ∣Y,∣θ⟩)∝p(Σ)×p(Y∣∣θ⟩,Σ)∝((det⁡Σ)−(ν0+p+1)/2exp⁡{−tr⁡(S0Σ−1)/2})×((det⁡Σ)−n/2exp⁡{−tr⁡(SθΣ−1)/2})=(det⁡Σ)−(ν0+n+p+1)/2exp⁡{−tr⁡[(S0+Sθ)Σ−1]/2}.\begin{aligned} p(\boldsymbol{\Sigma}\mid\mathbf{Y},\ket{\theta}) &\propto p(\boldsymbol{\Sigma})\times p(\mathbf{Y}\mid\ket{\theta},\boldsymbol{\Sigma})\\ &\propto \left((\det\boldsymbol{\Sigma})^{-(\nu_0+p+1)/2}\exp\{-\operatorname{tr}(\mathbf{S}_0\boldsymbol{\Sigma}^{-1})/2\}\right) \times \left((\det\boldsymbol{\Sigma})^{-n/2}\exp\{-\operatorname{tr}(\mathbf{S}_\theta\boldsymbol{\Sigma}^{-1})/2\}\right)\\ &=(\det\boldsymbol{\Sigma})^{-(\nu_0+n+p+1)/2}\exp\{-\operatorname{tr}[(\mathbf{S}_0+\mathbf{S}_\theta)\boldsymbol{\Sigma}^{-1}]/2\}. \end{aligned}

べき乗の指数は −(ν0+p+1)/2−n/2=−(ν0+n+p+1)/2-(\nu_0+p+1)/2-n/2=-(\nu_0+n+p+1)/2 となる。また、トレースは足し算をまとめられるので、指数関数の中では S0\mathbf{S}_0 が S0+Sθ\mathbf{S}_0+\mathbf{S}_\theta に置き換わる。つまり、密度の形は変わらず、自由度に nn 、尺度に Sθ\mathbf{S}_\theta が加わる。したがって、

Σ∣Y,∣θ⟩∼IWp(ν0+n,S0+Sθ).(7.9)\boldsymbol{\Sigma}\mid\mathbf{Y},\ket{\theta} \sim IW_p(\nu_0+n,\mathbf{S}_0+\mathbf{S}_\theta). \tag{7.9}

となる。 S0\mathbf{S}_0 は事前に用意した「ばらつきの情報」、 Sθ\mathbf{S}_\theta は今回のデータから得た「ばらつきの情報」であり、更新ではこの二つを足す。

逆ウィシャート分布の期待値の公式に、更新後の自由度と尺度を代入すると、

E[Σ∣Y,∣θ⟩]=S0+Sθν0+n−p−1(ν0+n>p+1)E[\boldsymbol{\Sigma}\mid\mathbf{Y},\ket{\theta}]=\frac{\mathbf{S}_0+\mathbf{S}_\theta}{\nu_0+n-p-1} \qquad(\nu_0+n>p+1)

となる。 S0\mathbf{S}_0 は共分散そのものではない点に注意したい。事前平均を Σ0\boldsymbol{\Sigma}_0 とするには S0=(ν0−p−1)Σ0\mathbf{S}_0=(\nu_0-p-1)\boldsymbol{\Sigma}_0 と置く。この置き換えによって、後で事前平均とデータの重みを読み取れる。

補足:トレースと残差平方和は、何をまとめているか

トレースは対角要素を足す操作である。スカラーはそれ自身のトレースに等しく、行列積は次元が合えば循環させられるので、

⟨b∣A∣b⟩=tr⁡(⟨b∣A∣b⟩)=tr⁡(∣b⟩⟨b∣A)\bra{b}\mathbf{A}\ket{b} =\operatorname{tr}\left(\bra{b}\mathbf{A}\ket{b}\right) =\operatorname{tr}\left(\ket{b}\bra{b}\mathbf{A}\right)

となる。1個目の等号では 1×11\times1 行列をそのトレースと同一視し、2個目の等号では右端の ∣b⟩\ket{b} を左端へ回した。これを全員分足すと、個々の二次形式を一つの平方和行列にまとめられる。

例えば、母平均からの残差が (1,2)T(1,2)^{\mathsf{T}} と (2,−1)T(2,-1)^{\mathsf{T}} 、 Σ=diag⁡(4,9)\boldsymbol{\Sigma}=\operatorname{diag}(4,9) なら、個別に計算した値の和は、

(14+49)+(44+19)=54+59=6536.\left(\frac14+\frac49\right)+\left(\frac44+\frac19\right) =\frac54+\frac59=\frac{65}{36}.

一方、 Sθ=diag⁡(5,5)\mathbf{S}_\theta=\operatorname{diag}(5,5) なので、 tr⁡(SθΣ−1)=5/4+5/9\operatorname{tr}(\mathbf{S}_\theta\boldsymbol{\Sigma}^{-1})=5/4+5/9 となり、同じ結果を得る。

残差平方和には次の分解もある。

Sθ=∑i=1n∣y(i)−yˉ⟩⟨y(i)−yˉ∣+n∣yˉ−θ⟩⟨yˉ−θ∣.\mathbf{S}_\theta =\sum_{i=1}^n\ket{y^{(i)}-\bar y}\bra{y^{(i)}-\bar y} +n\ket{\bar y-\theta}\bra{\bar y-\theta}.

第1項は観測値同士の散らばり、第2項は仮定した母平均と標本平均のずれである。この分解の途中も確認しよう。 ∣c(i)⟩=∣y(i)⟩−∣yˉ⟩\ket{c^{(i)}}=\ket{y^{(i)}}-\ket{\bar y} 、 ∣d⟩=∣yˉ⟩−∣θ⟩\ket{d}=\ket{\bar y}-\ket{\theta} と置くと、 ∣y(i)−θ⟩=∣c(i)⟩+∣d⟩\ket{y^{(i)}-\theta}=\ket{c^{(i)}}+\ket{d} である。したがって、

Sθ=∑i(∣c(i)⟩+∣d⟩)(⟨c(i)∣+⟨d∣)=∑i∣c(i)⟩⟨c(i)∣+(∑i∣c(i)⟩)⟨d∣+∣d⟩(∑i⟨c(i)∣)+n∣d⟩⟨d∣=∑i∣c(i)⟩⟨c(i)∣+n∣d⟩⟨d∣.\begin{aligned} \mathbf{S}_\theta &=\sum_i\left(\ket{c^{(i)}}+\ket{d}\right)\left(\bra{c^{(i)}}+\bra{d}\right)\\ &=\sum_i \ket{c^{(i)}}\bra{c^{(i)}} +\left(\sum_i \ket{c^{(i)}}\right)\bra{d} +\ket{d}\left(\sum_i \bra{c^{(i)}}\right)+n\ket{d}\bra{d}\\ &=\sum_i \ket{c^{(i)}}\bra{c^{(i)}}+n\ket{d}\bra{d}. \end{aligned}

最後の行では、標本平均からの偏差の和 ∑i∣c(i)⟩\sum_i \ket{c^{(i)}} が零ベクトルになることを使った。例えば1変量で観測値が48と52なら、標本平均50からの平方和は8である。一方、母平均を仮に47に置くと、平方和は (48−47)2+(52−47)2=26(48-47)^2+(52-47)^2=26 となる。分解式でも 8+2(50−47)2=268+2(50-47)^2=26 と確かめられる。

このように、母平均をデータから遠くに置くほど、残差の散らばりも大きく評価される。これが、事前には独立に置いた ∣θ⟩\ket{\theta} と Σ\boldsymbol{\Sigma} が、事後には関連する理由である。

補足:共分散の更新も、事前とデータの重み付き平均になる

w0=ν0−p−1>0w_0=\nu_0-p-1>0 、 Σ0=S0/w0\boldsymbol{\Sigma}_0=\mathbf{S}_0/w_0 と置けば、式(7.9)の条件付き平均は、

E[Σ∣Y,∣θ⟩]=S0+Sθν0+n−p−1=w0w0+nΣ0+nw0+nSθn.E[\boldsymbol{\Sigma}\mid\mathbf{Y},\ket{\theta}] =\frac{\mathbf{S}_0+\mathbf{S}_\theta}{\nu_0+n-p-1} =\frac{w_0}{w_0+n}\boldsymbol{\Sigma}_0 +\frac{n}{w_0+n}\frac{\mathbf{S}_\theta}{n}.

ここでの有効な事前の重みは、平均の表現では ν0\nu_0 そのものではなく w0=ν0−p−1w_0=\nu_0-p-1 である。例えば p=2p=2 、 ν0=4\nu_0=4 、 n=22n=22 なら、重みは事前が 1/231/23 、データが 22/2322/23 となる。

手で計算できる例として、 p=2p=2 、 ν0=4\nu_0=4 、 S0=(644848144)\mathbf{S}_0=\begin{pmatrix}64&48\\48&144\end{pmatrix} とし、2人の残差が先ほどの (1,2)T(1,2)^{\mathsf{T}} と (2,−1)T(2,-1)^{\mathsf{T}} だったとする。このとき、

νn=4+2=6,Sn=(644848144)+(5005)=(694848149),E[Σ∣Y,∣θ⟩]=Sn6−2−1=(23161649.667).\begin{aligned} \nu_n&=4+2=6,\qquad \mathbf{S}_n=\begin{pmatrix}64&48\\48&144\end{pmatrix} +\begin{pmatrix}5&0\\0&5\end{pmatrix} =\begin{pmatrix}69&48\\48&149\end{pmatrix},\\ E[\boldsymbol{\Sigma}\mid\mathbf{Y},\ket{\theta}]&=\frac{\mathbf{S}_n}{6-2-1} =\begin{pmatrix}23&16\\16&49.667\end{pmatrix}. \end{aligned}

今回の残差は、事前に想定した散らばりよりかなり小さい。そのため、条件付き事後平均の分散は64と144から、23と約49.67へ下がる。ただし、この行列は分布の平均である。ギブス法では平均値に固定せず、更新後の逆ウィシャート分布から行列を一つ生成する。

7.4 平均ベクトルと共分散行列のギブスサンプリング

先の二つの節で、以下のことを示した。

∣θ⟩∣Y,Σ∼Np(∣μn⟩,Λn),Σ∣Y,∣θ⟩∼IWp(νn,Sn).\begin{aligned} \ket{\theta}\mid\mathbf{Y},\boldsymbol{\Sigma}&\sim N_p(\ket{\mu_n},\boldsymbol{\Lambda}_n),\\ \boldsymbol{\Sigma}\mid\mathbf{Y},\ket{\theta}&\sim IW_p(\nu_n,\mathbf{S}_n). \end{aligned}

ただし、 (∣μn⟩,Λn)(\ket{\mu_n},\boldsymbol{\Lambda}_n) は式(7.4)、(7.5)で定義されるものであり、 νn=ν0+n\nu_n=\nu_0+n 、 Sn=S0+Sθ\mathbf{S}_n=\mathbf{S}_0+\mathbf{S}_\theta である。これらの完全条件付き分布からは、正規乱数や逆ウィシャート乱数を使って標本を直接生成できる。この二つの完全条件付き分布を交互に使うと、平均と共分散行列の同時事後分布をMCMCで近似するギブスサンプラーを構成できる。初期値 Σ[0]\boldsymbol{\Sigma}^{[0]} が与えられたとき、ギブスサンプラーは次の二段階の手順により、 (∣θ[s]⟩,Σ[s])(\ket{\theta^{[s]}},\boldsymbol{\Sigma}^{[s]}) から (∣θ[s+1]⟩,Σ[s+1])(\ket{\theta^{[s+1]}},\boldsymbol{\Sigma}^{[s+1]}) を生成する。

  1. 現在の Σ[s]\boldsymbol{\Sigma}^{[s]} を式(7.4)、(7.5)へ代入し、 Λn\boldsymbol{\Lambda}_n と ∣μn⟩\ket{\mu_n} を計算する。その分布から ∣θ[s+1]⟩∼Np(∣μn⟩,Λn)\ket{\theta^{[s+1]}}\sim N_p(\ket{\mu_n},\boldsymbol{\Lambda}_n) を生成する。
  2. 新しく生成した ∣θ[s+1]⟩\ket{\theta^{[s+1]}} で Sθ\mathbf{S}_\theta を計算し、 Sn=S0+Sθ\mathbf{S}_n=\mathbf{S}_0+\mathbf{S}_\theta とする。その分布から Σ[s+1]∼IWp(ν0+n,Sn)\boldsymbol{\Sigma}^{[s+1]}\sim IW_p(\nu_0+n,\mathbf{S}_n) を生成する。

ここで上付きの [s]^{[s]} は反復の番号であり、データの観測番号 (i)^{(i)} とは括弧の形で区別している。例えば Sθ=∑i=1n∣y(i)−θ[s+1]⟩⟨y(i)−θ[s+1]∣\mathbf{S}_\theta=\sum_{i=1}^n\ket{y^{(i)}-\theta^{[s+1]}}\bra{y^{(i)}-\theta^{[s+1]}} では、 (i)(i) が22人の子供を、 [s+1][s+1] が現在の反復を指す。

∣μn⟩,Λn\ket{\mu_n},\boldsymbol{\Lambda}_n は現在の Σ\boldsymbol{\Sigma} に依存し、 Sn\mathbf{S}_n は更新した ∣θ⟩\ket{\theta} に依存する。したがって、これらは反復ごとに計算し直す必要がある。二つの母数を最初の推定値に固定したまま独立に生成する方法では、同じ事後分布を得られない。

補足:なぜ、交互に生成すると同時分布を調べられるのか

共分散を決めれば平均を更新でき、平均を決めれば共分散を更新できる。しかし、どちらも最初から分かっているわけではない。そこで、「いまの共分散に合う平均を引く」「その平均に合う共分散を引く」という操作を繰り返す。

この操作の根拠は、目的の同時事後分布を壊さないことである。仮に現在の Σ\boldsymbol{\Sigma} がすでに周辺事後分布 p(Σ∣Y)p(\boldsymbol{\Sigma}\mid\mathbf{Y}) に従っていれば、条件付き分布から ∣θ⟩\ket{\theta} を引いた組の分布は、

p(Σ∣Y) p(∣θ⟩∣Σ,Y)=p(∣θ⟩,Σ∣Y)p(\boldsymbol{\Sigma}\mid\mathbf{Y})\,p(\ket{\theta}\mid\boldsymbol{\Sigma},\mathbf{Y})=p(\ket{\theta},\boldsymbol{\Sigma}\mid\mathbf{Y})

となる。続いて Σ\boldsymbol{\Sigma} を条件付き分布から引き直しても、同様にこの同時分布が保たれる。実際には適当な初期値から始めるため、十分に繰り返して初期値の影響を小さくし、複数の連鎖で同じ分布を探索しているかを確認する。

各反復は「正しい母数へ少しずつ近づいて最後の一つを答えにする」計算ではない。 落ち着いた後も値が動き続け、その散らばり全体が事後分布を表す 。例えば1,000組の保存標本のうち990組で θ2>θ1\theta_2>\theta_1 なら、その事後確率を約0.99と見積もる。母数の平均だけへ毎回置き換えると、この不確実性を保存できない。

例:読解力テスト

本章の最初に挙げた22人の子供たちそれぞれが二つの読解試験を受けた例に戻ることにする。一つ目は指導前、もう一つは指導後に行われた試験である。これらの22組の得点を多変量正規分布からの独立標本としてモデル化する。この試験は、100点満点であり50点が平均点となるように設計されていたため、 ∣μ0⟩=(50,50)T\ket{\mu_0}=(50,50)^{\mathsf{T}} を事前期待値として設定する。真の平均は0以上100以下であるため、この範囲外の確率が小さくなるように Λ0\boldsymbol{\Lambda}_0 の各対角要素を (50/2)2=625(50/2)^2=625 とすると、各 jj について Pr⁡(θj∉[0,100])≈0.0455\Pr(\theta_j\notin[0,100])\approx0.0455 になる。また、二つの試験は似た能力を測るため、片方の母平均が高ければ、もう片方も高そうだと考える。この情報は事前相関を0.5にする、つまり Λ0\boldsymbol{\Lambda}_0 の非対角成分を312.5とすることで反映できる。

個人差の共分散 Σ\boldsymbol{\Sigma} については、次のように別途事前分布を置く。 S0\mathbf{S}_0 を Λ0\boldsymbol{\Lambda}_0 と同じにするが、 ν0=p+2=4\nu_0=p+2=4 とすることにより、 Σ\boldsymbol{\Sigma} をこの値の周りに広がりをもって分布させておくことにする。

以下のコード片は output/ 内のPythonファイルや、同ディレクトリをモジュール検索先に加えた環境で利用できる。全体を再現するコマンドは章末に示す。

import numpy as np
from scipy.stats import invwishart
from ch7_examples import load_data, gibbs

mu0 = np.array([50., 50.])
L0 = np.array([[625., 312.5], [312.5, 625.]])
nu0 = 4
S0 = L0.copy()

観測値 ∣y(1)⟩,…,∣y(22)⟩\ket{y^{(1)}},\ldots,\ket{y^{(22)}} は、図7.2の下段に実測値の点として示されている。標本平均は指導前47.18点、指導後53.86点であり、観測した平均差は6.68点である。この観測値の情報を事前分布と組み合わせて、パラメータの推定値と信用区間を求める。まず、 Σ[0]\boldsymbol{\Sigma}^{[0]} を標本共分散行列に設定し、そこからの繰り返しを行う。以下のPythonコードにおいては、 Y が観測値の 22×222\times2 のデータ行列としている。

Y = load_data("Y.reading")  # shape: (22, 2)
theta_samples, sigma_samples, _ = gibbs(
    Y, mu0, L0, nu0, S0,
    draws=5000, burn=1000, seed=710,
)

# gibbs() の1回の更新は、次の処理に対応する。
# Sigma は現在の共分散行列である。
rng = np.random.default_rng(710)
Sigma = np.cov(Y, rowvar=False)
eye = np.eye(2)
P0 = np.linalg.solve(L0, eye)
P = np.linalg.solve(Sigma, eye)
A = P0 + len(Y) * P
Ln = np.linalg.solve(A, eye)
mun = np.linalg.solve(A, P0 @ mu0 + P @ Y.sum(axis=0))
theta = rng.multivariate_normal(mun, Ln)
residual = Y - theta
Sn = S0 + residual.T @ residual
Sigma = invwishart.rvs(df=nu0 + len(Y), scale=Sn, random_state=rng)

上の gibbs() はウォームアップ1,000回の後、5,000組の ∣θ⟩\ket{\theta} と Σ\boldsymbol{\Sigma} を保存する。完全な分析スクリプトでは初期共分散を標本共分散の0.5倍・1倍・2倍・4倍に変えた4連鎖を実行し、合計20,000標本で事後分布を近似した。各連鎖内の標本は独立ではないため、後で有効標本サイズを確認する。

数式では逆行列を使うが、コードでは solve(A, b) で A∣x⟩=∣b⟩\mathbf{A}\ket{x}=\ket{b} を解く。残差平方和は residual.T @ residual であり、これは残差の行 ⟨y(i)−θ∣\bra{y^{(i)}-\theta} を積んだ行列 R\mathbf{R} について RTR=∑i∣y(i)−θ⟩⟨y(i)−θ∣=Sθ\mathbf{R}^{\mathsf{T}}\mathbf{R}=\sum_i\ket{y^{(i)}-\theta}\bra{y^{(i)}-\theta}=\mathbf{S}_\theta を計算している。単に分散を各列ごとに計算するのではない。これにより、前後の共分散も残る。

# 分析スクリプトで保存した4連鎖、計20,000標本を読む。
with np.load("output/ch7_samples.npz") as saved:
    theta = saved["reading_theta"]
    sigma = saved["reading_sigma"]

delta = theta[..., 1] - theta[..., 0]
print(np.quantile(delta, [.025, .5, .975]))
# [ 1.45534601  6.58043968 11.72557144 ]
print(np.mean(delta > 0))
# 0.9938

この再計算では、母平均の差 Δ=θ2−θ1\Delta=\theta_2-\theta_1 の事後平均は6.59点、中央値は6.58点、95%等裾信用区間は [1.46,11.73][1.46,11.73] 点となった。また、 Pr⁡(θ2>θ1∣Y)≈0.9938\Pr(\theta_2>\theta_1\mid\mathbf{Y})\approx0.9938 である。教科書の5,000反復の例では区間が約 [1.51,11.79][1.51,11.79] 点、確率が約0.994と報告されており、モンテカルロの違いを考慮すると同じ結論である。

これは、対象とする母集団で指導後の平均点が指導前より高いという強い証拠である。ただし、このモデルだけで「指導が原因で上がった」とまでは言えない。練習、時間の経過、試験の難易度などと指導効果を分けるには、対照群など研究設計上の情報も必要である。

まず図7.2の上段で、母平均の事後分布が、前後同じという斜め線より上に位置するかを見る。下段は同じ母数の事後標本から新たな1人の得点を生成した事後予測分布である。こちらには個人差も含まれるため、はるかに広い。

図7.2の再現。上は母平均、下は次の1人の得点。50%・80%・95%最高密度領域をKDEで近似した。下段の点は実測22人、破線は前後同点。上下で軸の範囲が異なる。

母平均の分布はほとんどが斜め線の上側にある。一方、次の1人の得点の分布は線の両側へ大きく広がる。最高密度領域は、同時密度が高いところから集めて所定の確率を含めた領域であり、各座標の95%信用区間を組み合わせた長方形とは違う。ここでは図の計算量を抑えるため、全20,000標本から4個おきに選んだ5,000点について、Scott帯域幅のKDEと数値格子を使い、領域の線を近似している。数値の要約には全20,000標本を使う。

補足:平均が上がることと、全員が上がることは違う

次に、ランダムに選ばれた子供について、2回目の得点が1回目より高くなる確率を考える。新しい1人の差を D=Y~2−Y~1D=\widetilde Y_2-\widetilde Y_1 とすると、母数を固定した下では、

D∣∣θ⟩,Σ∼N(Δ,vD),vD=⟨a∣Σ∣a⟩=σ12+σ22−2σ1,2,∣a⟩=(−1,1)T.D\mid\ket{\theta},\boldsymbol{\Sigma}\sim N\left(\Delta,v_D\right),\qquad v_D=\bra{a}\boldsymbol{\Sigma}\ket{a}=\sigma_1^2+\sigma_2^2-2\sigma_{1,2},\qquad \ket{a}=(-1,1)^{\mathsf{T}}.

ここで N(Δ,vD)N(\Delta,v_D) の第2引数は分散である。また、 Φ(z)\Phi(z) は標準正規変数が zz 以下になる確率を表す。差 DD を標準化すると、

Pr⁡(D>0∣∣θ⟩,Σ)=Pr⁡(D−ΔvD>−ΔvD)=1−Φ(−ΔvD)=Φ(ΔvD).\begin{aligned} \Pr(D>0\mid\ket{\theta},\boldsymbol{\Sigma}) &=\Pr\left(\frac{D-\Delta}{\sqrt{v_D}}>-\frac{\Delta}{\sqrt{v_D}}\right)\\ &=1-\Phi\left(-\frac{\Delta}{\sqrt{v_D}}\right) =\Phi\left(\frac{\Delta}{\sqrt{v_D}}\right). \end{aligned}

最後の等号は、標準正規分布が0を中心に左右対称であることによる。例えば母平均の差が6点、個人の差の標準偏差が12点なら、 Pr⁡(D>0∣∣θ⟩,Σ)=Φ(6/12)=Φ(0.5)≈0.6915\Pr(D>0\mid\ket{\theta},\boldsymbol{\Sigma})=\Phi(6/12)=\Phi(0.5)\approx0.6915 である。平均が確実に6点上がると分かっていても、約31%の子供では得点が上がらないというモデルになる。

母数も未知なので、実際にはこの確率を事後分布で平均する。

Pr⁡(D>0∣Y)=E[Φ(ΔvD)∣Y]≈1S∑s=1SΦ(Δ[s]vD[s]).\Pr(D>0\mid\mathbf{Y}) =E\left[\Phi\left(\frac{\Delta}{\sqrt{v_D}}\right)\mid\mathbf{Y}\right] \approx\frac1S\sum_{s=1}^S \Phi\left(\frac{\Delta^{[s]}}{\sqrt{v_D^{[s]}}}\right).
from scipy.stats import norm
v_delta = sigma[..., 0, 0] + sigma[..., 1, 1] - 2*sigma[..., 0, 1]
p_next = norm.cdf(delta / np.sqrt(v_delta)).mean()
print(p_next)  # 約0.7053

ここでは各反復の母平均差と個人差を使って「この母数なら何%の子供で上がるか」を求め、その確率を全反復で平均している。先に母数だけを平均して一度だけ確率を計算する方法とは、一般に結果が異なる。この積分の近似は、予測値を一つずつ生成して「上がった回数」を数える方法より、追加の乱数誤差が少ない。結果は約70.5%であり、教科書の約71%と整合する。 約71%は得点が上がる確率であり、下がる確率ではない。 連続モデルでは同点の確率は0なので、下がる確率は約29.5%である。

次の図は、二つの差を同じ横軸で重ねたものである。細い分布は母平均の差、広い分布は次の1人の得点差であり、0より右の面積がそれぞれの正の確率を表す。

補助図:母平均の差と、次の1人の得点差。実線は母平均差の事後KDE、破線は条件付き正規予測密度を全事後標本で平均したもの。

母平均の差はほぼ正だが、個人の差には相当な負の領域がある。母平均差の95%信用区間 [1.46,11.73][1.46,11.73] 点に対し、次の1人の差の95%予測区間は約 [−18.54,31.41][-18.54,31.41] 点である。

この幅の違いは、全分散の公式でも確認できる。

Var⁡(D∣Y)=E[vD∣Y]+Var⁡(Δ∣Y)≈151.36+6.78=158.14 点2.\operatorname{Var}(D\mid\mathbf{Y}) =E[v_D\mid\mathbf{Y}]+\operatorname{Var}(\Delta\mid\mathbf{Y}) \approx151.36+6.78=158.14\text{ 点}^2.

第1項は個人差、第2項は母平均差についての不確実性である。大規模な研究では後者を小さくできるが、前者は残る。そのため、平均差が正である事後確率が1に近くても、個人にとって大きな改善があるとは限らない。

なお、正規モデルは得点を実数として扱うため、0未満や100超の値にも確率を与える。これは整数で範囲のある得点に対する近似である。ここでは教科書と同じモデルを再現し、密度の範囲を黙って切り詰める操作は行っていない。

7.5 欠測データと代入法

図7.3は、アリゾナ州フェニックス近郊に住むピマ・インディアンを先祖にもつ200人の女性の健康状態の測定値を含むデータセットから四変量を示している(Smith et al., 1988)。取り扱う変数は、glu(血糖値)、bp(拡張期血圧)、skin(皮膚の厚さ)、bmi(BMI)である。このデータセットの最初の10個を以下に示す。

glu bp skin bmi
1 86 68 28 30.2
2 195 70 33 NA
3 77 82 NA 35.8
4 NA 76 43 47.9
5 107 60 NA NA
6 97 76 27 NA
7 NA 58 31 34.3
8 193 50 16 25.9
9 142 80 15 NA
10 128 78 NA 43.3

次の図は、欠測していない値だけから見える分布と関連を確認するためのものである。対角のヒストグラムは1変数、対角以外の点は同じ女性の2変数を表す。対角以外では、その2項目がともに観測された人だけを使うため、パネルごとに人数が異なる。点は小さく半透明にしており、重なった場所ほど濃く見えるため、値が集まる部分を読み取りやすい。

図7.3の再現。対角は各変数の観測値のヒストグラム、対角以外は両変数が観測された人だけの散布図。列が横軸、行が縦軸。欠測は0として描かない。

skinとbmiの点は全体として右上がりに並ぶ。ただしskinが99 mmという大きい観測値もあり、すべての点が同じ傾向へ密集するわけではない。この値も除外せず図と分析に含めている。したがって片方が欠けていても、もう片方を知っていれば、集団全体の平均より個人に合った予測ができそうである。

gluは経口ブドウ糖負荷試験の血糖濃度(mg/dL)、bpは拡張期血圧(mmHg)、skinは上腕三頭筋部の皮下脂肪厚(mm)、bmiはBMI(kg/m²)である。変数の定義と200人という標本の出所は MASSのデータ説明 による。このデータは母集団全体を無条件に代表するとは限らず、ここでは多変量の推測と欠測値予測の教材として用いる。

NAは、その人のその項目が記録されていないことを表す。例えば2人目ではglu、bp、skinは分かるが、bmiだけが分からない。欠測は、質問への未回答、記録漏れ、検査の省略などによって起こる。

ここで2人目を丸ごと除くと、観測できた三つの値まで使わなくなる。一方、bmiを全員の平均で埋め、その値を実測値と同じように扱うと、「本当は何だったか分からない」という不確実性が消えてしまう。

本節では、観測した部分をそのまま利用し、欠測した部分は分布で表す。まず観測データの尤度を確認し、次に欠測値を繰り返し生成する計算へ進む。ここでいう 代入・補完 は、正解だと思う値を一度だけ書き込むことではない。ありうる値をいくつも生成し、値によって分析結果がどの程度変わるかも含めて推測する方法である。

観測されている部分を使う尤度

データが不足している被験者から得られる情報を慎重に考えてみる。 ∣O(i)⟩=(O1(i),…,Op(i))T\ket{O^{(i)}}=(O^{(i)}_1,\ldots,O^{(i)}_p)^{\mathsf{T}} を ii 番目の人の観測の有無を表すベクトルとし、観測されていれば Oj(i)=1O^{(i)}_j=1 、欠測なら Oj(i)=0O^{(i)}_j=0 とする。また、 ∣yobs(i)⟩\ket{y^{(i)}_{\mathrm{obs}}} はその人の観測された成分だけを、 ∣ymis(i)⟩\ket{y^{(i)}_{\mathrm{mis}}} は欠測した成分だけを並べたベクトルとする。

まず教科書の計算に対応する、 ∣O(i)⟩\ket{O^{(i)}} と ∣Y(i)⟩\ket{Y^{(i)}} が独立で、欠測の仕組みのパラメータも ∣θ⟩,Σ\ket{\theta},\boldsymbol{\Sigma} と別である場合を考える。このとき、

p(∣o(i)⟩,∣yobs(i)⟩∣∣θ⟩,Σ)=p(∣o(i)⟩) p(∣yobs(i)⟩∣∣θ⟩,Σ).p(\ket{o^{(i)}},\ket{y^{(i)}_{\mathrm{obs}}}\mid\ket{\theta},\boldsymbol{\Sigma}) =p(\ket{o^{(i)}})\,p(\ket{y^{(i)}_{\mathrm{obs}}}\mid\ket{\theta},\boldsymbol{\Sigma}).

∣θ⟩,Σ\ket{\theta},\boldsymbol{\Sigma} についての推測では p(∣o(i)⟩)p(\ket{o^{(i)}}) を定数として扱える。観測部分の密度は、欠測部分を積分消去して求める。

p(∣yobs(i)⟩∣∣θ⟩,Σ)=∫p(∣yobs(i)⟩,∣ymis(i)⟩∣∣θ⟩,Σ) dymis(i).p(\ket{y^{(i)}_{\mathrm{obs}}}\mid\ket{\theta},\boldsymbol{\Sigma}) =\int p(\ket{y^{(i)}_{\mathrm{obs}}},\ket{y^{(i)}_{\mathrm{mis}}}\mid\ket{\theta},\boldsymbol{\Sigma})\,dy^{(i)}_{\mathrm{mis}}.

積分は、「観測できなかった値の可能性をすべて足し合わせる」操作である。例えば、1回目が58点、2回目が欠測なら、2回目が40点だった場合、50点だった場合などを連続的に足し合わせる。その結果、1回目が58点であったことだけの密度が残る。欠測値を0や平均に決めてから密度を計算するのとは異なる。

例えば ∣y(i)⟩=(y1(i),NA,y3(i),NA)T\ket{y^{(i)}}=(y^{(i)}_1,\text{NA},y^{(i)}_3,\text{NA})^{\mathsf{T}} なら、 ∣yobs(i)⟩=(y1(i),y3(i))T\ket{y^{(i)}_{\mathrm{obs}}}=(y^{(i)}_1,y^{(i)}_3)^{\mathsf{T}} であり、使うのは第1、第3成分の二変量正規密度である。その平均は (θ1,θ3)T(\theta_1,\theta_3)^{\mathsf{T}} 、共分散は Σ\boldsymbol{\Sigma} の第1、第3行・列を取り出した部分行列になる。

つまり、欠測値があるからその人の情報をすべて捨てる必要はない。観測したgluとskinは、そのまま推測に役立つ。ただし人ごとに観測した成分が異なるため、こうした尤度を直接組み合わせると共役な形は崩れる。そこで、未知の欠測値を一時的に生成し、完全データの計算を使えるようにするのが次のギブス法である。欠測を最終的に積分消去するという目標自体は変わらない。

補足:MCAR、MAR、MNARを区別する

提供原稿は、観測の有無と全測定値が独立という条件を「MAR」と呼んでいる。しかし通常、この強い条件は MCAR(完全にランダムな欠測) と呼ばれる。MARはそれより弱い条件である。

条件 欠測確率が何に依存してよいか 説明用の例
MCAR 測定値のどれにも依存しない 乱数で10%のセルを隠す
MAR 観測済みの値には依存してよいが、それを条件とすると未観測値には依存しない 全員で観測した年齢が高いほど、別の検査が省略されやすい
MNAR 観測済みの情報を考慮しても、未観測値自体に依存する 他の観測が同じでも、本当の検査値が高い人ほどその値を記録されにくい

MARの条件は、欠測の仕組みのパラメータを ψ\psi として、観測されたパターンについて、

p(O∣Yobs,Ymis,ψ)=p(O∣Yobs,ψ)p(\mathbf{O}\mid\mathbf{Y}_{\mathrm{obs}},\mathbf{Y}_{\mathrm{mis}},\psi) =p(\mathbf{O}\mid\mathbf{Y}_{\mathrm{obs}},\psi)

と表せる。さらに、欠測の仕組みと測定モデルのパラメータが別々に動かせ、ベイズ推測では事前分布も独立に指定できるなら、欠測の仕組みを無視した尤度推測が可能になる。Rubin(1976)

「仕組みを無視できる」とは、欠測する確率のモデルを別に推定しなくても、観測した部分の尤度から ∣θ⟩,Σ\ket{\theta},\boldsymbol{\Sigma} を推測できるという意味である。欠測した値を確定値として扱ってよい、という意味ではない。また、「MARだから完全な人だけ残せばよい」という意味でもない。

さらに、観測データだけからMARを一般に確かめられるわけでもない。本章の例では、完全データから乱数でセルを隠したという生成手順が分かっているため、MCARという設定が妥当である。

補足:平均で埋めた表を完成データとみなすと何が失われるか

仮にある列が40、60、欠測、欠測だったとする。観測2個の標本分散は [(40−50)2+(60−50)2]/(2−1)=200[(40-50)^2+(60-50)^2]/(2-1)=200 である。欠測を50で固定して、4個を本当に観測したように扱うと、標本分散は 200/(4−1)=66.7200/(4-1)=66.7 まで小さくなる。

埋めた値を確実な観測として扱うと、個人差を小さく見積もり、推測も過度に確信的になりやすい。さらに他の変数との関連が壊れることもある。列平均は計算を始めるための初期値としては便利だが、最終的な欠測値の答えにはしない。

欠測データに対するギブスサンプリング

欠測がある場合、未知なのは母数だけではない。記録されなかった測定値も未知である。そこで、7.4節で更新していた平均と共分散に欠測値も加え、三種類の未知量を順番に更新する。これにより、母数の推測と欠測値の予測を一つの計算で行える。

いま、 Y\mathbf{Y} を n×pn\times p の測定値の行列、 O\mathbf{O} を同じ大きさの観測指標の行列とする。 O\mathbf{O} の第 ii 行は ⟨O(i)∣\bra{O^{(i)}} であり、その要素は観測されていれば1、欠測なら0である。

このとき、行列 Y\mathbf{Y} は次の二つで構成されている。

  • Yobs={yj(i):oj(i)=1}\mathbf{Y}_{\text{obs}}=\{y^{(i)}_j:o^{(i)}_j=1\} (観測できた値)。
  • Ymis={yj(i):oj(i)=0}\mathbf{Y}_{\text{mis}}=\{y^{(i)}_j:o^{(i)}_j=0\} (観測できなかった値)。

観測した部分を手掛かりとして求めたいのは、母数と欠測値を合わせた事後分布 p(∣θ⟩,Σ,Ymis∣Yobs)p(\ket{\theta},\boldsymbol{\Sigma},\mathbf{Y}_{\text{mis}}\mid\mathbf{Y}_{\text{obs}}) である。そのため、二段階だった更新に欠測値を生成する段階を追加する。初期値 (Σ[0],Ymis[0])(\boldsymbol{\Sigma}^{[0]},\mathbf{Y}_{\text{mis}}^{[0]}) が与えられたとき、 (∣θ[s]⟩,Σ[s],Ymis[s])(\ket{\theta^{[s]}},\boldsymbol{\Sigma}^{[s]},\mathbf{Y}_{\text{mis}}^{[s]}) から (∣θ[s+1]⟩,Σ[s+1],Ymis[s+1])(\ket{\theta^{[s+1]}},\boldsymbol{\Sigma}^{[s+1]},\mathbf{Y}_{\text{mis}}^{[s+1]}) を次の手順により生成する。

  1. ∣θ[s+1]⟩\ket{\theta^{[s+1]}} を p(∣θ⟩∣Yobs,Ymis[s],Σ[s])p(\ket{\theta}\mid\mathbf{Y}_{\text{obs}},\mathbf{Y}_{\text{mis}}^{[s]},\boldsymbol{\Sigma}^{[s]}) から生成する。
  2. Σ[s+1]\boldsymbol{\Sigma}^{[s+1]} を p(Σ∣Yobs,Ymis[s],∣θ[s+1]⟩)p(\boldsymbol{\Sigma}\mid\mathbf{Y}_{\text{obs}},\mathbf{Y}_{\text{mis}}^{[s]},\ket{\theta^{[s+1]}}) から生成する。
  3. Ymis[s+1]\mathbf{Y}_{\text{mis}}^{[s+1]} を p(Ymis∣Yobs,∣θ[s+1]⟩,Σ[s+1])p(\mathbf{Y}_{\text{mis}}\mid\mathbf{Y}_{\text{obs}},\ket{\theta^{[s+1]}},\boldsymbol{\Sigma}^{[s+1]}) から生成する。

ステップ1と2では、観測値と現在の補完値を合わせた表を使う。その表を一時的な完全データとみなせば、7.2節と7.3節の式で母数を更新できる。ステップ3では、更新した母数を使って欠測値を引き直す。観測値そのものは、どの段階でも変更しない。

なぜ欠測値を人ごとに生成できるのかも確かめておく。 ∣θ⟩,Σ\ket{\theta},\boldsymbol{\Sigma} を固定すると、各人のデータは独立なので、

p(Ymis∣Yobs,∣θ⟩,Σ)=∏i=1np(∣ymis(i)⟩,∣yobs(i)⟩∣∣θ⟩,Σ)∏i=1np(∣yobs(i)⟩∣∣θ⟩,Σ)=∏i=1np(∣ymis(i)⟩∣∣yobs(i)⟩,∣θ⟩,Σ).\begin{aligned} p(\mathbf{Y}_{\mathrm{mis}}\mid\mathbf{Y}_{\mathrm{obs}},\ket{\theta},\boldsymbol{\Sigma}) &=\frac{\prod_{i=1}^n p(\ket{y^{(i)}_{\mathrm{mis}}},\ket{y^{(i)}_{\mathrm{obs}}}\mid\ket{\theta},\boldsymbol{\Sigma})} {\prod_{i=1}^n p(\ket{y^{(i)}_{\mathrm{obs}}}\mid\ket{\theta},\boldsymbol{\Sigma})}\\ &=\prod_{i=1}^n p(\ket{y^{(i)}_{\mathrm{mis}}}\mid\ket{y^{(i)}_{\mathrm{obs}}},\ket{\theta},\boldsymbol{\Sigma}). \end{aligned}

分母で各人の観測部分の密度を割ると、それぞれの条件付き密度になる。したがって、「その人の観測値を知った下で、その人の欠測値を生成する」処理を各人に行えばよい。ただし、同じ人の複数の欠測項目は相関をもちうるので、互いに独立に生成してよいとは限らない。

観測した項目と欠けた項目に、行列を分ける

aa を観測項目の番号の集合、 bb を欠測項目の番号の集合とする。例えば4変数をglu、bp、skin、bmiの順に並べ、gluとbpだけを観測した人なら、 a={1,2}a=\{1,2\} 、 b={3,4}b=\{3,4\} である。記号の意味は次の通りである。教科書は部分ベクトルを θ[b]\theta_{[b]} と角括弧付きで書くが、本ノートでは角括弧を反復番号 [s]^{[s]} に使うので、下付きの ∣θb⟩\ket{\theta_b} と書く。下付き添え字が「どの成分か」を表すという規約の自然な拡張であり、 ∣θb⟩\ket{\theta_b} は ∣θ⟩\ket{\theta} から集合 bb の成分だけを抜き出したベクトルである。

記号 取り出す部分 この例での内容
∣ya⟩\ket{y_a} 、 ∣θa⟩\ket{\theta_a} 観測項目の値、母平均 gluとbpの2成分
∣θb⟩\ket{\theta_b} 欠測項目の母平均 skinとbmiの2成分
Σa,a\boldsymbol{\Sigma}_{a,a} 観測項目同士の共分散 gluとbpの2行2列
Σb,b\boldsymbol{\Sigma}_{b,b} 欠測項目同士の共分散 skinとbmiの2行2列
Σb,a\boldsymbol{\Sigma}_{b,a} 欠測項目と観測項目の共分散 行がskin・bmi、列がglu・bp

このように項目を分けても、条件付き分布は正規分布になる。

∣Yb⟩∣∣Ya⟩=∣ya⟩,∣θ⟩,Σ∼N∣b∣(∣θb∣a⟩,Σb∣a).\ket{Y_b}\mid\ket{Y_a}=\ket{y_a},\ket{\theta},\boldsymbol{\Sigma}\sim N_{\lvert b\rvert}(\ket{\theta_{b\mid a}},\boldsymbol{\Sigma}_{b\mid a}).

∣b∣\lvert b\rvert は欠測項目の数である。平均は、欠測項目の母平均に、観測値から分かる調整分を足したものとなる。

∣θb∣a⟩=∣θb⟩+Σb,aΣa,a−1∣ya−θa⟩.(7.10)\ket{\theta_{b\mid a}} =\ket{\theta_b}+\boldsymbol{\Sigma}_{b,a}\boldsymbol{\Sigma}_{a,a}^{-1}\ket{y_a-\theta_a}. \tag{7.10}

右辺を順番に読むと、「観測値がその母平均からどれだけずれたか」を ∣ya−θa⟩\ket{y_a-\theta_a} で求め、そのずれを行列 Σb,aΣa,a−1\boldsymbol{\Sigma}_{b,a}\boldsymbol{\Sigma}_{a,a}^{-1} によって欠測項目の空間へ移し、出発点の母平均 ∣θb⟩\ket{\theta_b} に加えている。 ∣ya−θa⟩\ket{y_a-\theta_a} は ∣a∣\lvert a\rvert 次元、結果は ∣b∣\lvert b\rvert 次元なので、この行列は ∣b∣×∣a∣\lvert b\rvert\times\lvert a\rvert である。例えばskinがbmiと正に関連するなら、bmiが平均より高いことはskinの予測を上げる手掛かりになる。

一方、共分散は次のようになる。

Σb∣a=Σb,b−Σb,aΣa,a−1Σa,b.(7.11)\boldsymbol{\Sigma}_{b\mid a} =\boldsymbol{\Sigma}_{b,b}-\boldsymbol{\Sigma}_{b,a}\boldsymbol{\Sigma}_{a,a}^{-1}\boldsymbol{\Sigma}_{a,b}. \tag{7.11}

こちらは「元々のばらつき」から「観測項目で説明できるばらつき」を引く式である。母数を固定して比較すれば、各欠測項目の分散は観測値を知る前より増えない。ただし、右辺は行列の引き算なので、対角以外の共分散まで一つずつ数値が小さくなるとは限らない。また、母数自体の不確実性はこの式だけには含まれず、母数も更新するギブス法で取り込む。

補足:条件付き正規分布を数字で計算する

再び得点の説明用モデル ∣θ⟩=(50,50)T\ket{\theta}=(50,50)^{\mathsf{T}} 、 Σ=(644848144)\boldsymbol{\Sigma}=\begin{pmatrix}64&48\\48&144\end{pmatrix} を用いる。1回目の58点は観測し、2回目だけが欠けているとしよう。式(7.10)より、

E[Y2∣Y1=58,∣θ⟩,Σ]=50+4864(58−50)=56.E[Y_2\mid Y_1=58,\ket{\theta},\boldsymbol{\Sigma}] =50+\frac{48}{64}(58-50)=56.

1回目が平均より8点高いため、2回目の予測も平均50点より6点高くなる。一方、式(7.11)より、

Var⁡(Y2∣Y1=58,∣θ⟩,Σ)=144−48264=108.\operatorname{Var}(Y_2\mid Y_1=58,\ket{\theta},\boldsymbol{\Sigma}) =144-\frac{48^2}{64}=108.

したがって、条件付き分布は N(56,108)N(56,108) 、標準偏差は約10.39点である。母数を固定した95%条件付き予測区間は、

56±1.96108≈[35.63,76.37]56\pm1.96\sqrt{108}\approx[35.63,76.37]

となる。「推定値が56点だから欠測は56だった」と断定してよいわけではない。この分布の幅を残して生成する必要がある。

次の図で、1回目を知らない場合と、58点だと分かった場合の2回目の分布を比べる。平均の移動と、分布の幅の縮小を別々に見るとよい。

補助図:1回目の得点を知る前後の2回目の分布。母数は固定した説明用の例。周辺分布N(50,144)と条件付き分布N(56,108)。

情報を加えると分布の中心は56点へ移動し、分散は144から108へ減る。ただし幅は0にならない。2変量では、この変化を相関 ρ\rho で書くとさらに見通しがよい。 σ1,2=ρσ1σ2\sigma_{1,2}=\rho\sigma_1\sigma_2 を代入すると、

E[Y2∣Y1=y1,∣θ⟩,Σ]=θ2+ρσ2σ1(y1−θ1),Var⁡(Y2∣Y1=y1,∣θ⟩,Σ)=σ22(1−ρ2).\begin{aligned} E[Y_2\mid Y_1=y_1,\ket{\theta},\boldsymbol{\Sigma}] &=\theta_2+\rho\frac{\sigma_2}{\sigma_1}(y_1-\theta_1),\\ \operatorname{Var}(Y_2\mid Y_1=y_1,\ket{\theta},\boldsymbol{\Sigma}) &=\sigma_2^2(1-\rho^2). \end{aligned}

今回の ρ=0.5\rho=0.5 なら、分散は元の 1−0.52=0.751-0.5^2=0.75 倍になる。正の相関でも負の相関でも、絶対値が大きいほど、片方から他方を予測しやすい。一方、相関0なら平均も分散も変わらない。これらは母数を固定した正規モデルでの性質である。

補足:なぜこの条件付き分布になるのか

B=Σb,aΣa,a−1\mathbf{B}=\boldsymbol{\Sigma}_{b,a}\boldsymbol{\Sigma}_{a,a}^{-1} と置き、

∣ε⟩=∣Yb−θb⟩−B∣Ya−θa⟩\ket{\varepsilon}=\ket{Y_b-\theta_b}-\mathbf{B}\ket{Y_a-\theta_a}

という残差を考える。すると、

Cov⁡(∣ε⟩,∣Ya⟩)=E[∣ε⟩⟨Ya−θa∣]=Σb,a−BΣa,a=0.\operatorname{Cov}(\ket{\varepsilon},\ket{Y_a}) =E\left[\ket{\varepsilon}\bra{Y_a-\theta_a}\right] =\boldsymbol{\Sigma}_{b,a}-\mathbf{B}\boldsymbol{\Sigma}_{a,a}=\mathbf{0}.

ここで 0\mathbf{0} は零行列である。 ∣ε⟩\ket{\varepsilon} は、観測項目との線形な関係では説明しきれない残りである。元の変数が同時正規であり、その線形結合も同時正規なので、 ∣ε⟩\ket{\varepsilon} と ∣Ya⟩\ket{Y_a} は共分散0から独立と分かる。したがって、 ∣Ya⟩=∣ya⟩\ket{Y_a}=\ket{y_a} が分かっても、残差の平均0や共分散は変わらない。

残差の共分散は、 ∣U⟩=∣Yb−θb⟩\ket{U}=\ket{Y_b-\theta_b} 、 ∣V⟩=∣Ya−θa⟩\ket{V}=\ket{Y_a-\theta_a} と置いて、 ∣ε⟩=∣U⟩−B∣V⟩\ket{\varepsilon}=\ket{U}-\mathbf{B}\ket{V} を展開すれば求まる。 B∣V⟩\mathbf{B}\ket{V} の転置は ⟨V∣BT\bra{V}\mathbf{B}^{\mathsf{T}} であり、 E[∣U⟩⟨V∣]=Σb,aE[\ket{U}\bra{V}]=\boldsymbol{\Sigma}_{b,a} などを使う。

Cov⁡(∣ε⟩)=E[(∣U⟩−B∣V⟩)(⟨U∣−⟨V∣BT)]=Σb,b−Σb,aBT−BΣa,b+BΣa,aBT=Σb,b−Σb,aΣa,a−1Σa,b.\begin{aligned} \operatorname{Cov}(\ket{\varepsilon}) &=E\left[\left(\ket{U}-\mathbf{B}\ket{V}\right)\left(\bra{U}-\bra{V}\mathbf{B}^{\mathsf{T}}\right)\right]\\ &=\boldsymbol{\Sigma}_{b,b}-\boldsymbol{\Sigma}_{b,a}\mathbf{B}^{\mathsf{T}} -\mathbf{B}\boldsymbol{\Sigma}_{a,b}+\mathbf{B}\boldsymbol{\Sigma}_{a,a}\mathbf{B}^{\mathsf{T}}\\ &=\boldsymbol{\Sigma}_{b,b}-\boldsymbol{\Sigma}_{b,a}\boldsymbol{\Sigma}_{a,a}^{-1}\boldsymbol{\Sigma}_{a,b}. \end{aligned}

最後の行では、 B=Σb,aΣa,a−1\mathbf{B}=\boldsymbol{\Sigma}_{b,a}\boldsymbol{\Sigma}_{a,a}^{-1} を代入した。引いている二つの項と最後に足す項が同じ行列になるので、差し引き一つ分が残る。

あとは ∣Yb⟩=∣θb⟩+B∣Ya−θa⟩+∣ε⟩\ket{Y_b}=\ket{\theta_b}+\mathbf{B}\ket{Y_a-\theta_a}+\ket{\varepsilon} に ∣Ya⟩=∣ya⟩\ket{Y_a}=\ket{y_a} を代入すればよい。最初の二項は既知の中心、最後の ∣ε⟩\ket{\varepsilon} が残るばらつきである。これが式(7.10)、(7.11)の由来である。

欠測が二つ以上あるときは、残差同士にも相関がある。そのため 欠測成分を一つの多変量正規分布からまとめて生成する 。例えばskinとbmiが両方欠けている人について、それぞれの周辺分布から独立に引くと、二つの関連を失う。順番に条件付き分布から更新する別のギブス法も可能だが、ここでは一括更新する。

補足:欠測値を動かしても、観測した値は動かさない

1回の更新でまず平均と共分散を生成し、その母数と観測値を使って欠測部分だけを生成する。次の反復では、その補完された表を使って母数を再び更新する。この繰り返しは、

p(∣θ⟩,Σ,Ymis∣Yobs)p(\ket{\theta},\boldsymbol{\Sigma},\mathbf{Y}_{\mathrm{mis}}\mid\mathbf{Y}_{\mathrm{obs}})

を近似するための データ拡大法 である。「拡大」とは観測人数を水増しする意味ではなく、計算で扱う未知量に欠測値を加えるという意味である。

保存後に母数だけ集計する操作は、次の積分に対応する。

p(∣θ⟩,Σ∣Yobs)=∫p(∣θ⟩,Σ,Ymis∣Yobs) dYmis.p(\ket{\theta},\boldsymbol{\Sigma}\mid\mathbf{Y}_{\mathrm{obs}}) =\int p(\ket{\theta},\boldsymbol{\Sigma},\mathbf{Y}_{\mathrm{mis}}\mid\mathbf{Y}_{\mathrm{obs}})\,d\mathbf{Y}_{\mathrm{mis}}.

例えば保存標本に、ある人の欠測得点が45点の反復、56点の反復、63点の反復があっても、それぞれに対応する母数をすべて集計する。特定の補完値が正解だったと決めず、ありうる補完値をまたいで平均することになる。逆に、その欠測セルだけを集計すれば、そのセルの予測分布を得る。

以下のPythonコードは、上記の手順1、2、3で説明した欠測データのギブスサンプリングの手順を実装したものである。

from ch7_examples import prior

Y = load_data("Y.pima.miss")  # shape: (200, 4)
mu0, L0, nu0, S0 = prior("pima")
# mu0 = [120, 64, 26, 26]
# sd0 = mu0 / 2
# L0 の事前相関は対角が1、対角以外が0.1
observed = np.isfinite(Y)     # True は観測、False は欠測
Y_full = np.where(observed, Y, np.nanmean(Y, axis=0))

theta_samples, sigma_samples, missing_samples = gibbs(
    Y, mu0, L0, nu0, S0,
    draws=2500, burn=1000, seed=750,
)
# 1行について、欠測成分を条件付き正規分布から同時に更新する。
# theta と Sigma は、その反復で更新された母数とする。
theta = theta_samples[-1]
Sigma = sigma_samples[-1]
i = 4  # Pythonでは0始まり。5人目はskinとbmiの2項目が欠測。
a = np.flatnonzero(observed[i])
b = np.flatnonzero(~observed[i])
if len(b):
    Saa = Sigma[np.ix_(a, a)]
    Sab = Sigma[np.ix_(a, b)]
    beta = np.linalg.solve(Saa, Sab).T
    conditional_mean = theta[b] + beta @ (Y_full[i, a] - theta[a])
    conditional_cov = Sigma[np.ix_(b, b)] - beta @ Sab
    Y_full[i, b] = rng.multivariate_normal(conditional_mean, conditional_cov)

事前分布の平均 ∣μ0⟩=(120,64,26,26)T\ket{\mu_0}=(120,64,26,26)^{\mathsf{T}} は、教科書が全国平均を参考にしたとして提示している値を使用し、事前分散は正の部分に事前分布の質量の大部分が存在するよう設定している。この集団またはこれらの変数に精通している専門家によって提供されるような、より多くの情報に基づいた事前分布を設計することももちろん可能である。

完全な分析スクリプトでは、1,000回のウォームアップと2,500回の保存を4連鎖で行い、計10,000標本を用いる。 E[∣θ⟩∣Yobs]E[\ket{\theta}\mid\mathbf{Y}_{\mathrm{obs}}] は保存した ∣θ⟩\ket{\theta} の平均、95%等裾信用区間はその2.5%点と97.5%点で近似できる。共分散行列の事後期待値も、各行列の成分ごとの平均で求められる。

今回の母平均の事後平均は、gluが123.41、bpが71.05、skinが29.33、bmiが32.17であった。ただし、変数間の関連を見るときは、単位に依存する共分散より、単位を除いた相関係数の方が比較しやすい。

各共分散行列 Σ=(σj,k)\boldsymbol{\Sigma}=(\sigma_{j,k}) には対応する相関係数行列

C=(cj,k),cj,k=σj,kσj,jσk,k\mathbf{C}=(c_{j,k}),\qquad c_{j,k}=\frac{\sigma_{j,k}}{\sqrt{\sigma_{j,j}\sigma_{k,k}}}

がある。次のコードで、共分散の各事後標本を相関行列へ変換できる。

# 配列の末尾2軸を共分散行列として扱う。
# sigma_samples.shape == (draws, 4, 4)
sd = np.sqrt(np.diagonal(sigma_samples, axis1=-2, axis2=-1))
COR = sigma_samples / (sd[..., :, None] * sd[..., None, :])
cor_mean = COR.mean(axis=0)
cor_interval = np.quantile(COR, [.025, .975], axis=0)

このコードの出力の形は (draws, 4, 4) である。以下の数値は、1連鎖の抜粋ではなく完全な分析スクリプトの4連鎖をまとめた結果である。4連鎖をまとめた保存配列なら (4, 2500, 4, 4) となる。R版とは軸の順序が異なる。 C\mathbf{C} の事後期待値は

E[C∣Yobs]=(1.000.220.250.190.221.000.250.240.250.251.000.650.190.240.651.00)E[\mathbf{C}\mid\mathbf{Y}_{\mathrm{obs}}] = \begin{pmatrix} 1.00 & 0.22 & 0.25 & 0.19\\ 0.22 & 1.00 & 0.25 & 0.24\\ 0.25 & 0.25 & 1.00 & 0.65\\ 0.19 & 0.24 & 0.65 & 1.00 \end{pmatrix}

となる。教科書の相関の事後平均ではglu–bpが0.23であり、丸めとモンテカルロ誤差による小さな違いがある。他の値は小数第2位まで一致する。相関の各事後標本の分位点から求めた95%等裾信用区間を、図7.4の左列に示す。

相関は各反復の共分散から計算し、その後に平均する。一般には、

E[σj,kσj,jσk,k∣Yobs]≠E[σj,k∣Yobs]E[σj,j∣Yobs]E[σk,k∣Yobs].E\left[\frac{\sigma_{j,k}}{\sqrt{\sigma_{j,j}\sigma_{k,k}}}\mid\mathbf{Y}_{\mathrm{obs}}\right] \ne \frac{E[\sigma_{j,k}\mid\mathbf{Y}_{\mathrm{obs}}]} {\sqrt{E[\sigma_{j,j}\mid\mathbf{Y}_{\mathrm{obs}}]E[\sigma_{k,k}\mid\mathbf{Y}_{\mathrm{obs}}]}}.

例えば二つの事後標本が (10.80.81)\begin{pmatrix}1&0.8\\0.8&1\end{pmatrix} と (1002020100)\begin{pmatrix}100&20\\20&100\end{pmatrix} なら、相関の平均は (0.8+0.2)/2=0.5(0.8+0.2)/2=0.5 である。一方、行列を先に平均すると相関は 10.4/50.5≈0.20610.4/50.5\approx0.206 となる。非線形変換と平均は順序を入れ替えられない。

予測と回帰

多変量モデルは、他の変数が与えられた場合に一つ以上の変数を予測するためによく使用される。たとえば、bp, skin, bmi の測定に基づく glu の予測モデルを考えてみよう。式(7.10)で a={2,3,4}a=\{2,3,4\} と b={1}b=\{1\} とすると、 ∣ya⟩=(bp,skin,bmi)T\ket{y_a}=(\text{bp},\text{skin},\text{bmi})^{\mathsf{T}} の値を与えたときの yb=gluy_b=\text{glu} の条件付き平均は

E[yb∣∣θ⟩,Σ,∣ya⟩]=θb+⟨βb∣a∣ya−θa⟩E[y_b\mid\ket{\theta},\boldsymbol{\Sigma},\ket{y_a}] =\theta_b+\braket{\beta_{b\mid a}|y_a-\theta_a}

となる。ただし、 ⟨βb∣a∣=Σb,aΣa,a−1\bra{\beta_{b\mid a}}=\boldsymbol{\Sigma}_{b,a}\boldsymbol{\Sigma}_{a,a}^{-1} である。欠測側が1項目だけなので、 Σb,a\boldsymbol{\Sigma}_{b,a} は 1×31\times3 の行ベクトルであり、係数も bra になる。右辺は「切片 θb\theta_b + 係数ベクトルと説明変数の偏差の内積」なので、線形回帰モデルの形として見なすことができる。

補足:相関係数と回帰係数は異なる問いに答える

相関は、二つの変数だけの関連を表す。一方、重回帰係数は、他の変数の値を一定にしたときの関連を表す。例えば、skinの大きい人ほどbmiもgluも高い傾向があれば、bmiとgluを二つだけ並べても関連が見える。しかし、skinが同じ人同士を比べたときにもgluの高さがbmiの予測に役立つかは、別の問いである。重回帰係数は、その追加の関連を表す。

また、回帰係数には単位がある。bmiを目的変数、skinを説明変数にすると、skin 1 mm当たりのbmiの変化となる。単位の異なる係数を同じ軸で比べるため、教科書の図作成コードは、共分散 Σ\boldsymbol{\Sigma} ではなく相関行列 C\mathbf{C} から係数を計算している。したがって図7.4の右列は 標準化回帰係数 である。

⟨βj,−jstd∣=Cj,−jC−j,−j−1.\bra{\beta^{\mathrm{std}}_{j,-j}}=\mathbf{C}_{j,-j}\mathbf{C}_{-j,-j}^{-1}.

例えば標準化したskinの係数が0.63なら、他の変数を一定にしてskinが1標準偏差高いと、bmiの条件付き平均は0.63標準偏差高いという意味である。生の単位の係数は βj,kraw=βj,kstdσj/σk\beta^{\mathrm{raw}}_{j,k}=\beta^{\mathrm{std}}_{j,k}\sigma_j/\sigma_k である。

補足:二つの説明変数なら、違いを手で確かめられる

標準化した目的変数 BB と二つの説明変数 G,SG,S について、相関が rBG=0.20r_{BG}=0.20 、 rBS=0.65r_{BS}=0.65 、 rGS=0.25r_{GS}=0.25 だとする。ここでは B,G,SB,G,S をそれぞれbmi、glu、skinに対応する説明用の変数名とする。標準化とは、各変数から平均を引き、標準偏差で割ることである。

係数を求める式(7.10)の行列積は、この例では次のようになる。

(βG,βS)=(rBG,rBS)(1rGSrGS1)−1=11−rGS2(rBG,rBS)(1−rGS−rGS1).\begin{aligned} (\beta_G,\beta_S) &=(r_{BG},r_{BS}) \begin{pmatrix}1&r_{GS}\\r_{GS}&1\end{pmatrix}^{-1}\\ &=\frac{1}{1-r_{GS}^2}(r_{BG},r_{BS}) \begin{pmatrix}1&-r_{GS}\\-r_{GS}&1\end{pmatrix}. \end{aligned}

したがって GG の係数は、

βG=rBG−rBSrGS1−rGS2=0.20−0.65×0.251−0.252=0.04.\beta_G=\frac{r_{BG}-r_{BS}r_{GS}}{1-r_{GS}^2} =\frac{0.20-0.65\times0.25}{1-0.25^2} =0.04.

周辺相関は0.20でも、 SS を条件とした係数は0.04と小さい。これは説明用に丸めた3変数の計算であり、4変数を使う実データ分析の係数そのものではない。実データでも同じような違いが見られるか、次の図で比べる。

図7.4の再現。左列は周辺相関、右列は各行の変数を目的変数とする標準化回帰係数。点は事後中央値、横線は95%等裾信用区間。全パネルで横軸を共通にした。

skinとbmiの強い関連は、他の変数を調整した後も残る。一方、bmiを目的変数とするgluの標準化係数は中央値0.018、95%信用区間 [−0.110,0.146][-0.110,0.146] であり、0付近にある。skinの係数は中央値0.630、区間 [0.524,0.719][0.524,0.719] である。

ただし、「区間に0が含まれる」ことは、係数が厳密に0であることの証明ではない。またここで調整したのはskinだけでなく、bpを含む残りのすべての変数である。正規モデルで係数が厳密に0なら条件付き独立になるが、この連続事前分布の分析からは、主に「追加の関連が小さく、符号にも不確実性がある」と読むのが適切である。

サンプル外検証:隠した値を予測できるか

実は今回のデータには、欠測のない完全なデータ行列がある。各要素を確率10%でNAへ置き換えることによって、教材用の欠測データが作られている。保存されたデータでは、800セルのうち85セル、すなわち10.625%が欠測である。「確率10%で隠す」ので、実現した割合はちょうど10%とは限らない。

変数 観測セル数 欠測セル数
glu 185 15
bp 177 23
skin 175 25
bmi 178 22

全項目がそろうのは200人中127人である。完全な人だけ使う方法では、73人の観測済みの値まで失う。この分析では200人全員の観測部分を使った。

本ノートのコードは、推定時には Y.pima.miss だけを読む。 Y.pima.full はギブスサンプリングが終了してから検証用に読み込む。したがって隠した真値は、母数推定にも補完にも使っていない。

次の図では、横軸に隠した実測値、縦軸にその欠測セルの事後予測平均を置く。対角線へ近いほど点予測がよい。さらに、点予測だけでは分からない不確実性を見るため、教科書の図へ95%等裾予測区間を加えた。

図7.5の再現と予測区間の追加。1点は1欠測セル。縦線は各セルの95%等裾予測区間。各パネル内で縦横の尺度をそろえた。変数間では単位が異なる。

skinとbmiは相互の関連が強く、他方が観測されていると予測に役立つ。ただし点が対角線へ完全に並ぶわけではない。例えば2人目のbmiは、事後予測平均33.49、95%区間 [24.18,42.74][24.18,42.74] であり、隠した実測値は25.1である。予測平均だけを「正解」とすると大きく外れているように見えるが、実測値はこの広い予測区間に入っている。

精度を数値で見るため、各変数について、隠したセルのRMSEを計算する。

RMSE⁡j=1mj∑i:oj(i)=0(y^j(i)−(yj(i))true)2.\operatorname{RMSE}_j =\sqrt{\frac1{m_j}\sum_{i:o^{(i)}_j=0} \left(\widehat y^{(i)}_j-(y^{(i)}_j)^{\mathrm{true}}\right)^2}.

mjm_j はその変数の欠測セル数、 y^j(i)\widehat y^{(i)}_j は予測平均、 (yj(i))true(y^{(i)}_j)^{\mathrm{true}} は隠した実測値である。同じ観測データの列平均で固定補完する方法も、点予測の比較基準として併記する。

変数 多変量モデルのRMSE 列平均によるRMSE 95%予測区間に真値が入った数
glu(mg/dL) 35.54 40.38 14 / 15
bp(mmHg) 14.60 15.83 18 / 23
skin(mm) 8.17 10.10 24 / 25
bmi(kg/m²) 4.72 5.81 21 / 22

今回の隠し方では、各変数とも列平均よりRMSEが小さい。ただし単位が違うため、gluの35.54とbmiの4.72をそのまま比べて、bmiが何倍も予測しやすいとは言えない。同じ列の基準法との比較が必要である。

bpの区間被覆は18/23、約78%にとどまる。欠測数が小さいことによる偶然の変動もあり、これだけでモデル不適合を断定できないが、95%という名目水準に近い性能が保証されたわけでもない。別の欠測マスクでも評価する、外れ値や分布の歪みを調べる、といった追加検証の動機になる。

これは 同じ人の一部のセルを隠した検証 であり、新しい200人を丸ごと別に用意した検証ではない。その人の観測済みの別項目は推定と予測に使ってよいという、欠測補完の目的に対応している。新しい人への予測性能を調べたい場合は、人を単位として学習用と検証用に分ける必要がある。

補足:1回の補完値、補完平均、複数の補完データは使い分ける

各反復で生成した85セルの値を元の観測セルと合わせれば、一つの補完済みデータセットになる。別の反復では別の補完済みデータセットが得られる。この違いは、未知の値について残っている不確実性を表す。

元のモデルの母数を知りたいなら、保存した ∣θ⟩,Σ\ket{\theta},\boldsymbol{\Sigma} をそのまま要約すればよい。一方、別の分析へ補完データを渡すなら、十分に混合した事後標本から複数のデータセットを取り、分析内と補完間の不確実性を適切に扱う必要がある。欠測セルの事後平均だけで埋めた1枚の表を、すべて実測したデータとして扱うことは避ける。

また、正規分布による補完は元の変数の正値制約を自動的に守らない。ここでは教科書のモデルを再現しているが、実際の目的に応じて変換や別の観測モデルを検討する余地がある。

7.6 補足と文献案内

多変量正規モデルの便利さは、平均と共分散で分布を表せることに加え、一部の変数だけを取り出しても、他の変数を条件として与えても正規分布のままであることにある。この性質によって、本章の更新と欠測補完を計算できた。

理論的にも、正規分布は特別な性質をもつ。例えば正規標本では、標本平均と標本共分散が独立になる。また、平均と共分散を固定した連続分布の中では、多変量正規分布が微分エントロピーを最大にする。微分エントロピーは、分布の広がりを表す指標の一つである。この結果は「平均と共分散以外の形について、さらに強い偏りを持ち込まない分布を選ぶ」という動機になる。ただし、実際のデータが正規分布に従うことの証明ではない。

平均や共分散を推定することと、分布全体を正しく表すことも区別したい。独立同分布で必要なモーメントが存在する完全データなら、母集団が正規でなくても、標本平均と標本共分散は人数を増やすにつれて真の値へ近づく。しかし、それだけで極端な値の予測や欠測値の条件付き分布まで正しくなるわけではない。

多変量正規分布とウィシャート分布の古典的な参考文献には Mardia et al. (1979) があり、ベイズ的な扱いには Press (1982) がある。さらに進む話題として、変数同士の条件付き独立を表す グラフィカルモデル がある(Lauritzen, 1996; Jordan, 1998)。正規モデルでは、次に示すように精度行列の0を使ってこの独立性を表せる。そのような構造をもつ共分散に事前分布を置くため、hyper-inverse Wishart 分布なども研究されている(Dawid and Lauritzen, 1993; Letac and Massam, 2007)。

補足:精度行列の0が表すもの

Ω=Σ−1=(ωj,k)\boldsymbol{\Omega}=\boldsymbol{\Sigma}^{-1}=(\omega_{j,k}) を精度行列とする。正規モデルで、変数 jj を残りの変数 ∣Y−j⟩\ket{Y_{-j}} から予測すると、

E[Yj∣∣Y−j⟩,∣θ⟩,Σ]=θj−1ωj,jΩj,−j∣Y−j−θ−j⟩,Var⁡(Yj∣∣Y−j⟩,∣θ⟩,Σ)=1ωj,j.E[Y_j\mid\ket{Y_{-j}},\ket{\theta},\boldsymbol{\Sigma}] =\theta_j-\frac{1}{\omega_{j,j}}\boldsymbol{\Omega}_{j,-j}\ket{Y_{-j}-\theta_{-j}},\qquad \operatorname{Var}(Y_j\mid\ket{Y_{-j}},\ket{\theta},\boldsymbol{\Sigma})=\frac1{\omega_{j,j}}.

ここで Ωj,−j\boldsymbol{\Omega}_{j,-j} は、 Ω\boldsymbol{\Omega} の第 jj 行から第 jj 列を除いた 1×(p−1)1\times(p-1) の行である。したがって ωj,k=0\omega_{j,k}=0 は、他のすべての変数を条件としたときに、変数 kk が変数 jj の予測へ追加の情報を与えないことを意味する。多変量正規分布では、これは条件付き独立と同値である。

例えば独立な標準正規変数 X,ε1,ε2X,\varepsilon_1,\varepsilon_2 から Y1=X+ε1Y_1=X+\varepsilon_1 、 Y2=X+ε2Y_2=X+\varepsilon_2 を作ると、

Σ(Y1,Y2,X)=(211121111),Ω=(10−101−1−1−13).\boldsymbol{\Sigma}_{(Y_1,Y_2,X)}= \begin{pmatrix}2&1&1\\1&2&1\\1&1&1\end{pmatrix},\qquad \boldsymbol{\Omega}=\begin{pmatrix}1&0&-1\\0&1&-1\\-1&-1&3\end{pmatrix}.

Y1Y_1 と Y2Y_2 の周辺相関は 1/2×2=0.51/\sqrt{2\times2}=0.5 である。しかし XX が分かれば、残るのは独立な二つの誤差なので条件付き独立になる。これが ω1,2=0\omega_{1,2}=0 に対応する。共分散の0と精度行列の0は、違う独立性を表すのである。

計算の安定性と再現方法

4連鎖を比較する

次の図では、ウォームアップ後の最初の500回を4連鎖で比較する。読解力データでは母平均差、欠測データではskinとbmiの相関を取り上げる。

補助図:初期値と乱数シードを変えた4連鎖。各連鎖のウォームアップ1,000回を除いた冒頭500回を表示。数値診断には全保存標本を使用。

四つの連鎖は同じ範囲を行き来している。トレースだけでなく、各母平均、共分散の上三角成分、相関を対象にrank-normalized split-R̂と有効標本サイズを計算した。

対象 保存標本数 最大R̂ 最小bulk ESS 最小tail ESS
読解力の母数 4 × 5,000 1.0003 18,798 18,662
欠測モデルの母数 4 × 2,500 1.0013 6,177 7,635
欠測85セル 4 × 2,500 1.0010 7,736 8,749

R̂は連鎖間と連鎖内のばらつきの比較であり、1付近であることが望ましい。ESSは自己相関を考慮した実質的な標本数であり、bulkは分布の中心部、tailは裾の推定に関係する。ここでは連鎖間の不一致は小さく、要約に対して十分な有効標本が得られている。ただし診断は収束の数学的証明ではなく、モデル自体の正しさを示すものでもない。

母平均差の事後平均6.589点のモンテカルロ標準誤差は約0.019点、平均差が正である確率0.9938のモンテカルロ標準誤差は約0.00056である。これらは数値計算の誤差であり、母平均差の事後標準偏差2.604点とは区別する。

実行するファイル

プロジェクトのルートから次を実行する。

uv run output/ch7_examples.py
uv run output/ch7_plots.py
uv run python build.py
  • output/ch7_examples.py:データ読込、ギブス法、数値例、収束診断、隠した値の検証を行う。
  • output/ch7_results.json:本文の数値、信用区間、診断、使用したライブラリの版を保存する。
  • output/ch7_samples.npz:4連鎖の母数標本、欠測値標本、読解力の事後予測標本を保存する。
  • output/ch7_plots.py:保存標本と共通分析関数から9個の図を生成する。
  • figs/plotly/ch7_*.html:本文へ埋め込むグラフである。表示時にはPlotly.jsのCDNへ接続する。

データは docs/data/Data-and-code-for-inline-examples/ の Y.reading 、 Y.pima.miss 、 Y.pima.full を使った。これらは拡張子のないRのテキスト形式なので、数値ベクトルだけを取り出してNumPy配列へ変換する。Rコード自体を評価する処理は使わない。図と計算の照合には docs/data/Data-and-code-to-replicate-figures-and-numerical-results/chapter7.R を用いた。

再現に使うシードは、読解力が710・711・712・713、欠測モデルが750・751・752・753、読解力の事後予測が720、図7.1の例示標本が701である。RとPythonでは乱数生成器や生成手順が異なるため、教科書の乱数列そのものは再現しない。図の統計的な対象・母数設定をそろえて再計算している。

欠測指標は常に「観測ならTrue」とし、欠測値の保存順はNumPyの行優先順である。観測セルが更新前後で同じであること、共分散が正定値であること、残差平方和の二つの式が一致すること、条件付き共分散の計算が精度行列による式と一致することをコードで確認している。欠測パターンごとの一括処理は速度のためであり、各行を独立に条件付き生成する数学的な更新と同じである。

原稿から補正・明確化した点

箇所 本ノートでの扱い
記法 ベクトルを ket・bra、行列を太字の大文字で書き、観測番号を (i)^{(i)} 、反復番号を [s]^{[s]} で区別した。教科書の部分ベクトル θ[b]\theta_{[b]} は ∣θb⟩\ket{\theta_b} と書いた
7.1の転置とベクトルの次元 列ベクトル(ket)は p×1p\times1 、その転置(bra)は 1×p1\times p とした
7.2の条件付け 母平均の完全条件付き分布は Σ\boldsymbol{\Sigma} を与えて計算する
逆ウィシャートの尺度 本文とSciPyを IWp(ν0,S0)IW_p(\nu_0,\mathbf{S}_0) に統一し、原稿表記との対応を示した
逆ウィシャートの平均 密度・生成手順に合う S0/(ν0−p−1)\mathbf{S}_0/(\nu_0-p-1) とし、自由度に合わせて尺度を変えることを説明した
ウィシャートの対称性・正定値 転記の乱れを整え、整数自由度では ν0≥p\nu_0\ge p とした
平均0と標本中心化 既知の母平均なら分母 nn 、標本平均なら n−1n-1 を区別した
原稿のRコードの残差平方和 括弧を復元した residual.T @ residual に置き換えた
原稿の欠測指標 定義と更新箇所の0・1の逆転、文字Oと数字0の混同を解消した
得点上昇の予測確率 約0.71は「上がる」確率であり、「下がる」確率ではないとした
MARという用語 原稿の独立条件をMCARと呼び、MARの条件を別に説明した
図7.4の右列 付属作図コードに合わせ、標準化回帰係数であることを明示した
検証の対象 隠したセルを予測する検証と、新しい個人を予測する検証を区別した

主な参照元は、提供された docs/org/ch7.md と教科書付属のデータ・コードである。逆ウィシャートのPython引数は前述のSciPy公式資料、欠測の仕組みを無視できる条件は前述のRubin(1976)の原論文と照合した。