第8章 グループ比較と階層モデリング:学校ごとの差を保ちながら情報を共有する
本ノートは、提供された第8章の構成、モデル、主要な式、データ解析を保ち、難しい箇所の直後に説明と計算例を加えたものである。RコードはNumPy・SciPyによるPythonのギブスサンプラーに置き換えた。完全条件付き分布をそのまま実装できるモデルなので、各式と更新処理の対応を追える方法を用いる。
元原稿と配布データ・著者の計算コードが一致しない箇所は、式の導出と再計算に基づいて補正した。特に、2校の差と半差、学校46と82の標本数、分散モデルの離散更新を区別する。教科書の数値と今回のモンテカルロ計算の数値は別に示す。
この章で最初に押さえる問い
学校Aの5人の平均が39点、学校Bの21人の平均が40点だったとする。どちらの学校でも全員が受験したとき、Aの方が平均点が低いと断定できるだろうか。5人の平均には、たまたま選ばれた生徒の影響が強く残る。そこで、各校の結果を尊重しつつ、似た学校で得られた情報も利用する。この「学校ごとの違いを残した情報共有」が階層モデリングの動機である。
本章では、順に次の三つを学ぶ。
- 2校の母平均の差を、単一の検定結果ではなく確率分布として表す。
- 多数の学校の母平均を一緒に推定し、情報の少ない学校ほど全体の中心に近づける。
- 学校内の分散も学校ごとに変え、その推定でも情報を共有する。
ここでいう母平均は、学校全体の得点分布を表す未知の中心である。観測した生徒の平均とは区別する。また、学校間の得点差を推定しても、入学前の学力などを調整していないため、学校の教育の因果効果を推定したことにはならない。
記号と分布の約束
| 記号 | 意味 | 単位 |
|---|---|---|
| 学校 の 番目の生徒の観測得点 | 点 | |
| 学校 の 人分の得点を並べたベクトル | 点 | |
| データに含まれる学校の数 | 校 | |
| 校別標本数、標本平均、不偏標本分散 | 人、点、点² | |
| 学校 の未知の母平均 | 点 | |
| 全校の母平均を並べたベクトル | 点 | |
| 2校では母平均の中点、多数校では母平均の分布の中心 | 点 | |
| 2校の母平均の差の半分 | 点 | |
| 共通または校別の学校内分散 | 点² | |
| 学校の母平均どうしの学校間分散 | 点² |
記号の形は第7章と同じ規約に従う。細字はスカラー、ket は列ベクトルを表す。上付きの は何番目の生徒か、上付きの はMCMCの何回目の反復かを表し、下付きの はどの学校かを表す。例えば は学校12の3番目の生徒の得点、 は学校12の全生徒の得点を並べたベクトル、 は 回目の反復における学校12の母平均である。学校ごとに人数 が違うので、 の次元も学校ごとに異なる。本章の量はほとんどスカラーなので、ket が現れるのは「学校のデータ全体」と「全校の母平均の組」を指す場面に限られる。
2校モデルの事前分散 と、多数校モデルの学校間分散 は別の量である。記号の添字と、事前分布なのかグループ間分布なのかを併せて確認する。
の第2引数は標準偏差ではなく分散である。ガンマ分布は shape–rate 表記とし、逆ガンマ分布は
で定義する。したがって なら
である。NumPyの rng.gamma(shape, scale)
の第2引数はscaleなので、数式のrateが の場合は
scale=1/b とする。この違いは NumPyの公式仕様
でも確認できる。
例えば、精度が に従うなら、その平均は である。逆数である分散の平均は であり、精度の平均の逆数 とは異なる。平均を取る操作と逆数を取る操作は交換できない。
以下では、「学校の中心がどれほど違うか」と「同じ学校の生徒の点数がどれほど散らばるか」を分けて考える。例えば、学校AもBも平均50点であっても、Aはほぼ全員が45〜55点、Bは30〜70点に広がっているかもしれない。平均が同じことと、ばらつきが同じことは別である。まず平均の違いを学び、最後にばらつきの違いも扱う。
数式中の縦棒 は「右側の量が与えられたとき」を意味する。また、 はデータ を見たあとの の平均、 はその分散である。式を読むときは、まず「何が未知のままで、何を今は既知としているか」を確認すると見通しがよくなる。
8.1 二つのグループを比較する
図8.1の上の図は、米国の二つの公立高校の1年生の数学の得点を表している。学校1から31人、学校2から28人の生徒が無作為に選ばれ、数学試験に参加している。両校とも1年生の生徒数はそれぞれ約600人で、どちらも都市部に位置している。
学校1の1年生全員がテストを受けた場合に得られる平均点 の推定や、学校2での平均点 と比較することに興味があるとしよう。データからは , が得られ、両校の標本平均には約4.66点の差がある。一般に、二つの母集団からそれぞれ別の生徒を抽出した場合、 と の差はサンプリング変動によって生じる。そこで、 がサンプリングのばらつきに比べて大きいかどうかを評価するには、以下のような、観測された差とその標準偏差の推定値との比である 統計量を計算するのが標準的である。
数値を確かめる。 配布データを丸めずに計算すると、プールした標準偏差は 、平均差の標準誤差は約 である。したがって となる。提供原稿の分母にある10.44ではこの値と一致しないため、ここでは10.27に補正した。標準偏差は「生徒の得点の散らばり」、標準誤差は「標本平均の差の散らばり」であり、比較する量が違う。
ここで
は、2校のデータを合わせて学校内分散を推定した値である。これを「プールした分散」と呼ぶ。単に二つの分散を半分ずつ足すのではなく、それぞれの自由度 で重み付けしている。各校の平均を一つずつデータから推定したため、自由度は合計人数59から2を引いた57となる。
では、平均差が標準誤差の1.74倍という値は大きいのだろうか。 2校の母平均が等しく、学校内分散も共通で、得点が正規分布に従う と仮定すると、抽出のたびに計算される は自由度57の 分布に従う。この分布のもとで、 が今回の1.74以上になる確率は約 である。学校1が高い場合と学校2が高い場合の両方の裾を足しているので、これを両側 値という。
言い換えると、同じ母平均をもつ2校から抽出し直す実験を多数回行えば、その約8.7%で今回以上に大きな絶対値の統計量が現れるということである。 は「母平均が等しい確率が8.7%」を表さない。小さな 値は上の仮定のもとでは出にくいデータだったことを示すが、仮定そのものの確率を計算したものではない。
次の図では、得点分布の重なりと、平均差を標準誤差で測った位置を別々に見る。元の左右配置は、読みやすい上下配置に変更した。
下の図の縦の破線は、今回のデータから得た の位置を示す目印であり、確率密度の高さや棒グラフの度数を表しているわけではない。両側検定では逆向きの差も数えるため、 と の両方の裾を塗っている。線は実際に観測された正の値の側だけに引いている。
得点分布は大きく重なっている。一方で、学校1の標本平均は学校2より高い。「生徒の得点が重なること」と「母平均の差がありそうなこと」は同時に起こる。
値に基づくモデル選択
以下は、教科書が問題点を説明するために取り上げる機械的な手順である。推奨される検定の解釈ではない。特に、帰無仮説を棄却しないことから、平均が同じだと証明できるわけではない。 ちょうどの扱いを決めても、しきい値の前後で推定が急変する問題は残る。
の場合
- 二つのグループが同じ分布をもつというモデルを棄却する。
- と結論づける。
- 推定値として を用いる。
の場合
- 二つのグループが同じ分布をもつというモデルを採用する。
- と結論づける。
- 推定値として を用いる。
このデータ解析手順では、二つの集団を完全に異なるものとして扱うか、全く同一のものとして扱うかのどちらかになる。この例では、母平均に差があることを示唆する情報がありつつも、 値が0.087となるため、上記の手順に従うと二つのグループの母平均を同一のものとして扱うことになる。逆に、学校1のサンプルには成績のよい生徒がたまたま多く含まれ、学校2のサンプルには成績の悪い生徒が含まれる可能性も考えられる。 値が小さい場合も大きい場合も、データの限られた情報を極端なモデル選択によって二分することになる。
前述の 値に基づく手順は を と推定することに相当する。ここで、 の場合は とし、そうでない場合は とする。これは提供原稿の重みを補正した式である。実際、完全にプールすると
となる。学校1については、重みが から に急に切り替わる。このような極端な手順を使用する代わりに、サンプルサイズ と 、サンプリングによる大きなばらつき、および と に関する事前情報をどのように組み合わせるかを考慮したベイズ分布を用いればよい。これにより、グループ間でどれほど情報を共有するかを、推定の不確実性と一緒に扱える。
二つのグループについて、次のモデルを考える。各生徒の点数を「学校の母平均」と「その生徒の母平均からのずれ 」に分ける。
ここで i.i.d. は「互いに独立で、同じ分布に従う」という意味である。学校平均が与えられたときの生徒のずれを、このようにモデル化する。
このモデルにおいて、 とする。 は母平均の差の半分、 は二つの母平均の中点である。例えば なら、 となり、 と元に戻せる。差そのものは 点である。この書き換えにより、「2校全体の点数の水準」と「2校の隔たり」を別々に考えられる。ただし、 は標本数で重み付けしたプール標本平均とは一般に異なる。
データを見る前には、中心・半差・分散について、それぞれ次の事前分布を置く。
最初の式の積は、三つの未知量を事前には独立とすることを表す。この組合せは「準共役」と呼ばれ、残りの未知量を固定すれば、更新後も正規分布や逆ガンマ分布の形を保つ。そのため、以下の式から順に乱数を生成して事後分布を近似できる。
中心 の更新。 現在の半差 と学校内分散 を固定すると、条件付き分布、その平均、その分散は次の三つの式で表される。
半差 の更新。 今度は中心 と学校内分散 を固定する。学校1と学校2では半差の符号が逆なので、平均の式にも引き算が現れる。
学校内分散 の更新。 2校の現在の母平均から、生徒の点数がどれほど離れているかを集計する。各ずれを二乗して足した量が「残差平方和」である。
完全条件付き分布は「残りを今だけ固定した推定」である
の更新では、現在の を既知として扱う。学校1の観測から を引き、学校2の観測に を足すと、どちらも中心 の周りのデータになる。例えば現在 なら、調整後の平均は学校1で 、学校2で である。
説明用に と固定すると、調整後のプール平均は
事前分散を625とした条件付き分散は
であり、条件付き平均は
事前平均50と、調整後のデータ平均48.4968の間に位置する。更新では、この平均を代入して終えるのではなく、標準偏差 の正規分布から値を生成する。この乱数の揺れが、未知の母平均に関する不確実性を保持する。
半差の更新も数値で確かめよう。説明用に とすると、
学校1は中心より高く、学校2は中心より低いので、半差は正の値になりやすい。ただし更新では をそのまま採用するのではなく、分散 の正規分布から一つの値を引く。その値を次の更新に使う。
このように「残りを固定して一つを更新する」操作を繰り返すのがギブスサンプリングである。固定した値は次の操作で入れ替わるため、最後まで同じ値だと仮定するわけではない。 と は事前には独立でも、同じデータを通じて事後には一般に関連する。例えば中心の置き方が変われば、各校の中心からのずれも変わり、半差の更新に影響する。とくに標本数が異なる場合、この関係が式にも残る。
これらの式はやや複雑に見えるが、ある程度の意味付けができる。一つの方法は事前パラメータに極端な値を代入することである。例えば のとき、
となり、これは と が既知の場合の、残差平方和を人数で割った分散の推定値である。平均をデータから推定したときの不偏推定とは自由度の扱いが違う。
ただし、 は正規化された逆ガンマ事前分布ではなく、不適切事前分布 に対応する極限である。実行コードでは を用いる。また、 は条件付き分布の尺度を要約する量であり、 そのものではない。同様に、 かつ のとき
を得る。ここで事前分散を無限大にするとは、事前分布からの重みを0に近づけるという形式的な極限である。この二つの式を、更新の前後で値が変わらない条件として連立すると、 、 となる。今回なら中点48.48、半差2.33であり、 、 と各校の標本平均に戻る。ただし、これは二つの条件付き平均を連立した結果である。一方を一度だけ計算すれば最終的な事後平均が得られる、という意味ではない。
数学試験得点データの解析
数学の得点は、全国平均50、標準偏差10となるように標準化されている。この情報を目安に、中心の事前平均を 、学校内分散の尺度を とする。ただし全国の得点のばらつきには学校間の違いも含まれるので、100がそのまま各校の分散だと分かっているわけではない。
中心の事前分散は 、半差の事前分布は とする。つまり半差の標準偏差は25点、差そのものの標準偏差は50点であり、差についてかなり広い可能性を許す設定である。半差の中心を0に置くのは、どちらの学校が高いかを事前には優遇しないためだ。また として、学校内分散にも広い事前分布を置く。
以下のPythonコードは、これらの完全条件付き分布を用いたギブスサンプラーを実装する。stats
は校別の標本数・平均・平均まわりの平方和を返す補助関数であり、完全版の解析ファイルに含めてある。
def inverse_gamma(rng, shape, rate):
# rate は精度 1/variance の Gamma の rate。NumPy は scale を受け取る。
return 1 / rng.gamma(shape, scale=1 / rate)
def two_school(y1, y2, seed, initial_scale=1., draws=DRAWS, burn=BURN):
rng = np.random.default_rng(seed)
n, ybar, ss = stats([y1, y2])
mu, delta = ybar.mean()+5*(initial_scale-1), (ybar[0]-ybar[1])/2
samples = np.empty((draws, 3))
for iteration in range(burn + draws):
residual_ss = np.sum(ss + n*(ybar - [mu+delta, mu-delta])**2)
sigma2 = inverse_gamma(rng, (1+n.sum())/2, (100+residual_ss)/2)
vmu = 1/(1/625 + n.sum()/sigma2)
emu = vmu*(50/625 + (n[0]*(ybar[0]-delta)+n[1]*(ybar[1]+delta))/sigma2)
mu = rng.normal(emu, np.sqrt(vmu))
vdelta = 1/(1/625 + n.sum()/sigma2)
edelta = vdelta*(n[0]*(ybar[0]-mu)-n[1]*(ybar[1]-mu))/sigma2
delta = rng.normal(edelta, np.sqrt(vdelta))
if iteration >= burn:
samples[iteration-burn] = mu, delta, sigma2
return samples図8.2に と の周辺事後分布を示してあるが、それぞれ対応する事前分布よりも集中した形状となっていることがわかる。教科書にある95%信用区間 は、幅と著者のコードとの対応から、半差 ではなく差 の区間として読む必要がある。今回の40,000保持標本では、 の95%等裾信用区間は 、 の区間は となった。乱数生成器と反復数が異なるため、モンテカルロ近似の端点は完全には一致しない。この区間は0を含んでいるが、事前分布と事後分布の違いから学校1の母平均が学校2の母平均より高い可能性は高いことがわかる。事後分布から計算した確率は である。
次の図では、事前分布の幅に対してデータがどれだけ不確実性を減らしたかを見る。横軸はそれぞれ事前平均の±3標準偏差の範囲であり、裾をすべて表示しているわけではない。
事後分布は事前分布より狭くなる。δの分布の大部分は0より右にあるが、負の領域にも確率が残っている。
母平均の比較と、生徒1人ずつの比較は違う
母平均の大小の確率は、事後標本中で となる割合として計算でき、今回は となった。一方、各学校から新しく生徒1人ずつを選び、その得点を と書くと、学校内の個人差も加わる。現在のパラメータを固定すれば
なので、標準正規分布の累積分布関数を と書くと
まずパラメータの候補を一組固定し、そのもとで「学校1の生徒の方が高得点になる確率」を から計算する。次に、別の事後標本でも同じ計算をし、それらの確率を平均する。式の外側の は、この最後の平均を表している。全事後標本で平均した結果は である。
説明用に平均差を4.66、 と固定しても、 となる。分母に があるのは、独立な生徒2人の得点差では、それぞれの分散が足されて になるためだ。母平均が高い学校の生徒でも、他校の生徒より必ず高得点になるわけではない。
下の図は、母平均の差の分布と、生徒どうしの得点差の分布を同じ単位で比べる。
生徒の得点差の分布ははるかに広い。この幅の違いにより、「母平均の大小なら約96%」と「新しい生徒どうしの大小なら約62%」が両立する。
また、この連続分布のモデルでは、差が厳密に0という一点の確率は0である。これは「差が実用上大きい」と分かったことを意味しない。例えば「1点未満の差はほぼ同じとみなす」なら、 を計算すればよい。計算方法は、各事後標本について を満たすかを数え、その割合を取るだけである。一方、差が厳密に0である仮説自体に正の事後確率を与えたい場合は、その仮説に事前確率を置く別のモデルが必要になる。
学校の約600人を固定された有限母集団とし、そのうち未受験者だけを予測する場合には、厳密には抽出設計も区別する必要がある。本章は教科書と同じく、学校ごとの正規母集団からの条件付き独立な抽出として扱う。
8.2 複数のグループを比較する
前節のデータは、2002年に実施されたELS(Educational Longitudinal Study)と呼ばれる、全米の学校の生徒を対象とした調査の一部である。このデータセットには、学校の集団と各学校内の生徒の集団が含まれている。このような入れ子になった集団の構造をもつデータは階層データ(hierarchical data)やマルチレベルデータ(multilevel data)と呼ばれる。同じようなデータ構造をもつ例としては以下のようなものが挙げられる。
- 複数の病院に入院している患者のデータ。
- 複数の農場で飼育されている動物の体重。
- 複数の地域に住む世帯の収入。
最も単純なデータ構造は二つのレベルをもち、一つ目のレベルは「グループ」で構成され、二つ目のレベルが「グループ内ユニット」からなるものである。この場合、グループ 内の 番目のユニットのデータを のように表す。
8.2.1 交換可能性と階層モデル
第2章で扱ったように、確率変数列 が交換可能であるとは、確率密度が任意の並べ替え に対して
を満たすことであった。 は並べ替えの順番を表す。例えば同じ学校の3人について、名簿の順に40、50、60点だった場合と、60、40、50点だった場合に同じ同時密度を割り当てる、という仮定である。名簿の順番に学力を区別する情報がなければ、自然な考え方だ。ただし「どの生徒も実際に同じ点を取る」という意味ではない。
交換可能性と階層モデルを結び付ける背景に、デ・フィネッティの定理がある。大まかには、何人に増やしても整合的に交換可能性を保てる場合、共通の未知の分布を与えれば各観測が独立になる、という表現ができる。ここではその共通の分布を表す未知量を と書く。
この式は「まず共通の未知量 を考え、それを固定したら、全員の観測は同じ分布から独立に生じる」と読む。ただし、有限人数について順番を区別しないという仮定だけでは、上の表現までは保証されない。また、この定理が正規分布を指定してくれるわけでもない。ここでは追加のモデル化として を選び、条件付きの得点分布に を用いる。
次に、同じ考え方を学校の間にも使う。 は学校 の全観測を一まとめにしたベクトル、 はその学校の得点分布を決める未知量である。学校名だけではどの学校の平均が高いかを区別しないなら、各校の に共通の分布を置くモデルが自然になる。その共通分布を決める量を と書き、
とモデル化する。したがって、学校内の生徒、学校ごとの未知量、全校に共通する未知量という三層になる。実際にどの分布を使うかは、データの性質に合わせて別途選ぶ。
上のモデルでは、 はグループ内の変動を表し、 はグループ間の変動を表している。一方、 は、固定された未知の量に関する情報を表している。ここで区別するのは、グループのばらつきを記述する と、共通パラメータの不確実性を記述する事前分布 の役割である。 も も、データ観測後にはどちらも事後分布である。
交換可能だからといって、同じ値でも独立でもない
学校A、B、Cについて、所在地や選抜制度などの情報をまだ使わない状況を考える。事前にどの学校の母平均が高いかを区別できないなら、学校名を入れ替えても同じ確率を割り当てる。しかし、実際の母平均がすべて同じだと仮定したわけではない。
また、同じ学校の生徒2人には「その学校の未知の平均」が共通している。 を固定し、学校平均 だけを積分消去すると、異なる2人について
となる。一方、一人の得点の分散は である。したがって、同じ学校の生徒どうしの級内相関は
例えば学校間分散25、学校内分散100なら、 である。学校平均を知った条件付きでは独立でも、学校平均を知らない状態で見ると相関が生まれる。
その理由は、同じ学校の生徒2人の得点に、共通の学校平均が含まれるからだ。 と分けると、生徒ごとのずれは互いに独立でも、 が高ければ2人の得点はともに高くなりやすい。この共通部分の分散 が共分散として残る。例えば、ある生徒の高得点を知ると「その学校の平均も高いのかもしれない」と考えられ、同じ学校の別の生徒についての予測も変わる。
生徒を学校内で入れ替えることと、生徒を別の学校へ移すことも違う。後者は所属という情報を変えてしまう。階層モデルは、この所属関係を保持した交換可能性を表す。また、学校の種類など既知の違いが大きいときは、同じ分布に無条件に入れるより、その違いを説明変数に含めたモデルを検討する。
8.3 階層正規モデル
複数の集団における平均の不均一性を記述するための有名なモデルとして階層正規モデルがある。これはグループ内とグループ間の確率モデルが以下のような正規分布で表現されるモデルである。
この設定を視覚化したものが図8.3である。 はグループ平均の不均一性のみを表し、グループごとの分散の不均一性は表さないことに注意する。
次の図では、どの量が学校間で共有され、どの量が学校ごとに異なるかを見る。破線の領域は未観測の母数、人物は生徒の模式表現である。
全体の中心から各学校の母平均がばらつき、その母平均から生徒の得点がさらにばらつく。この二段階を区別すると、学校間分散と学校内分散が別々に必要な理由がわかる。
ここまでは学校内分散を共通の とする。本章の最後では、この仮定を緩め、学校ごとの分散の違いも表す。
共通パラメータにも事前分布を置く。正の値しか取らない分散は、逆数である精度にガンマ分布を置くと更新式を書きやすい。以下は分散そのものに逆ガンマ分布を置くことと同じである。
8.3.1 事後推論
階層正規モデルがもつ未知の量は、グループ固有の平均値 、グループ間の変動 、グループ内の変動 、そしてグループ平均値の平均 である。これらのパラメータの同時事後推論を行うため、ギブスサンプラーによって事後分布 を近似する。
未知量が多くても、すべてを一度に解く必要はない。ギブスサンプラーでは、ほかの未知量を現在の値に固定し、一つの未知量の条件付き分布を求めて更新する。学校 の平均を更新するときは、「学校 のデータ」と「全体の中心からのばらつき」だけを見ればよい。以下では、そのように式を切り分けて読む。
同時事後分布は
である。 は足し算の に対応する「掛け算」の記号である。右辺は順に「共通パラメータの事前分布」「全校の母平均の分布」「全生徒の得点の分布」を掛けている。 は、未知量に依存しない定数を省いているという意味だ。
例えば だけを動かしてほかを固定すると、ほかの学校の得点の項は変わらない。そのため の更新では、そのような項を定数にまとめて省ける。これは他校のデータを無視することではない。他校の情報は、更新された共通パラメータ を通じて伝わる。
と の完全条件付き分布
現在の学校平均 が与えられると、それらを 個の観測値のように扱える。 と置く。 の更新はその中心を推定し、 の更新は現在の中心からの学校平均のばらつきを推定する。
の完全条件付き分布
式 (8.3) において に依存する項をまとめると
よって、
平方完成で、学校平均の式を自分で導く
学校 の尤度の指数部には がある。これは
と分けられる。例えば得点が38、42の2人なら、標本平均は40である。母平均の候補を43とすると、左辺は 、右辺は となる。つまり「生徒どうしの散らばり」と「標本平均から母平均の候補までのずれ」を分けている。
最初の項はデータだけで決まり、 を動かしても変わらない。したがって、事前分布と尤度の対数から に関係する項だけを残すと
角括弧の中を と書くために、 、 と置く。「平方完成」とは、この式を中心からのずれの二乗に書き直す操作である。
最後の は に依存しないので定数にまとめられる。残りを、正規密度の指数 と見比べると、平均は 、分散は と分かる。これが上の正規分布の更新式である。
数値を入れて、 とすると
自校の標本平均40だけでなく、ほかの学校から推定した中心50の情報も受け取るため、推定は44.444まで引き上げられる。ここでの標準偏差は である。これは共通パラメータを固定した条件付きの値であり、それらの不確実性を積分した最終的な信用区間とは区別する。
の完全条件付き分布
学校平均 を固定すれば、生徒の残差 がすべて計算できる。学校内分散の更新に必要なのはこの残差であり、全体の中心 や学校間分散 の値をさらに知る必要はない。これが、学校平均とデータを条件にした「条件付き独立」の意味である。式 (8.3) から必要な項だけを残すと、
となり、
を得る。内側の は1校の全生徒、外側の は全学校にわたる足し算である。したがって二重和は、全校の生徒の残差平方和を合計したものになる。各校の生徒が自校の母平均から大きく離れているほど、学校内分散を大きく見積もる更新になる。
分散と全体平均の更新も、何を「観測」とみなすかで読める
の更新では、現在の を、分散 の正規モデルから得られた 個の値とみなす。生徒1993人を直接数えているのではなく、学校100校を数えているため、式には が現れる。
説明用に、3校の現在の母平均が45、50、55、 、事前分布が なら、
また、 なら、 なので
逆ガンマの条件付き平均は である。この小さな例では、学校が3校しかないため学校間分散の推定は非常に不確かになる。
学校内分散の更新では、 人の残差平方和を使う。例えば 、残差平方和が900、 なら、 となる。残差の散らばりが大きいほどrateが増え、生成される精度が小さくなるので、分散は大きくなりやすい。
8.4 例:米国公立学校における数学試験
先ほどの2002年のELSデータに戻ろう。この調査は、1年生の生徒数が400人以上の大規模な100の都市部の公立高校における1年生を対象としたものである。得られたデータは図8.4において、同じ学校の生徒の得点を共通の縦線に並べて図示している。
配布データには100校、計1,993人が含まれる。下の図は、生徒のばらつきと学校平均のばらつきを同時に見るため、学校を標本平均の小さい順に並べている。
同じ学校内にも大きな得点差がある。同時に、学校によって得点の中心が異なっている。縦軸の広がりをすべて学校間の違いだと解釈してはいけない。
標本平均のヒストグラムは図8.5の上に示されている。平均点の幅は非常に大きく、最低平均点は36.6点、最高平均点は65.0点となっている。図の下の図は、標本平均とサンプルサイズの関係を示している。この図から、極端な標本平均値はサンプルサイズの小さい学校で観測される傾向があることがわかる。このような関係は階層データでよく見られる現象である。
次に、個人の得点を学校ごとの平均にまとめ、標本数との関係を見る。
少人数の学校では平均が大きく揺れうる。ただし「小標本だから必ず極端になる」とは言えない。モデルのもとでは
となり、小さい ほど標本平均の分布が広いと説明できる。例えば なら、 で標準偏差は 、 で である。標本数を増やして消えるのは抽出の誤差であり、学校間の本当の違い は残る。
8.4.1 事前分布と事後近似
事前分布を具体的に指定するには、次の値を決める。添字0の量は、この節ではデータから更新せず、事前に設定する定数である。
| 未知量 | 事前分布を決める定数 | 今回の設定 |
|---|---|---|
| 学校間分散 | ||
| 学校内分散 | ||
| 学校平均の中心 |
2校モデルでは を の事前分散に使ったが、この多数校モデルでは の事前尺度に使う。多数校モデルで の事前分散を表すのは である。いずれも教科書の記号に従っているので、節をまたぐときは役割を確認する。
上の例で述べたように、得点は全国的に分散が100になるように標準化されている。学校内分散と学校間分散の両方が含まれているため、100を学校内分散の尺度を考える際の目安にできる。ただし、個別の学校の分散や選ばれた部分集団の分散に対する厳密な上限ではない。この尺度が学校内の変動を大きく見積もっている可能性も考慮し、 とする。同様に と設定する。どちらも100以下に制約しているわけではない。 は裾が非常に重く、平均も存在しないので、「平均100の弱い事前分布」と呼ぶのは正しくない。最後に全国平均は50であり、大都市の公立学校の平均は全国平均と異なる可能性があるが、それがどれほど大きいかは分からない。ここでは とすることで約95%の事前確率で が区間 に入るようにしておく。
それぞれの未知の量の完全条件付き分布から反復的にサンプリングすることで事後分布の近似を行う。現在の状態 が与えられたとき、新しい状態を以下のように生成する。
- を生成。
- を生成。
- を生成。
- 各 に対して を生成。
ここで上付きの は累乗ではなく反復番号、 はその時点の全校の母平均の組である。 や の反復番号は、括弧でくくらずに と書く。角括弧は反復番号にしか使わないので、「2乗」と「 回目」を並べても読み違えることはなく、間にわずかな空きを入れて区切りを見やすくしている。例えば手順2では、たった今更新した を使う。手順4が終わると一巡が完了し、新しい母平均の組を使って次の一巡へ進む。
正しい完全条件付き分布を使えば、更新順を変えても同じ事後分布を対象にできる。ただし探索の効率は変わりうる。また、各更新ではほかのパラメータの最新の値を使う。以下のPython関数の共通分散モデルでは、
の順で更新する。まず
heterogeneous=False
の分岐を追えば、この節の計算になる。heterogeneous=True
は8.5節の可変分散モデルで使い、nu_logweights
もそこで説明する。
def hierarchical(groups, seed, heterogeneous=False, initial_scale=1.,
draws=DRAWS, burn=BURN, numax=NUMAX):
rng = np.random.default_rng(seed)
n, ybar, ss = stats(groups)
m = len(n)
theta = ybar + rng.normal(0, 5, m)
mu = ybar.mean() + 5*(initial_scale-1)
tau2 = ybar.var(ddof=1)*initial_scale
sigma2 = ss/(n-1)*initial_scale if heterogeneous else np.mean(ss/(n-1))*initial_scale
sigma02, nu = 1/np.mean((n-1)/ss), 10
candidates = np.arange(1, numax+1)
theta_draws = np.empty((draws, m))
sigma_draws = np.empty((draws, m if heterogeneous else 1))
hyper = np.empty((draws, 4 if heterogeneous else 3))
max_edge_mass = 0.
for iteration in range(burn + draws):
vtheta = 1/(n/sigma2 + 1/tau2)
etheta = vtheta*(n*ybar/sigma2 + mu/tau2)
theta = rng.normal(etheta, np.sqrt(vtheta))
residual_ss = ss + n*(ybar-theta)**2
if heterogeneous:
sigma2 = inverse_gamma(rng, (nu+n)/2, (nu*sigma02+residual_ss)/2)
sigma02 = rng.gamma(1+m*nu/2, scale=1/(.01+nu*np.sum(1/sigma2)/2))
lp = nu_logweights(candidates, sigma02, sigma2)
prob = np.exp(lp-logsumexp(lp))
nu = rng.choice(candidates, p=prob)
if iteration >= burn:
max_edge_mass = max(max_edge_mass, prob[-10:].sum())
else:
sigma2 = inverse_gamma(rng, (1+n.sum())/2, (100+residual_ss.sum())/2)
vmu = 1/(m/tau2+1/25)
emu = vmu*(theta.sum()/tau2+50/25)
mu = rng.normal(emu, np.sqrt(vmu))
tau2 = inverse_gamma(rng, (1+m)/2, (100+np.sum((theta-mu)**2))/2)
if iteration >= burn:
k = iteration-burn
theta_draws[k] = theta
sigma_draws[k] = sigma2
hyper[k] = [mu, tau2, sigma02, nu] if heterogeneous else [mu, sigma2, tau2]
return theta_draws, sigma_draws, hyper, max_edge_massこのアルゴリズムを実行すると、各学校の母平均の事後標本を持つ
配列 theta_draws
が生成される。共通分散モデルの hyper は
配列であり、列の順番は
である。4本の連鎖をまとめた保存配列では、先頭に長さ4の連鎖軸が加わる。
残差平方和を速く計算する。 コードの
ss + n*(ybar-theta)**2
は、前節で導いた平方和の分解そのものである。生徒一人ずつを毎回足し直さずに、校別の標本数・平均・平方和だけで正確に更新できる。近似のためにデータを削っているわけではない。
また、 は共通パラメータを固定した条件付きで互いに独立なので、全校をベクトル化して同時に生成できる。 や分散の更新は直前に生成した最新の値を利用する。
MCMC の診断法
生成されたMCMCサンプルを用いて推論を行う前に、サンプラーに問題がないかどうかを判断する必要がある。まず、マルコフ連鎖が非定常な振る舞いをしていないか、すなわちパラメータ値が一方向に動いていないかどうかを確認してみる。これはパラメータ値と反復回数の関係を図示することで確認できるが、サンプルサイズが大きい場合は図示された点の密度が高くなり結果を読み取りにくくなってしまう可能性がある。このため、別の方法として図8.6のように連鎖したグループの箱ひげ図を作成する方法もある。教科書の図8.6では、μについての最初の箱ひげ図は の経験分布、2番目の箱ひげ図は の経験分布を表しており、MCMCサンプルを10分割した場合のそれぞれの箱ひげ図が示されている。定常状態を十分に探索できていれば、これらの箱ひげ図はモンテカルロ変動の範囲で似た分布になると期待される。
今回は各連鎖の最初の2,000反復を破棄し、その後10,000反復を保持する。図では第1連鎖の保持標本を1,000反復ずつ10区間に分け、中心や広がりが時間とともに変わっていないかを見る。
大きな一方向の移動は見られない。ただし箱ひげ図が似ていることだけで、全体の事後分布を十分探索したと保証されるわけではない。
次に、得られた標本の情報量を確認する。MCMCでは直前の値を使って次の値を作るため、隣り合う標本が似やすい。例えば同じ付近に長くとどまる連鎖では、5,000個を保存しても、独立な5,000回の抽出ほど多くの情報を持たない。この似方を測るのが自己相関であり、「ラグ1」は1反復だけ離れた値の関係を指す。
教科書の5,000標本では、 のラグ1自己相関はそれぞれ0.15、0.053、0.312、有効サンプルサイズ(ESS)はそれぞれ3,706、4,499、2,683だった。ESSは、自己相関による影響を考慮して、独立な抽出のおよそ何個分の情報に相当するかを表す。ただしラグ1だけから計算する量ではなく、さらに離れた反復どうしの関連も考慮する。
本ノートでは初期値を変えた4連鎖を用い、複数の方向から探索状況を確かめた。使った診断量と読み方は次のとおりである。 には rank-normalized split- を用いている。実装の参照先は ArviZの診断仕様 である。
| 診断量 | 何を確認するか |
|---|---|
| 別々の初期値から始めた連鎖が、同じような範囲を探索しているか。1に近いことが望ましい | |
| bulk ESS | 分布の中央付近を調べるための有効な標本数が足りているか |
| tail ESS | 信用区間の端など、分布の裾を調べるための有効な標本数が足りているか |
| モンテカルロ標準誤差 | 有限回の乱数計算のため、算出した事後平均にどの程度の計算上の誤差があるか |
最後の計算上の誤差は、未知の母平均そのものの不確実性とは別である。計算を長く続ければモンテカルロ誤差は減らせるが、それだけで生徒のデータが増えるわけではないため、事後分布の幅そのものが縮み続けるわけではない。
共通分散モデルの全100校の母平均と全分散・共通パラメータでは、最大 、最小bulk ESSは約20,056、最小tail ESSは約28,550であった。保持標本は計40,000個なので、自己相関を考慮しても十分な数の有効標本が得られている。ただし、これはこの計算の探索状況の診断であって、正規性や共通分散の仮定が現実に正しいことの検証ではない。
8.4.2 事後要約と縮小効果
図8.7は、 の事後分布のモンテカルロ近似を示している。 の事後平均はそれぞれ48.12、9.21、4.97であり、特定の学校 では、その学校の中心 の周りに約 の個人差があると考えられる。また、学校の母平均の分布は、おおよそ の幅を持つ。すべての学校内分布の中心を48.12としてよいわけではない。
新しい学校から新しい生徒を一人選ぶ場合には、母数を固定しても学校間と学校内の両方の分散が加わる。この場合の近似標準偏差は である。これらの±2標準偏差は正規分布に基づく概算の分布範囲であり、 の95%信用区間でも、全母数の不確実性を積分した厳密な事後予測区間でもない。
階層モデリングを行う動機の一つは、グループ間で情報を共有することである。 を所与として、 の期待値は以下のような と の加重平均で表すことができる。
この条件付き平均は、標本数と二種類の分散に応じた重みで、 から に引き寄せられている。この効果を縮小(shrinkage)と呼ぶ。
今回の再計算による事後要約は次のとおりである。分散の単位は点²である。
| 量 | 事後平均 | 95%等裾信用区間 |
|---|---|---|
| 48.124 | (47.056, 49.194) | |
| 84.818 | (79.528, 90.463) | |
| 24.844 | (17.514, 34.523) |
次の図では、分布の中心だけでなく幅と非対称性を見る。
母平均の中心μはかなり絞られている一方、学校間分散τ²にはなお幅がある。学校内標準偏差の事後平均は9.208、学校間標準偏差の事後平均は4.966で、教科書の数値と近い。
縮小の重みを、精度と人数で読み替える
条件付き平均は
と書き直せる。 は標本平均の精度、 は学校間の分布の精度である。精度とは分散の逆数であり、ぶれが小さい情報ほど大きな重みを持つ。
また、 と置けば となる。 は、中心 の情報が自校の観測何人分に相当するかという見方を与える。説明用に とすれば である。
| 標本数 | 自校への重み | の条件付き推定 | 中心へ移動した点数 |
|---|---|---|---|
| 5人 | 4.444 | ||
| 20人 | 1.667 | ||
| 40人 | 0.909 |
同じ40点でも、40人の情報は5人の情報より強いので、自校の平均を保ちやすい。ここで数値は仕組みを説明するために固定した値であり、実データの事後推定値ではない。
「縮小」という名前は、点数を必ず下げるという意味ではない。縮めるのは 全体の中心からの隔たり である。例えば で標本平均が60点なら、同じ重みから 点となり下がる。一方、表の40点は44.444点へ上がる。どちらも中心50点からの距離10点を、約5.556点へ縮めている。
次の補助図では、学校内分散を100に固定し、標本数と学校間分散を変えたときの重みを見る。
学校間の違いが大きいと推定されるほど、別の学校の情報を強く使いにくくなるため、自校への重みが増える。反対に ではほぼ完全なプーリング、 ではほぼ学校別の推定になる。
ただし、最終的な事後平均では 自体も未知である。そのため正確には
であり、各パラメータの事後平均を一度だけ重みの式に代入した値とは一般に一致しない。コードでは事後標本を平均することで、この不確実性も含めている。
例えば、説明用に「 は固定され、 は5または45を半分ずつの確率で取る」とする。 なら、重みはそれぞれ と なので、条件付き推定は48点と約43.0769点である。これらを平均すると約45.5385点になる。一方、先に を平均して25を代入すると、表と同じ44.4444点になる。重みには割り算が含まれるため、「先に未知量を平均する」のと「各候補で推定してから平均する」のとでは結果が違うのである。
実データでも同じ傾向があるかを確かめるため、学校ごとの標本平均と事後平均を対応させる。
上の図の点は概ね全体の中心方向へ移動する。下の図は符号付きの差なので、負の値は推定が引き上げられたことを示す。移動距離は標本数だけでなく、元の平均が中心からどれほど離れているかにも依存する。
図8.8の上の図は、 に対する の散布図である。この関係はおおむね傾き1より緩やかな傾向を示す。ただし校別標本数が異なるため、厳密に1本の直線になるわけではない。これは、 の値が大きいと はその値よりもやや小さくなり、 の値が小さいと はその値よりもやや大きくなることを示している。下の図は縮小量をグループ別のサンプルサイズの関数として表している。
各学校のすべての生徒が数学の試験を受けた場合に、成績に応じて学校を順位付けする状況を考える。この場合、学校固有の事後期待値 あるいは事後中央値を順位付けすることは理にかなっている。ただし階層モデルの結果を無視し、学校毎の標本平均だけを使って順位付けすると、標本数の少ない学校では極端な平均が観測されやすいため順位が不安定になる。
学校46と82に注目して、同じ「低い標本平均」でも情報量がどう異なるかを見る。
標本数の少ない学校82の事後分布は広く、その中心もより大きく全体の中心へ移動する。
図8.9は、いずれも標本平均が低い二つの学校の例を示している。配布データでは学校46は21人、学校82は5人である。提供原稿はこの大小関係を逆に記しているため補正する。学校82の平均に対する不確実性が大きく、階層モデルでは学校82がより強く全体平均方向へ縮小される。
| 学校 | 標本数 | 標本平均 | 母平均の事後平均 | 上方への移動 |
|---|---|---|---|---|
| 46 | 21 | 40.176 | 41.312 | 1.136 |
| 82 | 5 | 38.764 | 42.592 | 3.828 |
標本平均では学校82の方が低いが、事後平均では順番が逆になる。ただし、 であり、この2校の順位が確実になったわけではない。点推定の順位と、順位についての確信の強さは分けて考える。こうした違いは、グループ間の情報共有によって不確実性が調整されることの一例である。
8.5 平均と分散の階層モデリング
ここまでは、どの学校でも生徒の得点のばらつきが同じだと仮定した。しかし、ほぼ同じ学力の生徒が集まる学校もあれば、得点が広く散らばる学校もありうる。そこで学校 ごとに学校内分散 を持たせる。現在の母平均と分散を固定したとき、生徒の得点は
となる。各 の更新では、共通の を自校の に置き換えるだけでよい。
この変更により、標本数が同じでも、得点のばらつきが大きい学校ほど自校の標本平均への重みが小さくなる。例えば のとき、自校への重みは なら 、 なら である。ばらつきが大きい学校の5人平均ほど偶然に左右されやすいので、全体の中心を強く参考にする。
次に、未知の校別分散にも分布を置く。まず共通の定数 を指定し、各校の分散に独立な事前分布を置く場合を考える。
このとき、校別の精度の完全条件付き分布は以下のようになる。ここでは を固定している。
各校についてこの分布から精度を一つ生成し、その逆数を新しい分散とすればよい。この操作を、平均を更新するギブスサンプラーに追加できる。
ただし、 を固定したままでは、他校の分散を見て分散分布の共通尺度を学び直すことはできない。例えば、大部分の学校の分散が80前後なのに、5人しか観測していない1校だけ標本分散が200だったとする。その200には少人数ゆえの偶然が大きく含まれるかもしれないので、他校で得られた情報も参考にしたい。
そこで も未知量に変更し、全校のデータから推定する。 は校別分散のおおよその大きさを決め、 はそれらがどれほど集中するかを決める。添字0が付いていても、この節では固定値ではない点に注意する。平均の共通分布を学んだのと同じように、分散の共通分布も学ぶのである。こうして図8.10の平均・分散両方の階層モデルが得られる。
次の図では、平均を共有する経路に加えて、分散を共有する経路が加わる点を見る。
同じ学校に所属する生徒は母平均だけでなく分散も共有する。また、その分散の分布を全校のデータから学ぶことで、少人数の学校の極端な分散推定も安定させられる。
推定すべき未知のパラメータには、グループ内モデルを表す 、平均のパラメータ 、分散のパラメータ がある。 に のshape–rate事前分布を置く。この量は「分散」という名前を含むが、校別分散 そのものではなく、精度分布のrateを決める共通尺度なので、ここではガンマ分布が共役になる。すなわち、
を得る。ガンマ分布の平均はshapeをrateで割れば求まる。事前分布から来る の項が、全校の分散から来る項に比べて小さい場合、この平均は校別分散の「調和平均」に近くなる。調和平均とは、逆数を平均してからもう一度逆数を取ったものである。
なぜ算術平均ではなく調和平均なのか
と置くと、 である。このガンマ密度を掛け合わせ、 に依存する項だけを残すと
となり、上のガンマ分布を得る。その条件付き平均は
例えば現在の3校の分散が25、100、100なら、それぞれの精度は0.04、0.01、0.01であり、平均精度は0.02である。その逆数を取ると調和平均 になる。分散を直接足して3で割った算術平均75とは異なる。 なら、条件付き分布は となり、その平均は である。つまり、この更新は校別の精度を集計する形なので、その逆数に当たる調和平均が現れる。
さらに、 は のときだけ存在する。したがって を「学校内分散の算術平均」と呼ぶのは正しくない。例えば を固定した場合、その平均は となる。
一方、 は、ここまでのように標準的な分布のパラメータを更新するだけでは扱いにくい。そこで、このモデルでは正の整数だけを候補とし、「候補1の重み、候補2の重み、…」を計算して選ぶ。整数への限定はモデル化の選択であり、元から整数でなければいけない量ではない。
事前分布には 上の幾何分布 を用いる。ここで であり、候補を1増やすごとに事前の重みは 倍になる。このとき完全条件付き分布は、次の式に比例する。
この右辺は、そのままでは合計が1にならない「重み」である。しかし、各候補で右辺を計算し、全候補の重みの合計で割れば、候補を選ぶための確率になる。複雑な式を手で積分する必要はない。
提供原稿では と が重複しているため、ここでは幾何事前を一度だけ入れた。上式は精度 のガンマ密度から書いたので、積の指数は である。分散の逆ガンマ密度から書くと となるが、両者の差は に依存しない因子なので、正規化した候補確率は同じである。
候補を整数 と書くと、計算に使う対数重みは
原稿のR断片にある最初の係数 -a
はこの密度に一致しないため、著者の配布コードと導出に従って
とした。数値検証でも、各候補に対して逆ガンマ密度を直接掛けた場合と、対数重みの差が一致することを確かめている。
例えば現在の分散が25、100、100、 なら、 、 、 となる。仮に候補をこの3個だけに限定して正規化すると確率は約0.419、0.383、0.198である。実際の推定ではもっと広い候補範囲を使う。
例えば上の3候補だけなら、最大の対数重み6.826を全候補から引いてから指数を取ると、重みはおよそ となる。その合計2.386で割れば、およそ が得られる。共通の数を引く操作は、元の重みを同じ正の数で割ることに相当するため、正規化後の確率を変えない。
この工夫を使うと、指数関数が巨大すぎて計算できなくなったり、小さすぎて0に丸められたりする問題を抑えられる。logsumexp
は同じ考え方で を安定に計算する関数である。コードの
exp(lp - logsumexp(lp))
は、重みの合計で割って確率に直す処理を、対数の段階から安定に行っている。
元のモデルの台は全正整数である。今回の実装は1〜200に打ち切った近似であり、上端191〜200の条件付き確率の和を各保持反復で監視した。その最大値は約
未満で、事後分位点も上端から十分離れている。境界に確率が集まる場合は
numax を増やして再計算する必要がある。
def nu_logweights(candidates, sigma02, sigma2, alpha=1.):
"""精度のGamma密度から導出。幾何事前の -alpha*nu は一度だけ。"""
x = np.asarray(candidates, dtype=float)
m = len(sigma2)
precision = 1/sigma2
return (m*(x/2*np.log(x*sigma02/2)-gammaln(x/2))
+ (x/2-1)*np.log(precision).sum()
- x*(alpha + sigma02*precision.sum()/2))
# hierarchical() 内で、候補の対数重みを確率へ正規化する。
candidates = np.arange(1, 201)
lp = nu_logweights(candidates, sigma02, sigma2, alpha=1.0)
prob = np.exp(lp - logsumexp(lp))
nu = rng.choice(candidates, p=prob)8.5.1 数学試験データの分析
次に、分散の階層モデルを用いて数学試験のデータを再分析してみよう。ここでは、事前分布のパラメータは前節と同じ値とし、 と の事前分布として を用いる。教科書は5,000反復の結果を示している。ここでは共通分散モデルと同じく、4連鎖それぞれ2,000反復を破棄し10,000反復を保持した結果を図8.11で示す。
再計算による事後要約は次のとおりである。
| 量 | 事後平均 | 95%等裾信用区間 |
|---|---|---|
| 48.105 | (47.031, 49.179) | |
| 25.567 | (18.095, 35.426) | |
| 14.714 | (10.000, 21.000) | |
| 78.117 | (70.320, 86.376) |
次の図では、分散の仮定を変えると全体の中心や学校間分散がどれほど動くかと、分散の共有の強さを見比べる。
全体の中心μは両モデルでほとんど変わらない。一方、ν₀は有限の値に集中しており、学校ごとの分散の違いを認めながらも情報を共有している。全校の母平均・分散・共通パラメータの最大R-hatは1.0004、最小bulk ESSは約13,209であった。
を固定して とすると、校別分散は に集中する。この意味で、学校内分散が等しいモデルに近づく。ただし8.3節とこの節では共通分散に相当する量の事前分布が異なるため、事前まで含めて完全に同一のモデルというわけではない。一方で の場合、分散がかなり不均一であることを表しており、分散分布の裾が非常に重い状況を表している。有限の共通尺度を持つ以上、情報共有が完全に消えるわけではない。教科書の分析では は14または15付近に集中し、今回の最頻値も14、95%等裾信用区間は10〜21だったため、前述のような極端なケースのどちらにも当てはまらないことがわかる。
最後に、校別分散の推定がどの方向へどれほど変わったかを見る。
極端な標本分散が全体の中心方向へ調整される。下の図の縦軸は分散の差なので点²であり、平均の縮小を描いた図8.8の点数とは単位が違う。
推定された に対するモデルは、図8.12で示されているように、極端な標本分散をグループ全体の中心的な値に向かって縮小する効果を生じる。サンプルサイズと分散の縮小量の関係は図8.12の下の図に示されている。グループ平均の推定の場合と同様に、一般的にサンプルサイズが小さいグループでより大きな縮小効果が発生している。
分散の縮小も実際の数値で追う
現在の を固定すると、条件付き事後平均は
説明用に 、かつ と置く。このとき、標本分散が200の5人の学校では残差平方和が なので
同じ標本分散200でも40人なら、残差平方和は となり、事後平均は である。少人数の200という推定より、多人数の200という推定の方を強く信頼する。
ただし、一般には なので、残差平方和には も加わる。また も事後分布を持つ。最終的な事後平均はこれらをすべて平均したものであり、この固定値の例と同一ではない。
追加の事後予測チェック:分散のばらつきを説明できるか
MCMCの診断は計算の探索状況を見るものなので、モデルが観測データの特徴を説明できるかは別に確認する。事後予測チェックでは、学習したモデルから架空のデータを作り、実データと似た特徴が現れるかを見る。ここで確かめたいのは、学校ごとの分散の違いをモデルが説明できているかである。
そのため、「学校別の不偏標本分散の90%点を10%点で割った比」を使う。分散を小さい順に並べたときの、低い側と高い側の代表値を比べるということだ。例えば10%点が40、90%点が120なら、比は になる。この比が大きいほど、学校ごとの標本分散の広がりが大きい。最大値と最小値を直接比べるより、1校だけの極端な値に左右されにくい。
データでの比は2.913である。学校ごとの人数を観測データと同じに保ち、事後標本ごとに新しい標本分散を生成する。正規モデルでは
なので、生徒の得点をすべて生成し直さなくても、標本分散を正確に予測できる。 は自由度 のカイ二乗分布、 は架空の再観測を示す添字である。具体的には、このカイ二乗分布から乱数 を引き、 とすればよい。共通分散モデルではすべての を共通の とする。
各校についてこの計算を行い、100校分の架空の標本分散から90%点と10%点の比を一つ求める。別の事後標本でも繰り返すと、「モデルが予測する比の分布」が得られる。学校ごとの人数を実データと同じにするのは、少人数ほど標本分散が揺れやすいという条件をそろえて比較するためである。
次の図は、両モデルがこの比をどの程度予測するかを示す。各モデルで4,000組の予測値を使い、推論用の標本自体は間引いていない。
共通分散モデルでの95%事後予測区間は約 であり、観測値以上の比が生じた割合は0.0115であった。共通分散だけでは、実際の学校間の分散の広がりを小さく予測する傾向がある。一方、可変分散モデルの区間は 、同じ割合は0.881であり、この特徴については観測値が予測範囲内に入る。
この事後予測の割合はモデルが正しい確率でも、通常の帰無仮説検定の 値でもない。観測データを使って学習したモデルで、その同じデータの特徴を点検している。これ一つでモデル全体の妥当性を証明することはできない。得点分布の外れ値や非対称性、他の事前分布への感度も別途検討する対象である。
8.6 補足と文献案内
個々のグループの平均値をグループ全体の平均値に向けて縮小するというアイデアは、少なくとも教育テストの文献でKelley (1927)まで遡るが、階層ベイズモデリングの基礎を築いたのはLindley and Smith (1972)である。統計学の文献では、このような推定方法の利点は「スタイン効果」(Stein, 1956, 1981) と呼ばれている。このタイプの推定量は一般に の形で与えられる。ここで はグループ平均の分布の中心の推定値であり、 は に依存する重みである。このような階層モデルによる推定量の別の重要な性質として、頻度論では経験ベイズ手法(Efron and Morris, 1973; Casella, 1985)としても研究されている。
階層モデルに関するより一般的な紹介については Gelman and Hill (2007, pp. 245–246) を参照されたい。
経験ベイズでは、例えば をデータから推定して固定し、その値のもとで学校別の推定を行う。完全ベイズではこれらにも事後分布を持たせ、共通パラメータの不確実性まで学校別の推論に反映する。この違いは学校数が少ない場合に特に大きくなりうる。
また、スタイン効果の古典的な結果は、特定の正規モデルと二乗誤差損失などの条件のもとで、複数の平均をまとめて評価したリスクを改善できるというものである。「どの学校でも、どのデータでも、縮小した方が必ず真値に近い」という保証ではない。
分散の階層的モデリングはあまり一般的ではないが、母集団の平均だけでなく分散にもグループ間の不均一性が存在する場合には有用である。本章で示したように、階層モデルは部分的な情報共有によってグループ固有のパラメータを不適切に縮小してしまう可能性があるため、モデル適合性や感度分析を行うことが重要である。
8.7 再現用Pythonと、このノートで確認したこと
このノートの解析は、配布ファイル
y.school1、y.school2、Y.school.mathscore
を読み取る。元データはRの dput
形式だが、Rコードを評価せず、数値列を読み取っている。行列はRの列優先順
order="F" で復元する。
| ファイル | 内容 |
|---|---|
output/ch8_examples.py |
データ読み取り、3種類のギブスサンプラー、事後要約、診断、事後予測チェック |
output/ch8_results.json |
本文・図で使う計算結果、乱数シード、依存バージョン |
output/ch8_samples.npz |
連鎖軸を保持した事後標本と予測統計量 |
output/ch8_plots.py |
保存済みの結果から数値グラフを生成するコード |
figs/plotly/ch8_*.html |
教科書に対応する10図と追加3図 |
プロジェクトのルートで以下を実行する。
uv run output/ch8_examples.py
uv run output/ch8_plots.py
uv run python build.pyPython 3.14以上を使い、NumPy 2.5.3、SciPy 1.18.1、arviz-stats
1.3.2を解析スクリプトのPEP 723メタデータに固定した。作図にはPlotly
6.6.0を使う。依存は uv run
が用意する。図の表示時にはPlotly.jsのCDNへの接続が必要である。
乱数シードは2校モデルで810〜813、共通分散モデルで910〜913、可変分散モデルで1010〜1013である。各モデルは4連鎖、各連鎖2,000反復の破棄と10,000反復の保持で計算した。連鎖の初期値は分散の倍率などを変えた。本文の信用区間はすべて2.5%点と97.5%点による等裾区間である。
密度曲線は、描画時間を抑えるため、保存した事後標本から等間隔に最大8,000個を選びSciPyの既定帯域幅によるKDEで描いた。曲線の描画範囲を0.1%点〜99.9%点などに制限した図でも、事後平均・信用区間・確率・診断は全保持標本を用いて計算した。
検証では、生徒ごとの残差平方和と十分統計量からの計算の一致、2校モデルの正規精度行列との整合性、離散パラメータの候補確率と逆ガンマ密度の比の一致を確かめた。MCMC診断の詳細はJSONに保存した。事前分布の感度分析は今回実行していないため、異なる事前分布でも数値が同じになると確認したわけではない。
提供原稿から補正した主な点
| 箇所 | このノートでの扱い |
|---|---|
| 2校のプール標準偏差 | データから10.2679を再計算。帰無分布の自由度は57 |
| 値で切り替える重み | 別々に推定するとき1、プールするとき |
| の意味 | 2校の母平均の中点。一般に標本数で重み付けした平均とは異なる |
| 信用区間の対象 | と を区別 |
| 交換可能性と独立性 | 有限交換可能性だけでは正規分布は導けず、条件付き独立と周辺の相関も区別 |
| 学校内分散の条件付き独立 | データだけでなく学校平均 も条件に含める |
| 学校内の得点範囲 | 各学校では を中心とする |
| 学校46と82 | 標本数はそれぞれ21人と5人で、82の方が少ない |
| 分散の階層化 | 未知として学習するのは |
| の更新 | 幾何事前を一度だけ含め、対数密度の先頭係数を とする |
これらの補正は、元の章の学習目的を変えるためではなく、定義、式、コード、実データの計算結果を一致させるためのものである。