第3章 二項モデルとポアソンモデル — 共役更新・信用区間・予測を具体例から学ぶ

本章では、「129人中118人が幸福と答えたとき、母集団では何割が幸福と答えるのか」「ある集団で子供の数を調べたとき、次に選ぶ1人には何人の子供がいそうか」という問いを考える。前者には二項モデル、後者にはポアソンモデルを使う。どちらも、未知の割合や平均を一つの数で表すモデルである。この数について、データを見る前の考えを事前分布で表し、データを見た後の考えを事後分布に更新する。そのうえで、未知の数がありそうな範囲と、次の観測結果の予測を求める。

本ノートは、提供された第3章本文の節構成・定義・数式・例をできるだけ保ち、難しい箇所の直後に説明と数値例を補ったものである。原文の句読点を統一し、転記上の乱れや誤解につながる表現は補正した。教科書の小数は表示桁数で丸めた値として読む。追加の仮想例は、その都度、説明用の例であることを明記する。

本章で一貫して考えるのは、 観測済みのデータから、母集団の未知の特徴と、まだ観測していない結果をどう学ぶか という問いである。二項モデルでは「はいと答える割合」を、ポアソンモデルでは「1人あたりの個数の平均」を推測する。どちらも未知パラメータは一つなので、事後分布を式で求められ、ベイズ推測の仕組みを見通しよく理解できる。

記号・用語 意味 幸福度の例
Y(i)Y^{(i)} と y(i)y^{(i)} 観測する前の確率変数と、その候補値・実現値 第 ii 番目の回答が1か0か
nn と s=∑iy(i)s=\sum_i y^{(i)} 調査人数と、観測された合計 n=129n=129 、 s=118s=118
θ\theta 母集団の未知の特徴 幸福と答える割合
p(y∣θ)p(y\mid\theta) パラメータを与えたときのデータの分布 割合が90%なら、この回答がどの程度起こるか
尤度 観測を固定し、上の式を θ\theta の関数と見たもの どの割合が今回の観測と整合的か
p(θ)p(\theta) 、 p(θ∣y)p(\theta\mid y) 観測前・観測後のパラメータの不確かさ 幸福と答える割合についての事前・事後分布
Y~\widetilde Y 新たな未観測の結果 次の1人の回答

縦棒の右側は「すでに与えられたもの」である。したがって、 p(y∣θ)p(y\mid\theta) と p(θ∣y)p(\theta\mid y) は、同じ二つの記号を使っていても別の問いへの答えである。

添え字の位置にも意味をもたせる。上付きの (i)^{(i)} は何番目の観測か(ここでは何番目の回答者か)を表し、下付きの j_j はどの群かを表す。例えば y(3)y^{(3)} は3人目の回答、 y1(i)y^{(i)}_1 は第1群の ii 番目の観測である。 冪の指数と紛れないよう、観測番号は必ず丸括弧に入れて書く。観測番号に冪が付くときは (y(i))2(y^{(i)})^2 と括弧でくくる。また、本ノートの後の章でベクトルが登場したときは、列ベクトルを ∣y⟩\ket{y} 、行列を太字で書く。本章の量はほとんどスカラーであり、例外は2群比較で群のデータ全体をまとめた ∣y1⟩\ket{y_1} 、 ∣y2⟩\ket{y_2} だけである。

教科書の図3.1〜3.10を、付属の chapter3.R と gss.RData に基づいて再現する。補助グラフ6枚と概念図1枚も付ける。計算はNumPy・SciPyを使い、グラフはPlotlyで作る。本章の共役モデルは既知の分布を使って直接計算できるため、Pythonへの置き換えには厳密計算を用いる。実行方法と使用ファイルは末尾にまとめる。

3.1 二項モデル

幸福度データ

1998年の総合的社会調査で、65歳以上の女性129人に、総じて幸せかどうかを質問した。回答者 ii が幸福と答えた場合を Y(i)=1Y^{(i)}=1 、それ以外を Y(i)=0Y^{(i)}=0 と表す。ここで知りたいのは、回答者129人の割合だけでなく、調査対象となる母集団全体で幸福と答える割合である。

今回は、回答者ごとの健康状態などを使わず、全員を同じ条件で扱う。そのため、例えば「1人目が1、2人目が0」と「1人目が0、2人目が1」のように、回答の並びを入れ替えても同じ確率を与えると仮定する。この性質を 交換可能性 という。個人差の情報がないことは、この仮定が正しいという保証ではなく、このモデルを選ぶ理由である。

母集団の人数を NN とすると、調査人数 n=129n=129 は NN に比べて十分小さいと考えられる。そこで、回答全体の確率を次の二段階で表す。

  • 母集団で幸福と答える割合 θ=∑i=1NY(i)/N\theta=\sum_{i=1}^{N}Y^{(i)}/N について、不確かさを事前分布で表す。
  • その割合 θ\theta を与えたとき、各人が1と答える確率は θ\theta であり、回答は互いに独立であると近似する。

後者は θ\theta で条件付けされたもとで任意の潜在的な回答 {y(1),…,y(129)}\{y^{(1)},\ldots,y^{(129)}\} に対する確率が

p(y(1),…,y(129)∣θ)=θ∑i=1129y(i)(1−θ)129−∑i=1129y(i)p(y^{(1)},\ldots,y^{(129)}\mid\theta) =\theta^{\sum_{i=1}^{129}y^{(i)}}(1-\theta)^{129-\sum_{i=1}^{129}y^{(i)}}

で与えられることを意味している。事前分布は次節で定める。

解説:独立なのは「共通の割合を与えたとき」である

二値の確率変数はベルヌーイ分布とも呼ばれる。1人の回答について、確率は次のように一つの式で書ける。

p(y(i)∣θ)=θy(i)(1−θ)1−y(i).p(y^{(i)}\mid\theta)=\theta^{y^{(i)}}(1-\theta)^{1-y^{(i)}}.

y(i)=1y^{(i)}=1 を代入すれば θ\theta 、 y(i)=0y^{(i)}=0 を代入すれば 1−θ1-\theta となる。さらに、 θ\theta を与えれば回答が独立であると仮定すると、全員の確率は掛け算になる。1と答えた回数だけ θ\theta が、0と答えた回数だけ 1−θ1-\theta が掛かるため、本文の指数に合計が現れるのである。

説明用に、3人の回答が順番に (1,0,1)(1,0,1) で、 θ=0.8\theta=0.8 と仮定しよう。その確率は

0.8×0.2×0.8=0.1280.8\times0.2\times0.8=0.128

である。順番を (1,1,0)(1,1,0) に変えても0.128のままである。これが、このモデルで順序よりも「1が何個あったか」が重要になる理由である。

ただし、 交換可能であることと、無条件に独立であることは同じではない 。共通の θ\theta が未知なら、ある人の回答から θ\theta を学び、別の人の予測を変える。本文の独立性は、あくまで θ\theta を与えた条件下の独立性である。

また、有限母集団から重複なしで抽出する場合、母集団中の1の割合を知っても回答は厳密には独立でない。本文は n≪Nn\ll N のときの近似を使っている。年齢や健康状態などで回答傾向を区別したいなら、それらを説明変数に含める別のモデルが必要になる。

一様事前分布

パラメータ θ\theta はある未知の数で、0から1の間に値をとる。 θ\theta に関する事前情報として、同じ区間幅をもつ [0,1][0,1] のすべての部分区間において同じ確率をもつ、と仮定しよう。これを数式で書くと以下のようになる。

Pr⁡(a≤θ≤b)=Pr⁡(a+c≤θ≤b+c)(0≤a<b<b+c≤1).\Pr(a\le \theta\le b)=\Pr(a+c\le \theta\le b+c)\qquad (0\le a<b<b+c\le 1).

この条件により、 θ\theta に関する密度関数は一様分布の密度関数にならないといけないことがわかる。つまり、

すべての θ∈[0,1] に対して,p(θ)=1.\text{すべての }\theta\in[0,1]\text{ に対して,}\quad p(\theta)=1.

この事前分布と、上記の標本モデルに対して、ベイズルールにより以下が成り立つ。

p(θ∣y(1),…,y(129))=p(y(1),…,y(129)∣θ)p(θ)p(y(1),…,y(129))=p(y(1),…,y(129)∣θ)×1p(y(1),…,y(129))∝p(y(1),…,y(129)∣θ).\begin{aligned} p(\theta\mid y^{(1)},\ldots,y^{(129)}) &=\frac{p(y^{(1)},\ldots,y^{(129)}\mid\theta)p(\theta)}{p(y^{(1)},\ldots,y^{(129)})}\\ &=p(y^{(1)},\ldots,y^{(129)}\mid\theta)\times\frac{1}{p(y^{(1)},\ldots,y^{(129)})}\\ &\propto p(y^{(1)},\ldots,y^{(129)}\mid\theta). \end{aligned}

分母の p(y(1),…,y(129))p(y^{(1)},\ldots,y^{(129)}) は、観測した回答列に対して一つに決まる数であり、候補の θ\theta を変えても変わらない。したがって、一様事前分布を使う場合、事後密度は尤度の曲線全体を同じ倍率で伸ばしたものになる。山の位置や形は変わらず、縦軸の高さだけが変わる。最後の ∝\propto は、この「一定倍率の違いだけ」という関係を表す。

解説:密度1は「確率100%」ではない

一様分布で p(θ)=1p(\theta)=1 というのは、密度曲線の高さが1という意味である。例えば、

Pr⁡(0.2≤θ≤0.3)=∫0.20.31 dθ=0.1\Pr(0.2\le\theta\le0.3)=\int_{0.2}^{0.3}1\,d\theta=0.1

となる。幅0.1の区間には10%の確率があり、連続分布なので一点 θ=0.25\theta=0.25 そのものの確率は0である。以後も、曲線の高さと区間の確率を区別する。

記号 ∝\propto は「右辺に、 θ\theta に依存しない定数を掛ければ左辺になる」という意味である。事後分布の形を探す段階では定数を後回しにし、最後に曲線の下の全面積が1になるように調整できる。この調整が正規化である。

一様事前分布は「 θ\theta の等しい幅を平等に扱う」選択である。一方、対数オッズなど別の尺度に変換すると一様ではなくなる。したがって、あらゆる意味で事前情報がないことと同義ではない。

データと事後分布

  • 調査対象は129人。
  • 総じて幸せであると回答したのは118人(91%)。
  • 総じて幸せであるとは回答しなかったのは11人(9%)。

ある θ\theta の値が与えられたもとでのこれらのデータの確率は

p(y(1),…,y(129)∣θ)=θ118(1−θ)11p(y^{(1)},\ldots,y^{(129)}\mid\theta)=\theta^{118}(1-\theta)^{11}

となる。観測した回答列を固定し、候補の θ\theta を動かしてこの値を描いたものが図3.1の上段である。一様事前分布のもとでは事後密度も同じ形になるので、0.91付近の割合がデータとよく整合することが読み取れる。ただし、「0.8より大きい確率」などを求めるには、曲線の形を知るだけでは足りない。全面積が1になるように高さを調整し、そのうえで必要な範囲の面積を求める。ベイズルールをもう一度書くと、以下のようになる。

p(θ∣y(1),…,y(129))=θ118(1−θ)11×p(θ)/p(y(1),…,y(129))=θ118(1−θ)11×1/p(y(1),…,y(129)).\begin{aligned} p(\theta\mid y^{(1)},\ldots,y^{(129)}) &=\theta^{118}(1-\theta)^{11}\times p(\theta)/p(y^{(1)},\ldots,y^{(129)})\\ &=\theta^{118}(1-\theta)^{11}\times 1/p(y^{(1)},\ldots,y^{(129)}). \end{aligned}

図3.1   θ\theta の関数としての標本確率(上段)と事後分布(下段)。一様事前分布(下段の図で灰色で示された部分)は標本確率に比例する事後分布を導く。

上段では観測された「回答列」の確率をそのまま表示する。元の R コードには掛ける倍率と軸ラベルの倍率に不一致があるため、本図は倍率を掛けずに科学表記を使う。下段の縦軸は回答列の確率ではなく、未知の割合の密度である。

図3.1:尤度と事後密度は形が同じでも、縦軸の意味と尺度が異なる。

二つの山の位置は同じである。しかし、上段の曲線の面積は1ではなく、下段の面積は1である。したがって、尤度の高さをそのままパラメータの確率と読んではいけない。

また、ベータ関数とガンマ関数の関係

∫01θa−1(1−θ)b−1 dθ=Γ(a)Γ(b)Γ(a+b)\int_0^1\theta^{a-1}(1-\theta)^{b-1}\,d\theta =\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}

を用いて、尺度あるいは正規化定数(normalizing constant) 1/p(y(1),…,y(129))1/p(y^{(1)},\ldots,y^{(129)}) を計算することができる(任意の x>0x>0 に対するガンマ関数 Γ(x)\Gamma(x) は数表を見るか、Pythonの scipy.special.gamma() という関数を使って計算できる)。この関係がどのように p(y(1),…,y(129))p(y^{(1)},\ldots,y^{(129)}) の計算に使われるだろうか。まず、 p(θ∣y(1),…,y(129))p(\theta\mid y^{(1)},\ldots,y^{(129)}) に関してわかっていることを以下にまとめる。

  1. すべての確率分布は全積分または総和が1であることから、
∫01p(θ∣y(1),…,y(129)) dθ=1.\int_0^1 p(\theta\mid y^{(1)},\ldots,y^{(129)})\,d\theta=1.
  1. ベイズルールにより、
p(θ∣y(1),…,y(129))=θ118(1−θ)11/p(y(1),…,y(129)).p(\theta\mid y^{(1)},\ldots,y^{(129)}) =\theta^{118}(1-\theta)^{11}/p(y^{(1)},\ldots,y^{(129)}).

ゆえに、

1=∫01p(θ∣y(1),…,y(129)) dθ((a)より)1=∫01θ118(1−θ)11/p(y(1),…,y(129)) dθ((b)より)1=1p(y(1),…,y(129))∫01θ118(1−θ)11 dθ1=1p(y(1),…,y(129))Γ(119)Γ(12)Γ(131)(ベータ関数とガンマ関数の関係より).\begin{aligned} 1&=\int_0^1 p(\theta\mid y^{(1)},\ldots,y^{(129)})\,d\theta &&\text{((a)より)}\\ 1&=\int_0^1\theta^{118}(1-\theta)^{11}/p(y^{(1)},\ldots,y^{(129)})\,d\theta &&\text{((b)より)}\\ 1&=\frac{1}{p(y^{(1)},\ldots,y^{(129)})}\int_0^1\theta^{118}(1-\theta)^{11}\,d\theta\\ 1&=\frac{1}{p(y^{(1)},\ldots,y^{(129)})}\frac{\Gamma(119)\Gamma(12)}{\Gamma(131)} &&\text{(ベータ関数とガンマ関数の関係より)}. \end{aligned}

となるため、

p(y(1),…,y(129))=Γ(119)Γ(12)Γ(131)p(y^{(1)},\ldots,y^{(129)})=\frac{\Gamma(119)\Gamma(12)}{\Gamma(131)}

となる。この結果は118個の1と11個の0が含まれているどのような列 {y(1),…,y(129)}\{y^{(1)},\ldots,y^{(129)}\} に対しても当てはまることを確認されたい。これらすべてをまとめると、

p(θ∣y(1),…,y(129))=Γ(131)Γ(119)Γ(12)θ118(1−θ)11=Γ(131)Γ(119)Γ(12)θ119−1(1−θ)12−1.\begin{aligned} p(\theta\mid y^{(1)},\ldots,y^{(129)}) &=\frac{\Gamma(131)}{\Gamma(119)\Gamma(12)}\theta^{118}(1-\theta)^{11}\\ &=\frac{\Gamma(131)}{\Gamma(119)\Gamma(12)}\theta^{119-1}(1-\theta)^{12-1}. \end{aligned}

となる。この θ\theta に関する密度は、パラメータ a=119a=119 と b=12b=12 をもつベータ分布(beta distribution)と呼ばれ、Pythonでは scipy.stats.beta.pdf() で密度を計算でき、numpy.random.default_rng().beta() で乱数を生成できる。

解説:正規化を、小さな数で最後まで計算する

まず説明用に、3人中2人が1と答え、一様事前分布を使う場合を考える。一つの具体的な回答列の尤度は θ2(1−θ)\theta^2(1-\theta) である。その面積は

∫01θ2(1−θ) dθ=[θ33−θ44]01=13−14=112.\int_0^1\theta^2(1-\theta)\,d\theta =\left[\frac{\theta^3}{3}-\frac{\theta^4}{4}\right]_0^1 =\frac13-\frac14=\frac1{12}.

したがって、事後密度は 12θ2(1−θ)12\theta^2(1-\theta) となる。これなら積分が1になり、 beta⁡(3,2)\operatorname{beta}(3,2) の密度と一致する。この例の「12を掛ける」と同じ操作を、幸福度データではベータ関数とガンマ関数を使って行っている。

ガンマ関数は、正の整数に対して階乗を一つずらした関数であり、 Γ(4)=3!=6\Gamma(4)=3!=6 、 Γ(2)=1!=1\Gamma(2)=1!=1 、 Γ(6)=5!=120\Gamma(6)=5!=120 である。上の積分も

Γ(3)Γ(2)Γ(5)=2! 1!4!=112\frac{\Gamma(3)\Gamma(2)}{\Gamma(5)} =\frac{2!\,1!}{4!}=\frac1{12}

と計算できる。ベータ関数 B(a,b)B(a,b) は、本文の積分とそのガンマ関数による比をまとめて表す名前である。

幸福度データの一つの回答列の周辺確率は

p(y(1),…,y(129))=B(119,12)≈2.891533×10−18p(y^{(1)},\ldots,y^{(129)})=B(119,12)\approx2.891533\times10^{-18}

と非常に小さい。これは「この順番の129人の回答がちょうど現れる」という細かい事象を考えているためである。「118人が幸福と回答する」という合計の事象の確率とは異なる。その違いは次節で確認する。

Pythonでは、大きなガンマ関数を別々に計算して割るより、対数を使った betaln などの関数を使うと数値計算が安定する。

import numpy as np
from scipy.special import betaln
from scipy.stats import beta

log_evidence = betaln(119, 12)
print(np.exp(log_evidence))     # 2.8915333232846395e-18
posterior = beta(119, 12)
print(posterior.pdf(0.9))        # θ=0.9 における「密度」

ベータ分布

0から1の間に値をとる確率変数 θ\theta がベータ分布 beta⁡(a,b)\operatorname{beta}(a,b) に従うとは、

p(θ)≡dbeta⁡(θ,a,b)=Γ(a+b)Γ(a)Γ(b)θa−1(1−θ)b−1(0≤θ≤1)p(\theta)\equiv \operatorname{dbeta}(\theta,a,b) =\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\theta^{a-1}(1-\theta)^{b-1} \qquad(0\le\theta\le1)

となることをいう。そのような確率変数に対して、

mode⁡[θ]=a−1(a−1)+(b−1)(a>1 かつ b>1),\operatorname{mode}[\theta] =\frac{a-1}{(a-1)+(b-1)} \qquad(a>1\text{ かつ }b>1),
E[θ]=aa+b,\mathrm{E}[\theta]=\frac{a}{a+b},
Var⁡[θ]=ab(a+b+1)(a+b)2=E[θ] E[1−θ]a+b+1\operatorname{Var}[\theta] =\frac{ab}{(a+b+1)(a+b)^2} =\frac{\mathrm{E}[\theta]\,\mathrm{E}[1-\theta]}{a+b+1}

が成り立つ。幸福度データに対して、 (Y(1),…,Y(129))=(y(1),…,y(129))(Y^{(1)},\ldots,Y^{(129)})=(y^{(1)},\ldots,y^{(129)}) 、 ∑i=1129y(i)=118\sum_{i=1}^{129}y^{(i)}=118 が観測されているとき、

mode⁡[θ∣y(1),…,y(129)]=0.915,\operatorname{mode}[\theta\mid y^{(1)},\ldots,y^{(129)}]=0.915,
E[θ∣y(1),…,y(129)]=0.908,\mathrm{E}[\theta\mid y^{(1)},\ldots,y^{(129)}]=0.908,
sd⁡[θ∣y(1),…,y(129)]=0.025\operatorname{sd}[\theta\mid y^{(1)},\ldots,y^{(129)}]=0.025

となる。

式変形:ベータ分布の平均・分散・最頻値を求める

平均は分布の「重心」、分散はその重心からの散らばり、最頻値は密度の山が最も高い位置である。これらは異なる特徴を要約するので、同じ値になるとは限らない。上の公式を順に導く。ここでは a,b>0a,b>0 とし、密度を p(θ)=θa−1(1−θ)b−1/B(a,b)p(\theta)=\theta^{a-1}(1-\theta)^{b-1}/B(a,b) と書く。

平均の定義は「値に密度を掛けて、全範囲で積分する」である。密度に θ\theta を掛けると、そのべき乗が一つ増える。

E[θ]=1B(a,b)∫01θa(1−θ)b−1 dθ=B(a+1,b)B(a,b)=Γ(a+1)Γ(b)Γ(a+b+1)Γ(a+b)Γ(a)Γ(b)=aΓ(a)Γ(a)Γ(a+b)(a+b)Γ(a+b)=aa+b.\begin{aligned} \mathrm{E}[\theta] &=\frac1{B(a,b)}\int_0^1\theta^a(1-\theta)^{b-1}\,d\theta\\ &=\frac{B(a+1,b)}{B(a,b)}\\ &=\frac{\Gamma(a+1)\Gamma(b)}{\Gamma(a+b+1)} \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\\ &=\frac{a\Gamma(a)}{\Gamma(a)} \frac{\Gamma(a+b)}{(a+b)\Gamma(a+b)} =\frac{a}{a+b}. \end{aligned}

最後は Γ(x+1)=xΓ(x)\Gamma(x+1)=x\Gamma(x) を使って共通の因子を消した。同じ手順で、 θ2\theta^2 の平均も求まる。

E[θ2]=1B(a,b)∫01θa+1(1−θ)b−1 dθ=B(a+2,b)B(a,b)=a(a+1)(a+b)(a+b+1).\begin{aligned} \mathrm{E}[\theta^2] &=\frac1{B(a,b)}\int_0^1\theta^{a+1}(1-\theta)^{b-1}\,d\theta\\ &=\frac{B(a+2,b)}{B(a,b)} =\frac{a(a+1)}{(a+b)(a+b+1)}. \end{aligned}

分散では、 E[θ2]\mathrm{E}[\theta^2] と E[θ]2\mathrm{E}[\theta]^2 を区別する。前者は「二乗してから平均」、後者は「平均してから二乗」である。平均を μ\mu と書いて定義を展開すると、

Var⁡(θ)=E[(θ−μ)2]=E[θ2]−2μE[θ]+μ2=E[θ2]−μ2\operatorname{Var}(\theta) =\mathrm{E}[(\theta-\mu)^2] =\mathrm{E}[\theta^2]-2\mu\mathrm{E}[\theta]+\mu^2 =\mathrm{E}[\theta^2]-\mu^2

となる。そこで、上で求めた二つの式を代入して通分する。

Var⁡(θ)=a(a+1)(a+b)(a+b+1)−a2(a+b)2=a(a+1)(a+b)−a2(a+b+1)(a+b)2(a+b+1)=a{(a+1)(a+b)−a(a+b+1)}(a+b)2(a+b+1)=ab(a+b)2(a+b+1).\begin{aligned} \operatorname{Var}(\theta) &=\frac{a(a+1)}{(a+b)(a+b+1)}-\frac{a^2}{(a+b)^2}\\ &=\frac{a(a+1)(a+b)-a^2(a+b+1)}{(a+b)^2(a+b+1)}\\ &=\frac{a\{(a+1)(a+b)-a(a+b+1)\}}{(a+b)^2(a+b+1)}\\ &=\frac{ab}{(a+b)^2(a+b+1)}. \end{aligned}

分子の中括弧では、 (a+1)(a+b)−a(a+b+1)=b(a+1)(a+b)-a(a+b+1)=b と整理した。また、 E[1−θ]=1−a/(a+b)=b/(a+b)\mathrm{E}[1-\theta]=1-a/(a+b)=b/(a+b) なので、分散を E[θ]E[1−θ]/(a+b+1)\mathrm{E}[\theta]\mathrm{E}[1-\theta]/(a+b+1) とも書ける。

最頻値は密度を最大にする θ\theta である。対数は大小関係を変えないので、密度の対数を最大にしても同じ位置が得られる。 θ\theta に無関係な項を CC と置くと、

log⁡p(θ)=C+(a−1)log⁡θ+(b−1)log⁡(1−θ),ddθlog⁡p(θ)=a−1θ−b−11−θ.\begin{aligned} \log p(\theta)&=C+(a-1)\log\theta+(b-1)\log(1-\theta),\\ \frac{d}{d\theta}\log p(\theta) &=\frac{a-1}{\theta}-\frac{b-1}{1-\theta}. \end{aligned}

傾きが0になる条件を整理すれば、

(a−1)(1−θ)=(b−1)θ⟺a−1=(a+b−2)θ⟺θ=a−1a+b−2.(a-1)(1-\theta)=(b-1)\theta \quad\Longleftrightarrow\quad a-1=(a+b-2)\theta \quad\Longleftrightarrow\quad \theta=\frac{a-1}{a+b-2}.

ただし、これが区間内部の最大値になるのは a>1,b>1a>1,b>1 の場合である。この条件では二階微分が −(a−1)/θ2−(b−1)/(1−θ)2<0-(a-1)/\theta^2-(b-1)/(1-\theta)^2<0 なので、傾き0の点は山の頂上になる。

手計算の例として beta⁡(3,2)\operatorname{beta}(3,2) を使うと、平均は 3/5=0.63/5=0.6 、二乗の平均は 3×4/(5×6)=0.43\times4/(5\times6)=0.4 、分散は 0.4−0.62=0.040.4-0.6^2=0.04 となる。一方、最頻値は 2/3≈0.6672/3\approx0.667 である。重心と頂上が異なるのは、分布が左右対称ではないためである。

解説:ベータ分布の二つの引数は、位置と集中度を一緒に決める

a,ba,b はともに正でなければならない。平均は a/(a+b)a/(a+b) なので、 aa の比率が大きいほど1側に寄る。また、平均を同じにして a+ba+b を増やすと分散が小さくなり、平均の近くに集中する。

例えば、 beta⁡(2,2)\operatorname{beta}(2,2) と beta⁡(20,20)\operatorname{beta}(20,20) の平均はいずれも0.5だが、分散はそれぞれ

0.5×0.55=0.05,0.5×0.541≈0.006098\frac{0.5\times0.5}{5}=0.05, \qquad \frac{0.5\times0.5}{41}\approx0.006098

である。平均だけで事前情報を表そうとすると、この「どの程度確信しているか」が抜け落ちる。

次の補助図では、平均の偏りと形の違いを見比べる。 beta⁡(1/2,1/2)\operatorname{beta}(1/2,1/2) の密度は0と1に近づくと発散するため、縦軸は5で打ち切っている。曲線が高くても積分は有限で、全面積は1である。

補助図:ベータ分布の形は、aとbの大きさと比率で変わる。

一様、中央に山がある形、片側に寄る形、両端に寄る形を、同じベータ分布族で表せる。最頻値の公式 (a−1)/(a+b−2)(a-1)/(a+b-2) がそのまま使えるのは a>1,b>1a>1,b>1 の場合である。例えば a=b=1a=b=1 ではどの点も同じ密度なので、一つの最頻値は決まらない。

幸福度データでは、事後平均・最頻値・標準偏差を実際に代入すると、

E[θ∣y]=119131=0.908397…,mode⁡[θ∣y]=118129=0.914729…,\mathrm{E}[\theta\mid y]=\frac{119}{131}=0.908397\ldots, \quad \operatorname{mode}[\theta\mid y]=\frac{118}{129}=0.914729\ldots,
sd⁡[θ∣y]=119×12132×1312=0.025108…\operatorname{sd}[\theta\mid y] =\sqrt{\frac{119\times12}{132\times131^2}} =0.025108\ldots

となる。標準偏差0.025は、母集団の割合に関する不確かさがおよそ2.5パーセントポイントの尺度であることを表す。個人の回答の標準偏差ではない。

「0.8より大きいことはほぼ確実」という本文の記述は、 Pr⁡(θ>0.8∣y)=0.999732\Pr(\theta>0.8\mid y)=0.999732 と数値化できる。一方、 Pr⁡(θ>0.9∣y)=0.657629\Pr(\theta>0.9\mid y)=0.657629 なので、「9割を超える」まで強く断定できるわけではない。

from scipy.stats import beta

post = beta(119, 12)
print(post.mean(), post.std())
print(post.sf(0.8), post.sf(0.9))  # sf(x) = P(θ > x)
print(post.ppf([0.025, 0.975]))    # [0.85364345, 0.95138913]

pdf は密度、cdf は左側の累積確率、sf は右側の確率、ppf は指定した累積確率に対応する分位点を返す。これらは SciPyのベータ分布の公式ドキュメント に対応する。

3.1.1 交換可能な二値データに対する推測

一様事前分布のもとでの事後推測

Y(1),…,Y(n)∣θY^{(1)},\ldots,Y^{(n)}\mid\theta を binary⁡(θ)\operatorname{binary}(\theta) からの独立同一標本とするとき、

p(θ∣y(1),…,y(n))=θ∑y(i)(1−θ)n−∑y(i)×p(θ)/p(y(1),…,y(n))p(\theta\mid y^{(1)},\ldots,y^{(n)}) =\theta^{\sum y^{(i)}}(1-\theta)^{n-\sum y^{(i)}}\times p(\theta)/p(y^{(1)},\ldots,y^{(n)})

が成り立つ。二つの候補値 θa,θb\theta_a,\theta_b のどちらに事後密度がどれほど高く集まるかを比べるには、次の密度比を計算する。連続分布の一点の確率は0なので、ここで比べるのは一点の確率ではなく密度である。分母の密度が正である場合を考える。

p(θa∣y(1),…,y(n))p(θb∣y(1),…,y(n))=θa∑y(i)(1−θa)n−∑y(i)×p(θa)/p(y(1),…,y(n))θb∑y(i)(1−θb)n−∑y(i)×p(θb)/p(y(1),…,y(n))=(θaθb)∑y(i)(1−θa1−θb)n−∑y(i)p(θa)p(θb)\begin{aligned} \frac{p(\theta_a\mid y^{(1)},\ldots,y^{(n)})}{p(\theta_b\mid y^{(1)},\ldots,y^{(n)})} &=\frac{\theta_a^{\sum y^{(i)}}(1-\theta_a)^{n-\sum y^{(i)}}\times p(\theta_a)/p(y^{(1)},\ldots,y^{(n)})}{\theta_b^{\sum y^{(i)}}(1-\theta_b)^{n-\sum y^{(i)}}\times p(\theta_b)/p(y^{(1)},\ldots,y^{(n)})}\\ &=\left(\frac{\theta_a}{\theta_b}\right)^{\sum y^{(i)}} \left(\frac{1-\theta_a}{1-\theta_b}\right)^{n-\sum y^{(i)}} \frac{p(\theta_a)}{p(\theta_b)} \end{aligned}

のようにすればよい。これより、 θb\theta_b における確率密度に対する θa\theta_a の確率密度は ∑i=1ny(i)\sum_{i=1}^n y^{(i)} を通してのみ y(1),…,y(n)y^{(1)},\ldots,y^{(n)} に依存する。このことから、

Pr⁡(θ∈A∣Y(1)=y(1),…,Y(n)=y(n))=Pr⁡(θ∈A∣∑i=1nY(i)=∑i=1ny(i))\Pr(\theta\in A\mid Y^{(1)}=y^{(1)},\ldots,Y^{(n)}=y^{(n)}) = \Pr\left(\theta\in A\mid\sum_{i=1}^nY^{(i)}=\sum_{i=1}^ny^{(i)}\right)

が成り立つことがわかる。 ∑i=1nY(i)\sum_{i=1}^nY^{(i)} はデータから得られる θ\theta に関するすべての情報をもっていると考えることができ、 ∑i=1nY(i)\sum_{i=1}^nY^{(i)} は θ\theta と p(y(1),…,y(n)∣θ)p(y^{(1)},\ldots,y^{(n)}\mid\theta) に対する十分統計量(sufficient statistic)であるという。「十分」という用語は、 θ\theta に関する推測を行いたければ ∑iY(i)\sum_iY^{(i)} を知れば十分であるということに由来している。 Y(1),…,Y(n)∣θY^{(1)},\ldots,Y^{(n)}\mid\theta を binary⁡(θ)\operatorname{binary}(\theta) からの独立同一標本である場合に、統計量 Y=∑i=1nY(i)Y=\sum_{i=1}^nY^{(i)} はパラメータ (n,θ)(n,\theta) をもつ二項分布(binomial distribution)に従う。

二項分布

確率変数 Y∈{0,1,…,n}Y\in\{0,1,\ldots,n\} が二項分布 binomial⁡(n,θ)\operatorname{binomial}(n,\theta) に従うとは、

Pr⁡(Y=y∣θ)≡dbinom⁡(y,n,θ)=(ny)θy(1−θ)n−y,y∈{0,1,…,n}\Pr(Y=y\mid\theta) \equiv \operatorname{dbinom}(y,n,\theta) =\binom{n}{y}\theta^y(1-\theta)^{n-y}, \qquad y\in\{0,1,\ldots,n\}

となることをいう。異なる nn と θ\theta の値に対する二項分布のグラフを図3.2と図3.3に示す。二項分布 binomial⁡(n,θ)\operatorname{binomial}(n,\theta) に従う確率変数に対して、

E[Y∣θ]=nθ,\mathrm{E}[Y\mid\theta]=n\theta,
Var⁡[Y∣θ]=nθ(1−θ)\operatorname{Var}[Y\mid\theta]=n\theta(1-\theta)

が成り立つ。

平均と分散の式は、二項変数を nn 個の0・1の和 Y=Y(1)+⋯+Y(n)Y=Y^{(1)}+\cdots+Y^{(n)} と見れば導ける。各 Y(i)Y^{(i)} は0か1なので、二乗しても同じ値になり、

E[Y(i)∣θ]=0(1−θ)+1θ=θ,Var⁡(Y(i)∣θ)=E[(Y(i))2∣θ]−E[Y(i)∣θ]2=θ−θ2=θ(1−θ).\begin{aligned} \mathrm{E}[Y^{(i)}\mid\theta]&=0(1-\theta)+1\theta=\theta,\\ \operatorname{Var}(Y^{(i)}\mid\theta) &=\mathrm{E}[(Y^{(i)})^2\mid\theta]-\mathrm{E}[Y^{(i)}\mid\theta]^2 =\theta-\theta^2=\theta(1-\theta). \end{aligned}

和の平均は各平均の和である。また、 θ\theta を与えたもとでは独立なので、和の分散も各分散の和になる。したがって、

E[Y∣θ]=∑i=1nθ=nθ,Var⁡(Y∣θ)=∑i=1nθ(1−θ)=nθ(1−θ).\mathrm{E}[Y\mid\theta]=\sum_{i=1}^n\theta=n\theta, \qquad \operatorname{Var}(Y\mid\theta)=\sum_{i=1}^n\theta(1-\theta)=n\theta(1-\theta).

例えば10回、成功確率0.2なら、1回分の平均は0.2、分散は0.16である。10回の合計ではそれぞれ2と1.6になる。分散を足せるのは、ここで条件付き独立を仮定しているためである。

解説:回答の「列」と「個数」を区別する

本文の (ny)=n!/[y!(n−y)!]\binom{n}{y}=n!/[y!(n-y)!] は、 nn 個の位置から1になる yy 個の位置を選ぶ方法の数である。例えば3人中2人が1になる回答列は、 (1,1,0)(1,1,0) 、 (1,0,1)(1,0,1) 、 (0,1,1)(0,1,1) の3通りである。各列の確率が θ2(1−θ)\theta^2(1-\theta) なので、合計が2になる確率は3倍になる。

Pr⁡(Y=2∣θ=0.8)=(32) 0.82 0.2=3×0.128=0.384.\Pr(Y=2\mid\theta=0.8) =\binom32\,0.8^2\,0.2 =3\times0.128=0.384.

しかし、この係数3は θ\theta を変えても変わらない。したがって、事後分布を正規化するときには相殺され、列を使っても個数を使っても同じ θ\theta の事後分布になる。 データ事象の確率は異なるが、 θ\theta について学べる内容は同じ なのである。

一様事前分布のもとでは、合計の周辺確率は

Pr⁡(Y=y)=(ny)B(y+1,n−y+1)=n!y!(n−y)!y!(n−y)!(n+1)!=1n+1.\begin{aligned} \Pr(Y=y) &=\binom{n}{y}B(y+1,n-y+1)\\ &=\frac{n!}{y!(n-y)!}\frac{y!(n-y)!}{(n+1)!} =\frac1{n+1}. \end{aligned}

幸福度の例では Pr⁡(Y=118)=1/130≈0.007692\Pr(Y=118)=1/130\approx0.007692 であり、一つの回答列の 2.891533×10−182.891533\times10^{-18} とは大きく異なる。それでも事後分布は同じ beta⁡(119,12)\operatorname{beta}(119,12) である。

十分統計量もこの観点から理解できる。 nn が既知なら、合計 s=∑iy(i)s=\sum_i y^{(i)} を保存すれば、このモデルの θ\theta に関する推測には十分である。人数を捨ててよいわけではない。 s=2s=2 でも、3人中2人と100人中2人では結論が異なる。また、順序の影響や個人差を調べる別のモデルでは、合計だけで十分とは限らない。

次の二つの図では、まず同じ人数で成功率を変え、次に人数を10から100へ増やす。横軸は割合ではなく成功人数であることに注意する。

図3.2:n=10で、成功率0.2と0.8の二項分布を比較する。

n=10,θ=0.2n=10,\theta=0.2 では、平均は2、分散は 10×0.2×0.8=1.610\times0.2\times0.8=1.6 である。 θ=0.8\theta=0.8 にすると、平均は8に移り、分散は同じ1.6のままである。

図3.3:n=100で、成功率0.2と0.8の二項分布を比較する。

n=100,θ=0.2n=100,\theta=0.2 では、人数の平均は20、標準偏差は 16=4\sqrt{16}=4 である。人数のばらつき自体は増えるが、割合 Y/nY/n の標準偏差は θ(1−θ)/n\sqrt{\theta(1-\theta)/n} なので、 n=10n=10 の約0.126から n=100n=100 の0.040へ小さくなる。「標本が多いと割合が安定する」のはこのためである。

一様事前分布のもとでの事後推測

Y=yY=y を観測したとき、 θ\theta の事後分布を求めるためには以下を計算すればよい。

p(θ∣y)=p(y∣θ)p(θ)p(y)=(ny)θy(1−θ)n−yp(θ)p(y)=c(y)θy(1−θ)n−yp(θ).\begin{aligned} p(\theta\mid y) &=\frac{p(y\mid\theta)p(\theta)}{p(y)}\\ &=\frac{\binom{n}{y}\theta^y(1-\theta)^{n-y}p(\theta)}{p(y)}\\ &=c(y)\theta^y(1-\theta)^{n-y}p(\theta). \end{aligned}

ただし、 c(y)c(y) は θ\theta に無関係な yy の関数である。一様分布 p(θ)=1p(\theta)=1 に対しては、微分積分学の基礎事項を用いて c(y)c(y) を以下のように計算することができる。

1=∫01c(y)θy(1−θ)n−y dθ⟺1=c(y)∫01θy(1−θ)n−y dθ1=\int_0^1c(y)\theta^y(1-\theta)^{n-y}\,d\theta \Longleftrightarrow 1=c(y)\int_0^1\theta^y(1-\theta)^{n-y}\,d\theta
⟺1=c(y)Γ(y+1)Γ(n−y+1)Γ(n+2).\Longleftrightarrow 1=c(y)\frac{\Gamma(y+1)\Gamma(n-y+1)}{\Gamma(n+2)}.

よって、正規化定数 c(y)c(y) は Γ(n+2)/{Γ(y+1)Γ(n−y+1)}\Gamma(n+2)/\{\Gamma(y+1)\Gamma(n-y+1)\} となり、事後分布は

p(θ∣y)=Γ(n+2)Γ(y+1)Γ(n−y+1)θy(1−θ)n−y=Γ(n+2)Γ(y+1)Γ(n−y+1)θ(y+1)−1(1−θ)(n−y+1)−1=beta⁡(y+1,n−y+1)\begin{aligned} p(\theta\mid y) &=\frac{\Gamma(n+2)}{\Gamma(y+1)\Gamma(n-y+1)}\theta^y(1-\theta)^{n-y}\\ &=\frac{\Gamma(n+2)}{\Gamma(y+1)\Gamma(n-y+1)}\theta^{(y+1)-1}(1-\theta)^{(n-y+1)-1}\\ &=\operatorname{beta}(y+1,n-y+1) \end{aligned}

となる。幸福度データの例では、 Y=∑Y(i)=118Y=\sum Y^{(i)}=118 を観測していたので、事後分布は

n=129,Y≡∑Y(i)=118⇒θ∣{Y=118}∼beta⁡(119,12)n=129,\quad Y\equiv\sum Y^{(i)}=118 \quad\Rightarrow\quad \theta\mid\{Y=118\}\sim\operatorname{beta}(119,12)

となる。これは、もし ∑y(i)=y=118\sum y^{(i)}=y=118 ならば

p(θ∣y(1),…,y(n))=p(θ∣y)=beta⁡(119,12)p(\theta\mid y^{(1)},\ldots,y^{(n)})=p(\theta\mid y)=\operatorname{beta}(119,12)

が成り立つことを示せば、このモデルと事前分布に対する十分性の結果を確認することができる。いいかえれば、 {Y(1)=y(1),…,Y(n)=y(n)}\{Y^{(1)}=y^{(1)},\ldots,Y^{(n)}=y^{(n)}\} に含まれる情報は {Y=y}\{Y=y\} に含まれる情報と同じということである。ただし、 Y=∑Y(i)Y=\sum Y^{(i)} 、 y=∑y(i)y=\sum y^{(i)} である。

ベータ事前分布のもとでの事後推測

一様事前分布はすべての θ∈[0,1]\theta\in[0,1] に対して密度関数 p(θ)=1p(\theta)=1 をもつ。この分布はパラメータ a=1,b=1a=1,b=1 をもつベータ事前分布として見ることができる。

p(θ)=Γ(2)Γ(1)Γ(1)θ1−1(1−θ)1−1=11×1 1×1=1.p(\theta) =\frac{\Gamma(2)}{\Gamma(1)\Gamma(1)}\theta^{1-1}(1-\theta)^{1-1} =\frac{1}{1\times1}\,1\times1=1.

xx が正の整数ならば、 Γ(x+1)=x!=x×(x−1)⋯×1\Gamma(x+1)=x!=x\times(x-1)\cdots\times1 が成り立つことに注意し、慣習により Γ(1)=1\Gamma(1)=1 とする。先の段落の議論より、

θ∼beta⁡(1,1) (uniform)Y∼binomial⁡(n,θ)}ならば,{θ∣Y=y}∼beta⁡(1+y,1+n−y)\left. \begin{array}{l} \theta\sim\operatorname{beta}(1,1)\ \text{(uniform)}\\ Y\sim\operatorname{binomial}(n,\theta) \end{array} \right\} \quad\text{ならば,}\quad \{\theta\mid Y=y\}\sim\operatorname{beta}(1+y,1+n-y)

がわかり、事前分布が beta⁡(a=1,b=1)\operatorname{beta}(a=1,b=1) 分布のときの事後分布を得るためには、単純に1である個数をパラメータ aa に加え、0である個数をパラメータ bb に加えればよい。この結果は任意のベータ事前分布に対して成り立つかを見ていこう。

θ∼beta⁡(a,b)\theta\sim\operatorname{beta}(a,b) とし、 Y∣θ∼binomial⁡(n,θ)Y\mid\theta\sim\operatorname{binomial}(n,\theta) とする。 Y=yY=y を観測したとき、

p(θ∣y)=p(θ)p(y∣θ)p(y)=1p(y)×Γ(a+b)Γ(a)Γ(b)θa−1(1−θ)b−1×(ny)θy(1−θ)n−y=c(n,y,a,b)×θa+y−1(1−θ)b+n−y−1=dbeta⁡(θ,a+y,b+n−y)\begin{aligned} p(\theta\mid y) &=\frac{p(\theta)p(y\mid\theta)}{p(y)}\\ &=\frac{1}{p(y)}\times\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\theta^{a-1}(1-\theta)^{b-1} \times\binom{n}{y}\theta^y(1-\theta)^{n-y}\\ &=c(n,y,a,b)\times\theta^{a+y-1}(1-\theta)^{b+n-y-1}\\ &=\operatorname{dbeta}(\theta,a+y,b+n-y) \end{aligned}

が成り立つ。上の式の最後の二つの等号を理解することは重要である。最後から二つ目の等号は p(θ∣y)p(\theta\mid y) は θ\theta の関数として、 θa+y−1(1−θ)b+n−y−1\theta^{a+y-1}(1-\theta)^{b+n-y-1} に比例することを意味している。これは、 p(θ∣y)p(\theta\mid y) がベータ分布の密度関数 dbeta⁡(θ,a+y,b+n−y)\operatorname{dbeta}(\theta,a+y,b+n-y) と同じ「形状」をもつことを意味する。しかし、 p(θ∣y)p(\theta\mid y) とベータ密度はともに積分して1にならないといけないので、それらはまた同じ「尺度」を共有する。これら二つのことは、 p(θ∣y)p(\theta\mid y) とベータ密度が実際には同じ関数であることを意味する。本書全体を通して、この考え方を利用して事後分布を識別していく。つまり、事後分布は既知の確率密度に比例するため、その密度と等しくなければならないことがわかる。

解説:「同じ形を見つける」とは指数を照合することである

ここで大切なのは、ベータ分布の式を丸暗記することより、 θ\theta の指数と 1−θ1-\theta の指数を別々に追うことである。

項 θ\theta の指数 1−θ1-\theta の指数
事前分布 a−1a-1 b−1b-1
尤度 yy n−yn-y
掛け算した結果 (a+y)−1(a+y)-1 (b+n−y)−1(b+n-y)-1

ベータ密度は「第一引数から1を引いた数」が θ\theta の指数になる。そのため、指数が a+y−1a+y-1 なら第一引数は a+ya+y である。「指数にさらに1を足す」位置を混同しないようにする。

説明用に、事前分布を beta⁡(3,2)\operatorname{beta}(3,2) 、観測を5人中1人の成功とする。事前の形 θ2(1−θ)\theta^2(1-\theta) に尤度の形 θ(1−θ)4\theta(1-\theta)^4 を掛けると、 θ3(1−θ)5\theta^3(1-\theta)^5 となる。したがって事後分布は beta⁡(4,6)\operatorname{beta}(4,6) である。

より明示的には、ある密度 f(θ)f(\theta) に対して p(θ∣y)=Kf(θ)p(\theta\mid y)=Kf(\theta) と書け、両辺を積分すると 1=K×11=K\times1 なので K=1K=1 である。「形が同じで、どちらも全面積1だから、同じ密度になる」という本文の議論は、この一行の計算に対応する。

共役性

ベータ事前分布と二項モデルによりベータ事後分布が得られることを示してきた。このことから、ベータ事前分布のクラスは二項モデルに対して共役(conjugate)であるという。

定義4(共役性) 。 θ\theta に対する事前分布のクラス P\mathcal P が標本モデル p(y∣θ)p(y\mid\theta) に対して共役であるとは、

p(θ)∈P⇒p(θ∣y)∈Pp(\theta)\in\mathcal P\Rightarrow p(\theta\mid y)\in\mathcal P

となることをいう。

共役事前分布は事後計算を容易にするが、実際には事前情報を表していない場合がある。ただし、共役事前分布の混合分布は非常に柔軟であり、計算上扱いやすいものである(演習問題3.4、演習問題3.5を参照)。

解説:共役性は、更新しても「分布の種類」が変わらない性質である

共役性は、事前と事後で数値まで変わらないという意味ではない。例えば beta⁡(3,2)\operatorname{beta}(3,2) が beta⁡(4,6)\operatorname{beta}(4,6) になると、平均も分散も変わる。しかし、どちらもベータ分布であることは変わらない。つまり、データによって変わるのは二つの引数だけであり、分布の「種類」は保たれる。

この性質は、データを少しずつ受け取るときにも便利である。一様事前から、最初の3人に (1,0,1)(1,0,1) を観測すると beta⁡(3,2)\operatorname{beta}(3,2) になる。次の2人に (0,1)(0,1) を観測すると、これを新しい事前に使って beta⁡(4,3)\operatorname{beta}(4,3) になる。最初から5人中3人の成功として一括更新しても beta⁡(1+3,1+2)\operatorname{beta}(1+3,1+2) で同じ結果になる。更新のたびに「1の数を第一引数に、0の数を第二引数に足す」だけで済むのは、事後分布が再びベータ分布になるからである。

共役事前分布だけでは表しにくい信念

ただし、計算が簡単という理由だけで共役事前分布を選ぶと、本当に表したい事前情報から外れることがある。例えば、新商品を買う人の割合 θ\theta について、二人の専門家の意見が割れているとする。専門家Aは「0.2前後だろう」と言い、専門家Bは「0.8前後だろう」と言う。そして、どちらの見立てが正しいかは五分五分だと考えているとする。

この信念では、0.2付近と0.8付近の二か所に確率が集まり、中央の0.5付近はむしろ起こりにくい。ところが、一つのベータ分布は山が一つか、両端の0と1に張り付く形しか作れないため、「0.2付近と0.8付近に二つの山」という形は表せない。

そこで、二つのベータ分布を 混ぜる 。専門家Aの意見を beta⁡(2,8)\operatorname{beta}(2,8) (平均0.2)、専門家Bの意見を beta⁡(8,2)\operatorname{beta}(8,2) (平均0.8)で表し、それぞれに重み w1=w2=0.5w_1=w_2=0.5 を付けて足し合わせる。

p(θ)=w1dbeta⁡(θ,2,8)+w2dbeta⁡(θ,8,2),w1+w2=1.p(\theta)=w_1\operatorname{dbeta}(\theta,2,8)+w_2\operatorname{dbeta}(\theta,8,2), \qquad w_1+w_2=1.

これを 混合事前分布 という。この分布は、次の二段階で θ\theta が決まると考えるとイメージしやすい。まず、コインを投げて「どちらの専門家が正しいか」を確率 w1,w2w_1,w_2 で決める。次に、選ばれた専門家のベータ分布から θ\theta を引く。したがって、ここでの重み wjw_j は「専門家 jj の見立てが正しい」という仮説の確率である。

混合事前分布を更新すると、何が起きるか

では、この混合事前分布に二項データ( nn 人中 yy 人が成功)を組み合わせると、事後分布はどうなるだろうか。結論を先に述べると、事後分布も ベータ分布の混合 になり、変わるものは次の二つである。

変わるもの どう変わるか
各成分の引数 一つのベータ事前分布のときと同じく、 (aj,bj)→(aj+y, bj+n−y)(a_j,b_j)\to(a_j+y,\,b_j+n-y)
混合の重み データをよく予測できた成分ほど重くなる

これを順に確かめる。以下では、成分 jj の密度を fj(θ)=dbeta⁡(θ,aj,bj)f_j(\theta)=\operatorname{dbeta}(\theta,a_j,b_j) 、尤度を p(y∣θ)=(ny)θy(1−θ)n−yp(y\mid\theta)=\binom ny\theta^y(1-\theta)^{n-y} と書く。

まず、事後密度は「事前密度 × 尤度」に比例する。事前密度が和になっているので、尤度を掛けると、成分ごとの項に分かれる。

p(θ∣y)∝{w1f1(θ)+w2f2(θ)} p(y∣θ)=w1 f1(θ)p(y∣θ)⏟成分1の項+w2 f2(θ)p(y∣θ)⏟成分2の項.p(\theta\mid y) \propto\{w_1f_1(\theta)+w_2f_2(\theta)\}\,p(y\mid\theta) =w_1\,\underbrace{f_1(\theta)p(y\mid\theta)}_{\text{成分1の項}} +w_2\,\underbrace{f_2(\theta)p(y\mid\theta)}_{\text{成分2の項}}.

次に、各成分の項を見る。 fj(θ)p(y∣θ)f_j(\theta)p(y\mid\theta) は、一つのベータ事前分布を二項尤度で更新するときとまったく同じ掛け算である。そのため、前の節の指数の照合から、 θ\theta の関数としては dbeta⁡(θ,aj+y,bj+n−y)\operatorname{dbeta}(\theta,a_j+y,b_j+n-y) と同じ形になる。ただし、この項の面積は1ではない。その面積を

mj(y)=∫01fj(θ) p(y∣θ) dθm_j(y)=\int_0^1f_j(\theta)\,p(y\mid\theta)\,d\theta

と書くと、形が同じで面積が mj(y)m_j(y) なので、

fj(θ) p(y∣θ)=mj(y)×dbeta⁡(θ,aj+y,bj+n−y)f_j(\theta)\,p(y\mid\theta)=m_j(y)\times\operatorname{dbeta}(\theta,a_j+y,b_j+n-y)

と書ける。これを代入し、全体の面積が1になるように w1m1(y)+w2m2(y)w_1m_1(y)+w_2m_2(y) で割ると、

p(θ∣y)=w1m1(y)w1m1(y)+w2m2(y)dbeta⁡(θ,a1+y,b1+n−y)+w2m2(y)w1m1(y)+w2m2(y)dbeta⁡(θ,a2+y,b2+n−y)p(\theta\mid y) =\frac{w_1m_1(y)}{w_1m_1(y)+w_2m_2(y)}\operatorname{dbeta}(\theta,a_1+y,b_1+n-y) +\frac{w_2m_2(y)}{w_1m_1(y)+w_2m_2(y)}\operatorname{dbeta}(\theta,a_2+y,b_2+n-y)

となる。したがって、更新後の重みは

wjpost=wjmj(y)w1m1(y)+w2m2(y)w_j^{\text{post}}=\frac{w_jm_j(y)}{w_1m_1(y)+w_2m_2(y)}

である。事後分布もベータ分布の混合なので、「ベータ分布の混合」というクラスもまた二項モデルに対して共役である。

重みを決める mj(y)m_j(y) の意味と計算

mj(y)m_j(y) は、 θ\theta の値ごとの「データ yy が出る確率」 p(y∣θ)p(y\mid\theta) を、成分 jj の分布で平均したものである。言い換えると、「専門家 jj の見立てが正しいとしたとき、実際に観測したデータ yy がどれくらい起こりやすかったか」を表す。そのため、重みの更新式は

更新後の重み∝事前の重み×その仮説のもとでのデータの起こりやすさ\text{更新後の重み}\propto\text{事前の重み}\times\text{その仮説のもとでのデータの起こりやすさ}

という、仮説に対するベイズルールそのものになっている。

mj(y)m_j(y) は、ベータ関数 B(u,v)=∫01tu−1(1−t)v−1 dtB(u,v)=\int_0^1t^{u-1}(1-t)^{v-1}\,dt を使うと閉じた形で書ける。被積分関数の θ\theta の指数を照合すると、

mj(y)=∫01(ny)θy(1−θ)n−yθaj−1(1−θ)bj−1B(aj,bj) dθ=(ny)1B(aj,bj)∫01θ(aj+y)−1(1−θ)(bj+n−y)−1 dθ=(ny)B(aj+y, bj+n−y)B(aj,bj)\begin{aligned} m_j(y) &=\int_0^1\binom ny\theta^y(1-\theta)^{n-y} \frac{\theta^{a_j-1}(1-\theta)^{b_j-1}}{B(a_j,b_j)}\,d\theta\\ &=\binom ny\frac{1}{B(a_j,b_j)}\int_0^1\theta^{(a_j+y)-1}(1-\theta)^{(b_j+n-y)-1}\,d\theta\\ &=\binom ny\frac{B(a_j+y,\,b_j+n-y)}{B(a_j,b_j)} \end{aligned}

となる。なお、二項係数 (ny)\binom ny はどの成分でも同じなので、重みの比を取ると分子と分母で打ち消し合う。

具体例1:1人が観測され、成功だった場合

先ほどの専門家の例で、 n=1n=1 人を観測し、成功( y=1y=1 )だったとする。このとき mj(1)=B(aj+1,bj)/B(aj,bj)m_j(1)=B(a_j+1,b_j)/B(a_j,b_j) であり、これはベータ分布の平均の式変形で見た比 aj/(aj+bj)a_j/(a_j+b_j) に等しい。つまり、1人が成功する確率は、各専門家の分布の平均そのものである。

専門家A: beta⁡(2,8)\operatorname{beta}(2,8) 専門家B: beta⁡(8,2)\operatorname{beta}(8,2)
事前の重み wjw_j 0.5 0.5
成功が観測される確率 mj(1)m_j(1) 2/10=0.22/10=0.2 8/10=0.88/10=0.8
重み × 起こりやすさ 0.10 0.40
更新後の重み(合計0.50で割る) 0.2 0.8
更新後の成分 beta⁡(3,8)\operatorname{beta}(3,8) beta⁡(9,2)\operatorname{beta}(9,2)

たった1人の成功でも、「成功しやすい」と予想していた専門家Bの重みが0.5から0.8へ増える。同時に、各成分も第一引数に1が足されて、少し右へ移る。更新後の平均は 0.2×3/11+0.8×9/11≈0.7090.2\times3/11+0.8\times9/11\approx0.709 である。

具体例2:10人中7人が成功した場合

次に、 n=10n=10 人中 y=7y=7 人が成功したとする。 (107)=120\binom{10}{7}=120 なので、

m1(7)=120×B(9,11)B(2,8)≈0.010392,m2(7)=120×B(15,5)B(8,2)≈0.148607\begin{aligned} m_1(7)&=120\times\frac{B(9,11)}{B(2,8)}\approx0.010392,\\ m_2(7)&=120\times\frac{B(15,5)}{B(8,2)}\approx0.148607 \end{aligned}

となる。専門家Bの見立てのもとでは、「10人中7人成功」は専門家Aのもとより約14倍起こりやすい。事前の重みはともに0.5なので、更新後の重みは

w1post=0.5×0.0103920.5×0.010392+0.5×0.148607≈0.065,w2post≈0.935w_1^{\text{post}}=\frac{0.5\times0.010392}{0.5\times0.010392+0.5\times0.148607}\approx0.065, \qquad w_2^{\text{post}}\approx0.935

である。したがって事後分布は

p(θ∣y)=0.065dbeta⁡(θ,9,11)+0.935dbeta⁡(θ,15,5)p(\theta\mid y)=0.065\operatorname{dbeta}(\theta,9,11)+0.935\operatorname{dbeta}(\theta,15,5)

となり、その平均は 0.065×9/20+0.935×15/20≈0.7300.065\times9/20+0.935\times15/20\approx0.730 である。

事前と事後の混合分布を、成分に分けて並べる。破線と一点鎖線は、重みを掛けた後の各成分であり、実線はその和(混合分布)である。

補助図:ベータ混合事前分布の更新。上は Beta(2,8) と Beta(8,2) を重み0.5ずつ混ぜた事前分布、下は10人中7人の成功を観測した後の事後分布で、重みは0.065と0.935に変わる。

上段では、同じ高さの二つの山が0.2付近と0.8付近に並んでいる。下段では、低い成分が beta⁡(9,11)\operatorname{beta}(9,11) として0.45付近へ移ると同時に、重みが0.065まで縮むため、高さ0.2程度の低い山しか残らない。一方、高い成分は beta⁡(15,5)\operatorname{beta}(15,5) として0.75付近で鋭くなり、事後分布のほぼすべてを占める。このように、混合事前分布の更新では「各成分の中身」と「どの成分を信じるか」の両方が同時にデータから学ばれる。

情報の統合

θ∣{Y=y}∼beta⁡(a+y,b+n−y)\theta\mid\{Y=y\}\sim\operatorname{beta}(a+y,b+n-y)

なら、

E[θ∣y]=a+ya+b+n,mode⁡[θ∣y]=a+y−1a+b+n−2,Var⁡[θ∣y]=E[θ∣y]E[1−θ∣y]a+b+n+1\mathrm{E}[\theta\mid y]=\frac{a+y}{a+b+n}, \qquad \operatorname{mode}[\theta\mid y]=\frac{a+y-1}{a+b+n-2}, \qquad \operatorname{Var}[\theta\mid y] =\frac{\mathrm{E}[\theta\mid y]\mathrm{E}[1-\theta\mid y]}{a+b+n+1}

となる。ただし、上の最頻値の内部解の式は a+y>1a+y>1 かつ b+n−y>1b+n-y>1 の場合に適用する。境界に山がある場合は密度の形を別に確認する。

事後期待値(posterior expectation) E[θ∣y]\mathrm{E}[\theta\mid y] が、事前平均と観測された成功割合をどのように組み合わせた値なのかを調べる。分子の a+ya+y を二つに分け、それぞれに (a+b)/(a+b)=1(a+b)/(a+b)=1 と n/n=1n/n=1 を掛けると、次の形になる。ここでは n>0n>0 とする。

E[θ∣y]=a+ya+b+n=a+ba+b+naa+b+na+b+nyn=a+ba+b+n×事前期待値+na+b+n×標本平均.\begin{aligned} \mathrm{E}[\theta\mid y] &=\frac{a+y}{a+b+n}\\ &=\frac{a+b}{a+b+n}\frac{a}{a+b} +\frac{n}{a+b+n}\frac{y}{n}\\ &=\frac{a+b}{a+b+n}\times\text{事前期待値} +\frac{n}{a+b+n}\times\text{標本平均}. \end{aligned}

このモデルと事前分布に対して、事後期待値(事後平均とも呼ばれる)は、事前期待値と標本平均の加重平均であり、重みはそれぞれ a+ba+b と nn に比例する。これにより、 aa と bb が「事前のデータ」として解釈される。つまり、

a≈「事前の1の数」,a\approx\text{「事前の1の数」},
b≈「事前の0の数」,b\approx\text{「事前の0の数」},
a+b≈「事前サンプルサイズ」.a+b\approx\text{「事前サンプルサイズ」}.

二つの重みは正で、合計は {(a+b)+n}/(a+b+n)=1\{(a+b)+n\}/(a+b+n)=1 である。そのため、事後平均は事前平均と標本平均の間にある。 n>a+bn>a+b ならデータ側の重みが半分を超え、 nn がさらに大きくなるほど標本平均に近づく。

具体的に、 beta⁡(3,2)\operatorname{beta}(3,2) の事前平均は 3/5=0.63/5=0.6 である。5人中1人が成功したとき、

E[θ∣y]=510×0.6+510×0.2=0.4.\mathrm{E}[\theta\mid y] =\frac{5}{10}\times0.6+\frac{5}{10}\times0.2=0.4.

事前とデータの重みは半々なので、0.6と0.2のちょうど中間になる。一方、100人中20人なら、

E[θ∣y]=5105×0.6+100105×0.2=23105≈0.219048.\mathrm{E}[\theta\mid y] =\frac{5}{105}\times0.6+\frac{100}{105}\times0.2 =\frac{23}{105}\approx0.219048.

標本比率はどちらも0.2だが、100人のときはデータに大きな重みが付く。下の図は、左列を一様事前、右列を beta⁡(3,2)\operatorname{beta}(3,2) 事前とし、上段から下段へ人数を増やしたものである。

図3.4:横方向で事前分布、縦方向で標本サイズの影響を比較する。
データ 一様事前の事後平均 beta⁡(3,2)\operatorname{beta}(3,2) 事前の事後平均
5人中1人 2/7≈0.2857142/7\approx0.285714 4/10=0.44/10=0.4
100人中20人 21/102≈0.20588221/102\approx0.205882 23/105≈0.21904823/105\approx0.219048

下段では事前分布を変えた影響が小さい。これが「データが増えるほど、固定された事前分布の影響が小さくなる」という性質である。

「事前のデータ」という言葉は、実際に観測した架空の人をデータに混ぜる指示ではない。ここでは平均の加重平均の式における重みを表している。 a,ba,b は小数でもよい。また、 θ\theta の密度の形だけを仮想的な尤度に対応させると指数は a−1,b−1a-1,b-1 になるため、疑似個数という比喩は、どの尺度・どの性質を説明しているかを添えて使う必要がある。

実際に、たとえば、 n≫a+bn\gg a+b ならば、

a+ba+b+n≈0,E[θ∣y]≈yn,Var⁡[θ∣y]≈1nyn(1−yn)\frac{a+b}{a+b+n}\approx0, \qquad \mathrm{E}[\theta\mid y]\approx\frac{y}{n}, \qquad \operatorname{Var}[\theta\mid y]\approx\frac{1}{n}\frac{y}{n}\left(1-\frac{y}{n}\right)

となることからもわかる。

分散の近似では、正確な式を先に書くと省略した操作が見える。事後平均を m=(a+y)/(a+b+n)m=(a+y)/(a+b+n) と置けば、

Var⁡(θ∣y)=m(1−m)a+b+n+1≈(y/n)(1−y/n)n.\operatorname{Var}(\theta\mid y) =\frac{m(1-m)}{a+b+n+1} \approx\frac{(y/n)(1-y/n)}{n}.

ここでは、平均 mm を y/ny/n に、分母 a+b+n+1a+b+n+1 を nn に置き換えた。つまり、 nn が固定した a+b+1a+b+1 に比べて十分大きい状況の近似である。

上の近似式は、標本比率が0や1から離れた通常の場合に理解するとよい。例えば全員が0を答えた場合、近似式の分散は0になるが、正確な事後分散は正である。境界付近では、共役更新の正確な式をそのまま使うのが簡単かつ確実である。

予測

ベイズ推測の重要な特徴として、新たなデータに対する予測分布が存在するということが挙げられる。ここでは、二値データの場合を考える。 y(1),…,y(n)y^{(1)},\ldots,y^{(n)} を nn 個の二値確率変数の実現値とし、 Y~∈{0,1}\widetilde Y\in\{0,1\} を同じ母集団からのまだ観測していない確率変数とする。 Y~\widetilde Y の予測分布(predictive distribution)は {Y(1)=y(1),…,Y(n)=y(n)}\{Y^{(1)}=y^{(1)},\ldots,Y^{(n)}=y^{(n)}\} が与えられたもとでの Y~\widetilde Y の条件付き分布である。条件付き独立同一の二値確率変数に対して、この予測分布は θ\theta を与えたもとでの Y~\widetilde Y の分布と θ\theta の事後分布から導かれる。

Pr⁡(Y~=1∣y(1),…,y(n))=∫Pr⁡(Y~=1,θ∣y(1),…,y(n)) dθ=∫Pr⁡(Y~=1∣θ,y(1),…,y(n))p(θ∣y(1),…,y(n)) dθ=∫θ p(θ∣y(1),…,y(n)) dθ=E[θ∣y(1),…,y(n)]=a+∑i=1ny(i)a+b+n,\begin{aligned} \Pr(\widetilde Y=1\mid y^{(1)},\ldots,y^{(n)}) &=\int \Pr(\widetilde Y=1,\theta\mid y^{(1)},\ldots,y^{(n)})\,d\theta\\ &=\int \Pr(\widetilde Y=1\mid\theta,y^{(1)},\ldots,y^{(n)})p(\theta\mid y^{(1)},\ldots,y^{(n)})\,d\theta\\ &=\int \theta\,p(\theta\mid y^{(1)},\ldots,y^{(n)})\,d\theta\\ &=\mathrm{E}[\theta\mid y^{(1)},\ldots,y^{(n)}] =\frac{a+\sum_{i=1}^ny^{(i)}}{a+b+n}, \end{aligned}
Pr⁡(Y~=0∣y(1),…,y(n))=1−E[θ∣y(1),…,y(n)]=b+∑i=1n(1−y(i))a+b+n.\Pr(\widetilde Y=0\mid y^{(1)},\ldots,y^{(n)}) =1-\mathrm{E}[\theta\mid y^{(1)},\ldots,y^{(n)}] =\frac{b+\sum_{i=1}^n(1-y^{(i)})}{a+b+n}.

式変形を一行ずつ追う:なぜ次の成功確率が事後平均になるのか

上の式で求めたいのは、 すでに観測した結果を踏まえて、次の1回が1になる確率 である。成功確率 θ\theta が既知なら答えは単に θ\theta だが、実際にはその値がわからない。そのため、データから得た θ\theta の事後分布を使って、ありうる成功確率を平均する。以下では、この操作を省略せずに確認する。

まず、記号を短くするために、観測済みのデータ全体を D=(y(1),…,y(n))D=(y^{(1)},\ldots,y^{(n)}) 、その中の成功回数を s=∑i=1ny(i)s=\sum_{i=1}^n y^{(i)} と書く。各 y(i)y^{(i)} は0か1なので、失敗回数は n−sn-s である。ここで DD はすでにわかっている情報であり、積分する変数ではない。

モデルと事前分布は、次のとおりである。

Y(1),…,Y(n),Y~∣θ∼iidBernoulli⁡(θ),θ∼beta⁡(a,b),a,b>0.Y^{(1)},\ldots,Y^{(n)},\widetilde Y\mid\theta \overset{\mathrm{iid}}{\sim}\operatorname{Bernoulli}(\theta), \qquad \theta\sim\operatorname{beta}(a,b),\quad a,b>0.

「iid」は、 θ\theta を与えた条件のもとで、過去の観測と未来の観測が独立で、同じ成功確率をもつ という仮定を表す。過去のデータを観測すると、事後分布は

θ∣D∼beta⁡(a+s,b+n−s)\theta\mid D\sim\operatorname{beta}(a+s,b+n-s)

となる。この事後分布を使って、未来の Y~\widetilde Y の確率を計算する。

1.最初の等号:未知の成功確率をすべて足し合わせる

まず、 θ\theta が離散的な候補 t1,t2,…t_1,t_2,\ldots のどれかをとる場合を考える。「次に成功する」という出来事は、「次に成功し、かつ θ=t1\theta=t_1 である」「次に成功し、かつ θ=t2\theta=t_2 である」などに分けられる。これらは互いに重ならないので、その確率を足せばよい。

Pr⁡(Y~=1∣D)=∑jPr⁡(Y~=1,θ=tj∣D).\Pr(\widetilde Y=1\mid D) =\sum_j\Pr(\widetilde Y=1,\theta=t_j\mid D).

今回の θ\theta は0から1の間を連続的に動くので、足し算を積分に置き換える。このように、同時分布から不要な変数を足し合わせて取り除く操作を 周辺化 という。

ただし、元の式の Pr⁡(Y~=1,θ∣D)\Pr(\widetilde Y=1,\theta\mid D) という表記には注意が必要である。連続分布では、特定の一点についての確率 Pr⁡(θ=t∣D)\Pr(\theta=t\mid D) は0である。したがって、ここで積分しているのは「その一点の確率」ではなく、 Y~=1\widetilde Y=1 という結果と、連続変数 θ\theta に関する同時密度 である。以下では、この違いを明確にするために、その同時密度を p(Y~=1,θ∣D)p(\widetilde Y=1,\theta\mid D) と書く。

Pr⁡(Y~=1∣D)=∫01p(Y~=1,θ∣D) dθ.\Pr(\widetilde Y=1\mid D) =\int_0^1p(\widetilde Y=1,\theta\mid D)\,d\theta.

例えば、 p(Y~=1,t∣D) Δtp(\widetilde Y=1,t\mid D)\,\Delta t は、幅 Δt\Delta t が十分に小さければ、「次に成功し、かつ θ\theta が tt から t+Δtt+\Delta t の狭い範囲にある確率」の近似である。その範囲を0から1まで並べて足し合わせれば、 θ\theta がどこにあるかを問わない「次に成功する確率」が得られる。元の式で省略されている積分範囲は、すべて0から1である。

2.二つ目の等号:同時密度を「条件付き確率 × 事後密度」に分ける

二つの出来事 A,CA,C に対する、条件付き確率の積の法則を思い出すと、

Pr⁡(A,C∣D)=Pr⁡(A∣C,D)Pr⁡(C∣D)\Pr(A,C\mid D)=\Pr(A\mid C,D)\Pr(C\mid D)

である。つまり、「両方が起こる確率」は「一方が起こる確率」と「その条件のもとでもう一方が起こる確率」の積である。連続変数を含む場合も、対応する密度について同じ分解が成り立つ。

p(Y~=1,θ∣D)=Pr⁡(Y~=1∣θ,D) p(θ∣D).p(\widetilde Y=1,\theta\mid D) =\Pr(\widetilde Y=1\mid\theta,D)\,p(\theta\mid D).

これを先ほどの積分に代入すると、

Pr⁡(Y~=1∣D)=∫01Pr⁡(Y~=1∣θ,D)⏟その成功確率なら次に成功する確率p(θ∣D)⏟データ観測後の成功確率の密度 dθ\Pr(\widetilde Y=1\mid D) =\int_0^1 \underbrace{\Pr(\widetilde Y=1\mid\theta,D)}_{\text{その成功確率なら次に成功する確率}} \underbrace{p(\theta\mid D)}_{\text{データ観測後の成功確率の密度}} \,d\theta

となる。ここで重みとして使うのは、データを見る前の p(θ)p(\theta) ではなく、 データを見た後の p(θ∣D)p(\theta\mid D) である。なお、この積への分解自体には、独立性の仮定はまだ使っていない。

3.三つ目の等号:条件付き独立により、未来の成功確率を θ\theta に置き換える

ここで初めて、モデルの条件付き独立性を使う。 θ\theta の値までわかっていれば、過去の結果を追加で知っても、次の1回の成功確率は変わらない。したがって、

Pr⁡(Y~=1∣θ,D)=Pr⁡(Y~=1∣θ)=θ.\Pr(\widetilde Y=1\mid\theta,D) =\Pr(\widetilde Y=1\mid\theta) =\theta.

最初の等号は条件付き独立性によるものであり、二つ目の等号はベルヌーイ分布の定義によるものである。例えば、成功確率が θ=0.7\theta=0.7 だとわかっているなら、過去に成功が続いていても失敗が続いていても、このモデルでは次の成功確率は0.7である。

よって、積分の中の条件付き確率を θ\theta に置き換えられる。

Pr⁡(Y~=1∣D)=∫01θ p(θ∣D) dθ.\Pr(\widetilde Y=1\mid D) =\int_0^1\theta\,p(\theta\mid D)\,d\theta.

ただし、 過去のデータの影響がなくなったわけではない 。 DD は右辺の事後密度 p(θ∣D)p(\theta\mid D) に残っている。例えば成功が多く観測されると、大きな θ\theta に重みが移るため、積分した後の予測確率も大きくなる。

4.四つ目の等号:「値 × 密度」の積分は期待値そのものである

連続変数の期待値は、その変数の値を密度で重み付けして積分したものである。データ DD を観測した後なら、定義は

E[θ∣D]=∫01θ p(θ∣D) dθ\mathrm{E}[\theta\mid D] =\int_0^1\theta\,p(\theta\mid D)\,d\theta

となる。直前の式の右辺と同じ形なので、

Pr⁡(Y~=1∣D)=E[θ∣D]\Pr(\widetilde Y=1\mid D)=\mathrm{E}[\theta\mid D]

と書ける。これは「とりあえず未知の θ\theta を平均値で置き換えた」という近似ではなく、 次の1回の成功確率が θ\theta そのものであるために成り立つ、厳密な等式 である。一般には、積分する関数の形が変われば、事後平均を代入するだけでは同じ結果にならない。

5.最後の分数:ベータ分布の事後平均を積分で計算する

ここでは計算を見やすくするため、 α=a+s\alpha=a+s 、 β=b+n−s\beta=b+n-s と置く。この β\beta はベータ分布の二つ目のパラメータである。事後密度は

p(θ∣D)=1B(α,β)θα−1(1−θ)β−1,0<θ<1p(\theta\mid D) =\frac{1}{B(\alpha,\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}, \qquad 0<\theta<1

である。ここで B(u,v)B(u,v) はベータ関数であり、

B(u,v)=∫01tu−1(1−t)v−1 dt=Γ(u)Γ(v)Γ(u+v)B(u,v)=\int_0^1t^{u-1}(1-t)^{v-1}\,dt =\frac{\Gamma(u)\Gamma(v)}{\Gamma(u+v)}

と定義・表現される。この密度を期待値の積分に代入する。

E[θ∣D]=∫01θ θα−1(1−θ)β−1B(α,β) dθ=1B(α,β)∫01θα(1−θ)β−1 dθ=B(α+1,β)B(α,β).\begin{aligned} \mathrm{E}[\theta\mid D] &=\int_0^1\theta\, \frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)}\,d\theta\\ &=\frac{1}{B(\alpha,\beta)} \int_0^1\theta^{\alpha}(1-\theta)^{\beta-1}\,d\theta\\ &=\frac{B(\alpha+1,\beta)}{B(\alpha,\beta)}. \end{aligned}

二行目では、 B(α,β)B(\alpha,\beta) が θ\theta に依存しない定数なので積分の外に出し、 θ×θα−1=θα\theta\times\theta^{\alpha-1}=\theta^\alpha とまとめた。三行目では、指数を θ(α+1)−1\theta^{(\alpha+1)-1} と見れば、積分がベータ関数 B(α+1,β)B(\alpha+1,\beta) の定義に一致することを使った。

次に、ベータ関数をガンマ関数で表し、 Γ(x+1)=xΓ(x)\Gamma(x+1)=x\Gamma(x) を使うと、分子と分母が次のように消去できる。

B(α+1,β)B(α,β)=Γ(α+1)Γ(β)Γ(α+β+1)Γ(α+β)Γ(α)Γ(β)=Γ(α+1)Γ(α)Γ(α+β)Γ(α+β+1)=α 1α+β=αα+β.\begin{aligned} \frac{B(\alpha+1,\beta)}{B(\alpha,\beta)} &=\frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha+\beta+1)} \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\\ &=\frac{\Gamma(\alpha+1)}{\Gamma(\alpha)} \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha+\beta+1)}\\ &=\alpha\,\frac{1}{\alpha+\beta}\\ &=\frac{\alpha}{\alpha+\beta}. \end{aligned}

したがって、元の記号に戻せば、

Pr⁡(Y~=1∣D)=a+s(a+s)+(b+n−s)=a+sa+b+n=a+∑i=1ny(i)a+b+n\Pr(\widetilde Y=1\mid D) =\frac{a+s}{(a+s)+(b+n-s)} =\frac{a+s}{a+b+n} =\frac{a+\sum_{i=1}^n y^{(i)}}{a+b+n}

である。分母では、成功回数 ss と失敗回数に含まれる −s-s が打ち消し合っている。

6.0になる確率:二つの結果の確率の和が1であることを使う

次の結果は0か1のどちらかなので、0になる確率は1から1になる確率を引けばよい。

Pr⁡(Y~=0∣D)=1−a+sa+b+n=a+b+n−(a+s)a+b+n=b+n−sa+b+n=b+∑i=1n(1−y(i))a+b+n.\begin{aligned} \Pr(\widetilde Y=0\mid D) &=1-\frac{a+s}{a+b+n}\\ &=\frac{a+b+n-(a+s)}{a+b+n}\\ &=\frac{b+n-s}{a+b+n}\\ &=\frac{b+\sum_{i=1}^n(1-y^{(i)})}{a+b+n}. \end{aligned}

最後の等号では、 ∑i=1n(1−y(i))=n−∑i=1ny(i)=n−s\sum_{i=1}^n(1-y^{(i)})=n-\sum_{i=1}^ny^{(i)}=n-s を使っている。また、1になる場合と同じように積分から出発しても、

Pr⁡(Y~=0∣D)=∫01(1−θ)p(θ∣D) dθ=∫01p(θ∣D) dθ⏟=1−∫01θp(θ∣D) dθ⏟=E[θ∣D]=1−E[θ∣D]\begin{aligned} \Pr(\widetilde Y=0\mid D) &=\int_0^1(1-\theta)p(\theta\mid D)\,d\theta\\ &=\underbrace{\int_0^1p(\theta\mid D)\,d\theta}_{=1} -\underbrace{\int_0^1\theta p(\theta\mid D)\,d\theta}_{=\mathrm{E}[\theta\mid D]}\\ &=1-\mathrm{E}[\theta\mid D] \end{aligned}

と同じ結果になる。

手計算の例:3回中2回成功した後、次の1回を予測する

事前分布を一様分布 beta⁡(1,1)\operatorname{beta}(1,1) とし、 D=(1,0,1)D=(1,0,1) を観測したとする。この場合は a=b=1a=b=1 、 n=3n=3 、 s=2s=2 なので、事後分布は beta⁡(3,2)\operatorname{beta}(3,2) である。その密度の正規化定数は、

B(3,2)=∫01θ2(1−θ) dθ=13−14=112B(3,2)=\int_0^1\theta^2(1-\theta)\,d\theta =\frac13-\frac14=\frac1{12}

であり、したがって p(θ∣D)=12θ2(1−θ)p(\theta\mid D)=12\theta^2(1-\theta) となる。この密度を使って、次に成功する確率を直接積分すると、

Pr⁡(Y~=1∣D)=∫01θ×12θ2(1−θ) dθ=12∫01(θ3−θ4) dθ=12[θ44−θ55]01=12(14−15)=35=0.6.\begin{aligned} \Pr(\widetilde Y=1\mid D) &=\int_0^1\theta\times12\theta^2(1-\theta)\,d\theta\\ &=12\int_0^1(\theta^3-\theta^4)\,d\theta\\ &=12\left[\frac{\theta^4}{4}-\frac{\theta^5}{5}\right]_0^1\\ &=12\left(\frac14-\frac15\right) =\frac35=0.6. \end{aligned}

先ほど導いた公式を使っても、

a+sa+b+n=1+21+1+3=35=0.6\frac{a+s}{a+b+n}=\frac{1+2}{1+1+3}=\frac35=0.6

となり、一致する。0になる確率は 1−0.6=0.41-0.6=0.4 である。観測した成功割合は 2/3≈0.6672/3\approx0.667 だが、予測では事前分布の情報も含めて平均するため、ここでは0.6になる。なお、0.6は未来の観測値そのものではなく、 未来の観測値が1になる確率 である。

以上の式変形は、「未知の θ\theta を周辺化する → 同時密度を積に分ける → 条件付き独立により成功確率を θ\theta とする → 事後期待値の定義を使う → ベータ分布の平均を計算する」という順序でつながっている。

予測分布について、次の二つの重要な点に注意する必要がある。

  1. 予測分布は、未知の量には依存しない。もし、それが未知の量に依存しているなら、それを使って予測することはできない。
  2. 予測分布は観測データに依存する。共通の θ\theta を未知として平均すると、過去の観測と未来の観測は一般に独立ではない。例えば成功が多ければ、大きな θ\theta の事後確率が高まり、次の成功も起こりやすいと予測する。このつながりが、過去のデータから未来を学べる理由である。一方、 θ\theta の値まで与えた条件のもとでは、過去と未来は独立というモデルを使っている。

解説:積分は「ありうる割合ごとの予測を平均する」操作である

説明用に、観測後の θ\theta の候補が0.2と0.8の二つだけで、それぞれの確率が0.25と0.75だったとする。このとき、次の1人が1と答える確率は

0.2×0.25+0.8×0.75=0.650.2\times0.25+0.8\times0.75=0.65

となる。連続分布では候補が無数にあるので、この足し算を積分に置き換える。それが ∫θp(θ∣y) dθ\int\theta p(\theta\mid y)\,d\theta である。

幸福度データでは、次の1人が幸福と答える確率は 119/131≈0.908397119/131\approx0.908397 である。「次の人の幸福度が0.908」という意味ではなく、結果は1か0であり、1の予測確率が約90.84%という意味である。

未知パラメータ θ\theta は積分によって消えるが、事前分布の選び方とモデルの仮定への依存は残る。「未知の量に依存しない」という本文の記述は、未知の真の値を入力しなくても予測分布を計算できる、という意味である。

例

一様事前分布、つまり beta⁡(1,1)\operatorname{beta}(1,1) 事前分布は、一つの「1」と一つの「0」で構成される事前のデータセットの情報と同等であると考えることができる。この事前分布のもとで、

Pr⁡(Y~=1∣Y=y)=E[θ∣Y=y]=22+n12+n2+nyn,\Pr(\widetilde Y=1\mid Y=y) =\mathrm{E}[\theta\mid Y=y] =\frac{2}{2+n}\frac12+\frac{n}{2+n}\frac{y}{n},
mode⁡(θ∣Y=y)=yn\operatorname{mode}(\theta\mid Y=y)=\frac{y}{n}

となる。ただし、 Y=∑i=1nY(i)Y=\sum_{i=1}^nY^{(i)} である。これら二つの事後要約統計量の間の差異に意味はあるだろうか。 Y=0Y=0 の場合を考えると、 mode⁡(θ∣Y=0)=0\operatorname{mode}(\theta\mid Y=0)=0 であるが、 Pr⁡(Y~=1∣Y=0)=1/(2+n)\Pr(\widetilde Y=1\mid Y=0)=1/(2+n) である。

解説:一度も起きなかったことも、次に起こりうる

例えば10回観測して成功が0回なら、一様事前のもとで事後分布は beta⁡(1,11)\operatorname{beta}(1,11) である。最頻値は境界の0だが、予測確率は

Pr⁡(Y~=1∣y)=112≈0.083333\Pr(\widetilde Y=1\mid y)=\frac{1}{12}\approx0.083333

となる。最も高い密度の位置が0でも、0より大きな割合の可能性が消えたわけではない。予測は最頻値だけを採用するのではなく、残った不確かさ全体を平均して作る。

補足:次の20人を予測すると、ベータ二項分布になる

ここまでは「次の1人」の予測を考えてきた。では、「次の20人のうち何人が成功するか」を予測したい場合はどうだろうか。具体的な場面として、一様事前のもとで10人中2人の成功を観測し、事後分布が beta⁡(3,9)\operatorname{beta}(3,9) (平均 q=3/12=0.25q=3/12=0.25 )になったとする。

素朴に考えると、「成功確率は0.25くらいなので、20人の成功人数は binomial⁡(20,0.25)\operatorname{binomial}(20,0.25) に従う」と予測したくなる。このように、推定値を真の値のように扱って代入する方法を プラグイン予測 と呼ぶ。実は、1人の予測ではこの代入で正しい答えが得られるが、20人の合計ではばらつきを過小評価してしまう。以下では、その理由を小さな例で確かめてから、一般の式を導く。

なぜ1人なら代入でよく、20人ではだめなのか

1人の予測に必要なのは「成功する確率」という一つの数だけであり、前の節で見たとおり、それは事後平均 E[θ∣y]\mathrm{E}[\theta\mid y] に等しい。したがって、 θ\theta の事後分布がどれほど広くても、平均さえ同じなら1人の予測は変わらない。

一方、20人の合計では事情が異なる。 θ\theta は20人 全員に共通 の成功率なので、もし実際の θ\theta が思っていたより高ければ、20人全員が少しずつ成功しやすくなり、成功人数はまとめて上に振れる。逆に θ\theta が低ければ、まとめて下に振れる。このように、 θ\theta の不確かさは20人の結果を同じ向きに動かすので、合計のばらつきを広げる。プラグイン予測は θ\theta を0.25に固定してしまうため、この広がりを取りこぼす。

小さな例:成功率の候補が二つしかない場合

この効果を積分なしで確かめるため、説明用に事後分布を単純化する。「この集団の成功率は0.15か0.35のどちらかで、確率は半々」とする。平均は 0.5×0.15+0.5×0.35=0.250.5\times0.15+0.5\times0.35=0.25 なので、プラグイン予測は先ほどと同じ binomial⁡(20,0.25)\operatorname{binomial}(20,0.25) である。

これに対し、不確かさを残した予測は、「 θ=0.15\theta=0.15 の集団だった場合の二項分布」と「 θ=0.35\theta=0.35 の集団だった場合の二項分布」を半々に混ぜたものになる。それぞれの場合の平均と分散は次のとおりである。

θ=0.15\theta=0.15 の場合 θ=0.35\theta=0.35 の場合
その場合である確率 1/2 1/2
20人の成功人数の平均 20θ20\theta 3 7
20人の成功人数の分散 20θ(1−θ)20\theta(1-\theta) 2.55 4.55

混ぜた分布の分散は、次の二つの部分の和になる。

  • 各場合の内側のばらつきの平均 : θ\theta が決まっていても、誰が成功するかは偶然に左右される。その分散を平均すると (2.55+4.55)/2=3.55(2.55+4.55)/2=3.55 である。
  • 場合ごとの平均のずれ :平均が3になるか7になるかという違いそのものも、ばらつきを生む。全体の平均5からのずれの2乗を平均すると {(3−5)2+(7−5)2}/2=4\{(3-5)^2+(7-5)^2\}/2=4 である。

合計すると 3.55+4=7.553.55+4=7.55 となり、プラグイン予測の分散 20×0.25×0.75=3.7520\times0.25\times0.75=3.75 の約2倍になる。次の図は、この混合分布を二つの場合に分けて積み上げたものであり、点線はプラグイン予測の二項分布である。

補助図:成功率が0.15か0.35か半々という説明用の条件で、今後20人の成功人数を予測する。積み上げ棒の合計が予測確率で、分散は7.55。点線は θ=0.25 に固定した二項分布で、分散は3.75。

積み上げ棒の左側は主に θ=0.15\theta=0.15 の場合から、右側は主に θ=0.35\theta=0.35 の場合から来ている。二つの山が左右にずれて重なるため、全体は点線の二項分布より横に広がる。この「内側のばらつき」と「平均のずれ」への分解が、以下の一般の計算でもそのまま使われる。

一般の場合:候補を連続的に並べると、ベータ二項分布になる

実際の事後分布は二択ではなく、 beta⁡(A,B)\operatorname{beta}(A,B) のように連続的に広がっている。この場合は、上の「確率 × その場合の二項確率」の足し算が積分に置き換わる。今後の mm 人の成功人数を KK とすると、 θ\theta がわかれば K∣θ∼binomial⁡(m,θ)K\mid\theta\sim\operatorname{binomial}(m,\theta) なので、

Pr⁡(K=k∣y)=∫01(mk)θk(1−θ)m−k⏟θ の場合の二項確率θA−1(1−θ)B−1B(A,B)⏟θ の事後密度 dθ=(mk)1B(A,B)∫01θ(A+k)−1(1−θ)(B+m−k)−1 dθ=(mk)B(A+k, B+m−k)B(A,B)\begin{aligned} \Pr(K=k\mid y) &=\int_0^1\underbrace{\binom{m}{k}\theta^k(1-\theta)^{m-k}}_{\theta\text{ の場合の二項確率}} \underbrace{\frac{\theta^{A-1}(1-\theta)^{B-1}}{B(A,B)}}_{\theta\text{ の事後密度}}\,d\theta\\ &=\binom{m}{k}\frac{1}{B(A,B)}\int_0^1\theta^{(A+k)-1}(1-\theta)^{(B+m-k)-1}\,d\theta\\ &=\binom{m}{k}\frac{B(A+k,\,B+m-k)}{B(A,B)} \end{aligned}

となる。二行目では θ\theta の指数と 1−θ1-\theta の指数をまとめ、三行目ではその積分がベータ関数の定義そのものであることを使った。この分布を ベータ二項分布 という。

ベータ二項分布の平均と分散

小さな例と同じ考え方で、平均と分散を求める。まず平均は、「 θ\theta を固定したときの平均 mθm\theta 」を事後分布で平均すればよい。これを 全期待値の公式 という。

E[K∣y]=E[E[K∣θ]∣y]=E[mθ∣y]=mq,q=AA+B.\mathrm{E}[K\mid y] =\mathrm{E}\bigl[\mathrm{E}[K\mid\theta]\bigm| y\bigr] =\mathrm{E}[m\theta\mid y]=mq, \qquad q=\frac{A}{A+B}.

したがって、平均はプラグイン予測と変わらない。

次に分散は、小さな例の「内側のばらつきの平均」と「平均のずれ」に対応する二つの項に分かれる。これを 全分散の公式 という。

Var⁡(K∣y)=E[mθ(1−θ)∣y]⏟内側のばらつきの平均+Var⁡(mθ∣y)⏟平均のずれ.\operatorname{Var}(K\mid y) =\underbrace{\mathrm{E}[m\theta(1-\theta)\mid y]}_{\text{内側のばらつきの平均}} +\underbrace{\operatorname{Var}(m\theta\mid y)}_{\text{平均のずれ}}.

これを qq と事後分散 v=Var⁡(θ∣y)v=\operatorname{Var}(\theta\mid y) で表す。分散の定義 v=E[θ2∣y]−q2v=\mathrm{E}[\theta^2\mid y]-q^2 から E[θ2∣y]=q2+v\mathrm{E}[\theta^2\mid y]=q^2+v なので、第1項は m{q−(q2+v)}=m{q(1−q)−v}m\{q-(q^2+v)\}=m\{q(1-q)-v\} となる。また、第2項は定数 mm を外に出して m2vm^2v である。これらを足すと、

Var⁡(K∣y)=m{q(1−q)−v}+m2v=mq(1−q)⏟プラグイン予測の分散+m(m−1)v⏟θ の不確かさによる上乗せ\begin{aligned} \operatorname{Var}(K\mid y) &=m\{q(1-q)-v\}+m^2v\\ &=\underbrace{mq(1-q)}_{\text{プラグイン予測の分散}}+\underbrace{m(m-1)v}_{\theta\text{ の不確かさによる上乗せ}} \end{aligned}

を得る。この形から、次の二つのことが読み取れる。

  • m=1m=1 なら上乗せ分 m(m−1)vm(m-1)v は0になるので、1人の予測はプラグイン予測と一致する。これは、冒頭で述べた「1人なら代入でよい」ことの式による確認である。
  • m≥2m\ge2 では、 θ\theta の事後分散 vv が大きいほど、また予測する人数 mm が多いほど、分散が増える。

念のため、小さな例に当てはめると、 q=0.25q=0.25 、 v={(0.15−0.25)2+(0.35−0.25)2}/2=0.01v=\{(0.15-0.25)^2+(0.35-0.25)^2\}/2=0.01 なので、 3.75+20×19×0.01=7.553.75+20\times19\times0.01=7.55 となり、表から求めた値と一致する。

さらに、ベータ分布の分散公式 v=q(1−q)/(A+B+1)v=q(1-q)/(A+B+1) を代入すると、

Var⁡(K∣y)=mq(1−q){1+m−1A+B+1}=mq(1−q)A+B+mA+B+1\operatorname{Var}(K\mid y) =mq(1-q)\left\{1+\frac{m-1}{A+B+1}\right\} =mq(1-q)\frac{A+B+m}{A+B+1}

という閉じた形になる。

数値例:10人中2人の成功の後、次の20人を予測する

冒頭の場面に戻り、 A=3,B=9A=3,B=9 、 m=20m=20 とする。平均は 20×0.25=520\times0.25=5 である。事後分散は v=0.25×0.75/13≈0.014423v=0.25\times0.75/13\approx0.014423 なので、分散は

20×0.25×0.75⏟3.75+20×19×0.014423⏟≈5.4808=12013≈9.230769\underbrace{20\times0.25\times0.75}_{3.75}+\underbrace{20\times19\times0.014423}_{\approx5.4808} =\frac{120}{13}\approx9.230769

となる。プラグイン予測の分散3.75と比べると、約2.5倍である。10人しか観測していないので θ\theta の不確かさが大きく、上乗せ分のほうがプラグイン予測の分散より大きくなっている。次の図で、同じ平均5をもつ二つの予測分布を比べる。

補助図:共通の成功率の不確かさを残すと、今後20人の成功人数はより広くばらつく。

ベータ二項分布は、中央の3〜7人の確率が低く、そのぶん0〜2人や8人以上といった裾の確率が高い。「思っていたより成功率が低い(高い)集団だった」という可能性が、20人の成功人数をまとめて下げる(上げる)ためである。

次の2人は、互いに独立ではなくなる

この「まとめて動く」性質は、次の2人の関係として見るとさらにはっきりする。次の2人がともに成功する確率を、1人目と2人目の順に考える。

  • 1人目が成功する確率は、事後平均の 3/12=0.253/12=0.25 である。
  • 1人目の成功を観測すると、事後分布は beta⁡(4,9)\operatorname{beta}(4,9) に更新される。したがって、2人目が成功する確率は 4/13≈0.30774/13\approx0.3077 に上がる。

よって、2人とも成功する確率は

312×413=113≈0.076923\frac{3}{12}\times\frac{4}{13}=\frac{1}{13}\approx0.076923

である。これは、 θ\theta を0.25に固定した場合の 0.252=0.06250.25^2=0.0625 より大きい。1人目の成功が「この集団は成功しやすいかもしれない」という情報になり、2人目の予測を引き上げるからである。

このことは、次の2人が θ\theta を与えれば独立でも、 θ\theta を積分した後は独立ではないことを意味する。次の2人の回答を X(1),X(2)X^{(1)},X^{(2)} と書くと、積 X(1)X(2)X^{(1)}X^{(2)} は両方が成功したときだけ1になるので、 E[X(1)X(2)∣y]=E[θ2∣y]\mathrm{E}[X^{(1)}X^{(2)}\mid y]=\mathrm{E}[\theta^2\mid y] である。したがって、共分散は

Cov⁡(X(1),X(2)∣y)=E[X(1)X(2)∣y]−E[X(1)∣y]E[X(2)∣y]=E[θ2∣y]−q2=Var⁡(θ∣y)>0\begin{aligned} \operatorname{Cov}(X^{(1)},X^{(2)}\mid y) &=\mathrm{E}[X^{(1)}X^{(2)}\mid y] -\mathrm{E}[X^{(1)}\mid y]\mathrm{E}[X^{(2)}\mid y]\\ &=\mathrm{E}[\theta^2\mid y]-q^2 =\operatorname{Var}(\theta\mid y)>0 \end{aligned}

となり、この例では 0.076923−0.0625≈0.0144230.076923-0.0625\approx0.014423 である。この値は、事後分散 vv と一致する。20人の合計の分散に現れた上乗せ分 m(m−1)vm(m-1)v は、20人から作れる m(m−1)m(m-1) 通りの順序付きの組が、それぞれこの正の共分散 vv をもつことから生じている。

最後に、SciPy でベータ二項分布の平均と分散を確認する。

from scipy.stats import betabinom, binom

predictive = betabinom(n=20, a=3, b=9)
plug_in = binom(n=20, p=0.25)
print(predictive.mean(), predictive.var())  # 5.0, 9.230769...
print(plug_in.var())                       # 3.75

3.1.2 信用領域

パラメータの真の値を含む可能性が高いパラメータ空間の領域を特定したいことはよくある。これを行うために、データ Y=yY=y を観測したあとに、 l(y)<θ<u(y)l(y)<\theta<u(y) の確率が大きくなるような区間 [l(y),u(y)][l(y),u(y)] を構成することができる。

定義5(ベイズ信用区間) 。観測データ Y=yY=y に基づく区間 [l(y),u(y)][l(y),u(y)] が、 θ\theta に対する95%信用区間(credible interval)であるとは、

Pr⁡(l(y)<θ<u(y)∣Y=y)=0.95\Pr(l(y)<\theta<u(y)\mid Y=y)=0.95

が成り立つことをいう。

これは Y=yY=y を観測した後に、 θ\theta の真の値がどの位置にあるかという情報を表す区間であり、データが観測される「前に」区間が真の値を被覆する確率を説明するような被覆確率の頻度論的解釈とは異なる。

定義6(頻度論的な信頼区間) 。ランダムな区間 [l(Y),u(Y)][l(Y),u(Y)] が、 θ\theta に対する95%信頼区間(confidence interval)であるとは、データが得られる前に

Pr⁡(l(Y)<θ<u(Y)∣θ)=0.95\Pr(l(Y)<\theta<u(Y)\mid\theta)=0.95

が成り立つことをいう。

両者の違いは、区間を計算する時点ではなく、何をランダムと考え、何で条件付けるかにある。信用区間は観測したデータを条件としてパラメータの事後確率を述べ、信頼区間はパラメータを固定して反復標本抽出による区間の被覆確率を述べる。

統計学の入門書の多くは次の点を強調していることに注意しよう。 Y=yY=y を観測し、このデータを信頼区間の式 [l(y),u(y)][l(y),u(y)] に代入すると、

Pr⁡(l(y)≤θ≤u(y)∣θ)={0(θ∉[l(y),u(y)] のとき),1(θ∈[l(y),u(y)] のとき)\Pr(l(y)\le\theta\le u(y)\mid\theta) = \begin{cases} 0 & (\theta\notin[l(y),u(y)]\text{ のとき}),\\ 1 & (\theta\in[l(y),u(y)]\text{ のとき}) \end{cases}

となる。観測後は区間の端点が数値として決まり、頻度論では真の θ\theta も固定して考えるので、その区間は真値を含むか含まないかのどちらかである。ただし、どちらなのかを分析者が知っているとは限らない。ここで端点を含める記号 ≤\le を使ったのは、右辺の閉区間とそろえるためである。

信頼区間の95%は、今回の固定した区間についての事後確率ではなく、区間を作る手続きの性質である。同じ条件の調査を何度も繰り返して区間を作ると、長い目で見て約95%の区間が真値を含む。この性質は、分析手続きが反復してどの程度当たるかを評価するのに役立つ。

解説:「95%」が平均している対象を区別する

問い 固定するもの 不確かさを考えるもの
今回のデータを見た後、割合はどこにありそうか 観測済みデータ yy と算出済みの区間 事後分布で表した θ\theta
同じ調査方法を何度も繰り返すと、区間は何割の回で当たるか 真の割合 θ\theta 調査ごとに変わる YY と区間 [l(Y),u(Y)][l(Y),u(Y)]

例えば真の割合を0.2に固定して、10人への調査を繰り返す。調査ごとに成功人数が0人、1人、2人などと変わるので、区間も変わる。頻度論的被覆確率は、それらの区間が0.2を含む割合である。

一方、すでに2人の成功を観測した後のベイズ信用区間では、その事後分布の面積95%を取り出す。95%は、今回のモデルと事前分布に基づく確率である。

本文の信頼区間の定義は理想的な等式である。二項分布のような離散データでは、すべての θ\theta に対して被覆確率をちょうど95%にする非ランダム化区間は一般に得られない。そのため、少なくとも95%を確保する区間や、近似的に95%となる区間も使われる。

ベイズ主義でも頻度主義でも同じ被覆確率を達成する区間推定量を作れるだろうか。Hartigan (1966) は、以下で扱う区間について、95%ベイズ信用区間が次の性質をもつことを示した。

Pr⁡(l(Y)<θ<u(Y)∣θ)=0.95+ϵn.\Pr(l(Y)<\theta<u(Y)\mid\theta)=0.95+\epsilon_n.

ただし、 ∣ϵn∣<a/n\lvert\epsilon_n\rvert<a/n ( aa はある定数)である。これは、95%ベイズ信用区間は、少なくとも近似的に95%頻度論的な信頼区間と同じ被覆確率をもつことを示唆している。95%信頼区間を構成する多くの非ベイズ的な方法もまたこの被覆確率を漸近的にのみ達成するということは記憶に留めておくべき重要なことである。ベイズ法と非ベイズ法によって構築された区間の類似性の詳細については、Severini (1991) および Sweeting (2001) を参照されたい。

ここで、教科書が紹介する漸近的な一致は、任意の事前分布・境界・小標本に無条件で適用できる保証ではない。正則性などの条件と、適用するモデルを確認する必要がある。特に二項モデルの離散性や θ\theta が0、1に近い場合には注意が必要である。

実際、一様事前を用いた n=10n=10 の95%等裾信用区間について、頻度論的被覆確率はシミュレーションなしで計算できる。

C(θ)=∑y=0101{l(y)≤θ≤u(y)}(10y)θy(1−θ)10−y.C(\theta)=\sum_{y=0}^{10} \mathbf{1}\{l(y)\le\theta\le u(y)\} \binom{10}{y}\theta^y(1-\theta)^{10-y}.

1{⋅}\mathbf{1}\{\cdot\} は条件を満たすと1、満たさないと0になる記号である。各成功人数の起こる確率を計算し、区間が真の θ\theta を含む場合だけ足している。

補助図:95%信用区間でも、小標本での頻度論的被覆確率は一定の95%にはならない。

例えば真の割合を θ=0.2\theta=0.2 とすると、 y=0,1,2,3,4y=0,1,2,3,4 のときに作られる等裾区間は0.2を含み、 y=5,…,10y=5,\ldots,10 のときの区間は含まない。したがって、

C(0.2)=∑y=04(10y)0.2y0.810−y=0.107374+0.268435+0.301990+0.201327+0.088080≈0.967207.C(0.2)=\sum_{y=0}^4\binom{10}{y}0.2^y0.8^{10-y} =0.107374+0.268435+0.301990+0.201327+0.088080 \approx0.967207.

各項は表示桁数で丸めており、最終値は丸め前から計算した。この値は0.95に厳密には一致しない。さらに0にごく近い θ\theta では、どの成功人数から作る等裾区間も θ\theta を含まない範囲があり、被覆確率は0にもなる。各データに対する「事後確率95%」と、各真値に対する「反復標本抽出での95%」は別の性質であることがわかる。

分位点に基づく区間

信用区間を作る基本的な方法は、事後分布の分位点を使うことである。例えば2.5%分位点は、「その値より左に、全体の確率の2.5%が入る位置」を指す。累積分布関数を F(x)=Pr⁡(θ≤x∣y)F(x)=\Pr(\theta\le x\mid y) と書くと、 F(x)=0.025F(x)=0.025 を満たす位置を求める操作である。この章の連続分布では、その位置を F−1(0.025)F^{-1}(0.025) と書く。 F−1F^{-1} は 1/F1/F ではなく、確率から横軸の位置を逆に求める関数である。

一般に、区間の外へ残す確率の合計を α\alpha とする。95%区間なら α=0.05\alpha=0.05 である。左右に半分ずつ残す 100(1−α)%100(1-\alpha)\% 等裾信用区間を作るには、次を満たす二つの位置を求めればよい。

  1. Pr⁡(θ<θα/2∣Y=y)=α/2\Pr(\theta<\theta_{\alpha/2}\mid Y=y)=\alpha/2 。
  2. Pr⁡(θ>θ1−α/2∣Y=y)=α/2\Pr(\theta>\theta_{1-\alpha/2}\mid Y=y)=\alpha/2 。

ここで、 θα/2,θ1−α/2\theta_{\alpha/2},\theta_{1-\alpha/2} はそれぞれ θ\theta の α/2,1−α/2\alpha/2,1-\alpha/2 事後分位点である。よって、

Pr⁡(θ∈[θα/2,θ1−α/2]∣Y=y)=1−Pr⁡(θ∉[θα/2,θ1−α/2]∣Y=y)=1−[Pr⁡(θ<θα/2∣Y=y)+Pr⁡(θ>θ1−α/2∣Y=y)]=1−α\begin{aligned} \Pr(\theta\in[\theta_{\alpha/2},\theta_{1-\alpha/2}]\mid Y=y) &=1-\Pr(\theta\notin[\theta_{\alpha/2},\theta_{1-\alpha/2}]\mid Y=y)\\ &=1-[\Pr(\theta<\theta_{\alpha/2}\mid Y=y)+\Pr(\theta>\theta_{1-\alpha/2}\mid Y=y)]\\ &=1-\alpha \end{aligned}

が成り立つ。

例:二項分布と一様事前分布

n=10n=10 の条件付き独立な二値確率変数から、 Y=2Y=2 を観測したとする。 θ\theta に対して一様事前分布を用いると、事後分布は

θ∣{Y=2}∼beta⁡(1+2,1+8)\theta\mid\{Y=2\}\sim\operatorname{beta}(1+2,1+8)

となる。このベータ分布の0.025および0.975分位点から、95%事後信用区間を構成できる。これらの分位点はそれぞれ0.06と0.52であるため、 θ∈[0.06,0.52]\theta\in[0.06,0.52] の事後確率は95%である。

from scipy.stats import beta

a, b = 1, 1
n, y = 10, 2
posterior = beta(a + y, b + n - y)
lower, upper = posterior.ppf([0.025, 0.975])
print(lower, upper)  # 0.06021773417290666, 0.5177558523601726
print(posterior.cdf(upper) - posterior.cdf(lower))  # 0.95

ppf(0.025) は「そこまでの面積が2.5%になる横軸の値」を返す。右端を97.5%分位点にすると、右側にも2.5%が残る。このため、この区間は等裾区間とも呼ばれる。 [0.06,0.52][0.06,0.52] は丸めた表示であり、厳密に面積0.95となるのは上の丸め前の端点を使った区間である。

最高事後密度(Highest Posterior Density, HPD)領域

図3.5は、前の例の θ\theta の事後分布と95%信用区間を示したものである。分位点に基づく区間の外側に、区間内のいくつかの点よりも高い事後密度をもつ θ\theta の値があることに注意する。そこで、「密度の高い値から優先して含める」という別の基準で領域を作ることも考えられる。これがHPD領域である。等裾区間より常に優れているという意味ではなく、何を優先して95%を取り出すかが異なる。

定義7(最高事後密度(HPD)領域) 。 100(1−α)%100(1-\alpha)\% HPD領域は次を満たすパラメータ空間の部分集合 s(y)⊂Θs(y)\subset\Theta で構成される。

  1. Pr⁡(θ∈s(y)∣Y=y)=1−α\Pr(\theta\in s(y)\mid Y=y)=1-\alpha 。
  2. θa∈s(y)\theta_a\in s(y) かつ θb∉s(y)\theta_b\notin s(y) ならば、 p(θa∣Y=y)>p(θb∣Y=y)p(\theta_a\mid Y=y)>p(\theta_b\mid Y=y) 。

HPD領域内のすべての点では、領域外の点よりも事後密度が高くなる。ただし、事後密度が多峰型(複数のピークをもつ)ならば、HPD領域は区間ではない可能性がある。図3.6は、HPD領域の構築の背後にある基本的な考え方を示している。

図3.5では塗られた部分の面積が0.95である。一方、図3.6では、横線以上の密度をもつ横軸の範囲を取り出す。横線の高さと、範囲内の確率を区別して見比べる。

図3.5:Beta(3,9)の95%等裾信用区間。左右に2.5%ずつ残す。
図3.6:50%、75%、95%のHPD区間。濃い青の破線は95%等裾区間の端点。

HPD領域は、密度曲線に水平線を引くと作り方を理解しやすい。まず山の頂上付近に線を置き、線より密度が高い横軸の範囲を選ぶ。線を下げるほど選ばれる範囲は広がる。その範囲に入る事後確率が 1−α1-\alpha に達したところで止める。上記の二項分布の例では、95% HPD領域は丸めると [0.04,0.48][0.04,0.48] となる。等裾区間よりも短いが、丸め前の端点で計算すれば、どちらも事後確率95%を含む。

解説:HPDは「密度の高いところから集める」領域である

等裾区間は、左と右に同じ確率を残す。対してHPD領域は、残す側の確率の左右対称性を求めず、高い密度の位置から採用する。山が右に長い尾を引く場合、両者は異なる区間になりうる。

ここで集める確率は、 ∫p(θ∣y)≥cp(θ∣y) dθ\int_{p(\theta\mid y)\ge c}p(\theta\mid y)\,d\theta である。密度曲線の「横線より上の部分だけの面積」ではない。採用した横軸の範囲において、曲線から横軸までの面積をすべて数える。

方法 下端 上端 幅 領域内の事後確率
95%等裾区間 0.060218 0.517756 0.457538 0.95
95% HPD区間 0.040555 0.483724 0.443168 0.95

上の表は丸め前の値から計算している。HPD区間の両端では密度が約0.584598で一致する。もし一方の端の密度が高く他方が低ければ、低い側を少し削り、高い側により短い幅を足すことで、同じ確率を保ちながら区間を短くできるためである。

この例は単峰の連続密度なので、95%を含む最短区間を探せばHPD区間になる。累積確率の左端を qq とすると、候補は

[F−1(q),F−1(q+0.95)],0≤q≤0.05[F^{-1}(q),F^{-1}(q+0.95)],\qquad0\le q\le0.05

である。そこで、その幅を最小化すればよい。

from scipy.optimize import minimize_scalar
from scipy.stats import beta

post = beta(3, 9)
mass = 0.95
result = minimize_scalar(
    lambda q: post.ppf(q + mass) - post.ppf(q),
    bounds=(0, 1 - mass),
    method="bounded",
    options={"xatol": 1e-13},
)
lo, hi = post.ppf([result.x, result.x + mass])
print(lo, hi)  # 約0.04055517, 0.48372366

ただし、幅が短いことを、どんな意味でも「真値により近い」と読み替えてはいけない。また、多峰分布では離れた複数の区間の和がHPD領域となることがあり、この最短の単一区間の実装では対応できない。密度が平らな部分では境界の同点を含めた扱いも必要になる。

さらに、HPDはパラメータの尺度に依存する。 θ\theta で最短でも、対数オッズに変換した尺度で最短とは限らない。単調変換した後も分位点の対応が保たれる等裾区間とは、この点も異なる。

使い分け:HPDのほうがよいのか

HPDがいつでもよいわけではない。左右の裾の確率をそろえて不確実性を伝えたいなら等裾区間、選んだ尺度で密度の高い範囲をできるだけ短く示したいならHPD区間が、その目的に合っている。 ここでいう「等裾区間」とは、上で説明した2.5%分位点と97.5%分位点による95%区間のことである。分位点を使う区間がすべて等裾とは限らないが、この節で比較しているのはこの方法である。

まず、どちらも同じ事後分布を要約する方法である。データや事前分布を変えたわけではなく、同じ分布から事後確率95%の範囲を違うルールで取り出している。そのため、HPDを選んでも、新しい情報が増えたり、推定が自動的に正確になったりするわけではない。

比較したい点 分位点に基づく等裾区間 HPD領域
95%をどのように取り出すか 左右に2.5%ずつ残す 事後密度の高い場所から集める
端点の解釈 下端未満と上端超過の確率が、それぞれ2.5%である 内側の密度が外側より高い。左右に残る確率は一般に異なる
幅に関する性質 最短とは限らない 単峰の連続密度では、選んだ尺度で95%を含む最短区間になる
単調な変換との関係 端点を変換すれば、変換後も等裾区間になる。減少変換では端点の順序を入れ替える 端点を変換しても、変換後のHPD領域になるとは限らない
山が複数ある場合 通常は一つの区間となり、山の間の低密度部分も含む 離れた複数の区間に分かれることがある

この比較は、この章で扱うような連続な事後分布を前提としている。密度が平らな部分をもつ場合には、HPD領域が一意に決まらないこともある。

具体例:短くなる代わりに、左右に残る確率が変わる

上の例を「10人にサービスを案内し、2人が申し込んだ。申込確率 θ\theta を知りたい」と読み替える。一様事前分布のもとでは、事後分布は同じ beta⁡(3,9)\operatorname{beta}(3,9) である。図3.5と図3.6を見る際には、区間の幅だけでなく、塗られていない左右の裾にも注目すると違いがわかる。

方法 95%区間 下端より小さい事後確率 上端より大きい事後確率
等裾区間 [0.060218, 0.517756][0.060218,\ 0.517756] 2.5000% 2.5000%
HPD区間 [0.040555, 0.483724][0.040555,\ 0.483724] 約0.8612% 約4.1388%

確率は丸め前の端点から計算している。等裾区間なら、「申込確率は約6.0%から51.8%の範囲にある事後確率が95%であり、下端を下回る確率も上端を上回る確率も2.5%である」と説明できる。一方、HPD区間なら、「申込確率の尺度で、密度の高い値を優先した95%の範囲は約4.1%から48.4%である」と説明できる。ただし、この上端を超える確率は約4.14%である。

つまり、HPD区間は上端を小さくできるが、下端も小さい側へ動いている。 等裾区間の両端を単純に内側へ縮めたものではない。 この例では、右側の長い裾を多めに外し、その代わりに左側のより密度の高い範囲を加えることで、合計95%を保っている。

幅を実際に比べると、等裾区間は約45.75パーセントポイント、HPD区間は約44.32パーセントポイントである。したがって、HPDは約1.44パーセントポイント短い。しかし、どちらも含む事後確率は95%である。「幅が短い」という利点と、「左右に同じ確率を残す」という利点は別々に考える必要がある。

次の図では、上下で同じ事後密度と同じ軸を使い、95%区間だけを変えている。色付きの面積は区間内の95%、灰色の面積は区間外の合計5%である。縦線で示した端点の位置と、左右に残る面積を見比べる。

等裾区間とHPD区間の裾の比較。10人中2人が申し込み、一様事前分布から得たBeta(3,9)の95%信用区間。上下の横軸・縦軸は共通である。

どちらも色付きの面積は95%だが、HPDでは左に残る面積が約0.86%に減り、右に残る面積が約4.14%に増える。下段の区間が少し短いのは、左右の裾の配分を変えたためである。分布そのものの不確実性が減ったわけではない。

具体例:尺度を変えると、何が「短い」かも変わる

「尺度に依存する」とは、同じ不確実性を別の横軸で表すと、HPDが選ぶ範囲も変わりうるという意味である。例えば、申込確率 θ\theta を次の対数オッズ ϕ\phi で表すとする。

ϕ=g(θ)=log⁡θ1−θ.\phi=g(\theta)=\log\frac{\theta}{1-\theta}.

オッズは「申し込む確率を、申し込まない確率で割った値」であり、対数オッズはその自然対数である。例えば、 θ=0.2\theta=0.2 ならオッズは 0.2/0.8=0.250.2/0.8=0.25 、対数オッズは log⁡(0.25)≈−1.3863\log(0.25)\approx-1.3863 である。 θ=0.5\theta=0.5 なら対数オッズは0になる。これは同じ申込確率の表し方を変えただけであり、新しいデータを加えたわけではない。

この変換は単調増加なので、「申込確率が下端より小さい」という出来事と、「対数オッズが変換後の下端より小さい」という出来事は同じである。そのため、等裾区間は端点を変換するだけでよい。

[g(0.060218), g(0.517756)]≈[−2.7477, 0.0711].[g(0.060218),\ g(0.517756)] \approx[-2.7477,\ 0.0711].

この区間の左右には、変換前と同じく2.5%ずつ残る。つまり、 等裾区間は、申込確率で計算してから対数オッズに直しても、最初から対数オッズの分布で計算しても同じ結果になる。

一方、同じ事後分布についてHPDを比べると、次のようになる。

作り方 対数オッズで表した95%区間 対数オッズでの幅
申込確率のHPD区間の端点を変換する [−3.1637, −0.0651][-3.1637,\ -0.0651] 約3.0986
対数オッズの分布でHPD区間を求め直す [−2.6558, 0.1443][-2.6558,\ 0.1443] 約2.8001

後者を申込確率に戻すと、約 [0.065634, 0.536020][0.065634,\ 0.536020] となり、先ほどのHPD区間 [0.040555, 0.483724][0.040555,\ 0.483724] とは異なる。端点を変換した前者も、依然として事後確率95%の信用区間である。ただし、対数オッズの尺度では最短ではないため、その尺度のHPD区間ではなくなる。

次の図では、3本の95%信用区間を、上段では申込確率 θ\theta 、下段では対数オッズ ϕ\phi で表示する。「 θ\theta のHPD」は申込確率で求めたHPD、「 ϕ\phi のHPD」は対数オッズで求めたHPDである。同じ名前の線は上下で同じ出来事を表し、どの線にも事後確率95%が含まれる。端点の印は区間の下端と上端であり、平均などの点推定値ではない。

尺度を変えたときの95%信用区間の幅。上段は申込確率、下段は対数オッズで、横軸の単位と表示範囲が異なる。幅の大小は各段の中で比較する。

上段では「 θ\theta のHPD」が最短だが、下段では「 ϕ\phi のHPD」が最短になる。特に「 θ\theta のHPD」は、下段では3本の中で最も長い。一方、等裾区間は上下とも同じ端点の変換で得られ、左右に2.5%ずつ残す性質が保たれる。 「どの尺度でも最短の区間」ではなく、「何を横軸にして短さを評価するか」を決めて初めてHPDの利点を判断できる。

なぜこうなるのだろうか。確率を対数オッズに直すと、横軸が一様には伸び縮みしないからである。同じ幅0.1でも、 θ\theta が0.1から0.2に動くと対数オッズは約0.811変化するが、0.4から0.5では約0.405しか変化しない。したがって、変換前に幅が短かった区間が、変換後にも最短である保証はない。

密度についても、横軸が伸びれば、その部分の確率を保つために縦軸の高さが下がる。式で表すと、変換後の密度は

pϕ(ϕ∣y)=pθ(θ∣y)∣dθdϕ∣=pθ(θ∣y) θ(1−θ),θ=eϕ1+eϕp_\phi(\phi\mid y) =p_\theta(\theta\mid y)\left\lvert\frac{d\theta}{d\phi}\right\rvert =p_\theta(\theta\mid y)\,\theta(1-\theta), \qquad \theta=\frac{e^\phi}{1+e^\phi}

となる。掛ける量 θ(1−θ)\theta(1-\theta) が場所によって異なるため、密度の高低の順序も変わりうる。これが、密度を基準にするHPDが尺度に依存する理由である。なお、確率を百分率で表すような一定倍率の変換では、どの幅も同じ倍率になるので、この問題は起きない。

次のコードで、左右に残る確率と、対数オッズで求め直した区間を再現できる。この例では変換後も単峰なので、変換後の幅を最小化すればHPD区間を求められる。

from scipy.optimize import minimize_scalar
from scipy.special import logit
from scipy.stats import beta

post = beta(3, 9)

def shortest_interval(transform):
    # Beta(3,9) と、その対数オッズ変換のための計算。
    # q は区間の左側に残す確率。右側には 0.05 - q が残る。
    result = minimize_scalar(
        lambda q: transform(post.ppf(q + 0.95))
        - transform(post.ppf(q)),
        bounds=(0, 0.05),
        method="bounded",
        options={"xatol": 1e-13},
    )
    return post.ppf([result.x, result.x + 0.95])

lo, hi = shortest_interval(lambda theta: theta)
print(post.cdf(lo), post.sf(hi))  # 約0.008612、0.041388
print(logit([lo, hi]))  # 申込確率のHPDを対数オッズに変換

lo_logit, hi_logit = shortest_interval(logit)
print(lo_logit, hi_logit)  # 約0.065634、0.536020(申込確率に戻した端点)
print(logit([lo_logit, hi_logit]))  # 約[-2.655780, 0.144331]

実際に選ぶときの目安

  • 通常の報告で、特に最短の範囲が必要でなければ、等裾区間を出発点にするとよい。 分位点だけで計算でき、「下に2.5%、上に2.5%」という説明がしやすい。確率と対数オッズのように、複数の尺度で同じ結果を示す場合にも扱いやすい。
  • 報告する尺度が決まっており、その尺度で密度の高い範囲をコンパクトに示したいなら、HPDが適している。 例えば申込確率そのものの範囲を短く要約したい場合である。その際は「申込確率の尺度での95% HPD区間」と明記し、上端を97.5%分位点として解釈しない。
  • 分布が対称で単峰なら、両者の違いは小さいか、なくなる。 例えば正規事後分布なら両者は一致する。事後分布が正規分布でよく近似できる場合にも、選択による差は通常小さい。一方、強く歪んでいる場合には、幅と左右に残る確率を確認する意味がある。
  • 山が複数ある場合は、密度のグラフと合わせて報告する。 HPD領域は、もっともらしい候補が離れて存在することを表せる。一方、一つの等裾区間だけでは、その間の値も同じ程度にもっともらしいと誤解される可能性がある。

また、知りたいことが「申込確率は50%を超えるか」のような一方向の問いなら、区間の種類を選ぶ前に、その問いに対応する事後確率を直接求めるとよい。この例では

Pr⁡(θ>0.5∣y)=1−Fbeta⁡(3,9)(0.5)=0.03271484375≈3.27%\Pr(\theta>0.5\mid y) =1-F_{\operatorname{beta}(3,9)}(0.5) =0.03271484375 \approx3.27\%

である。 beta(3, 9).sf(0.5) で計算できる。 0.50.5 は等裾区間には入り、HPD区間には入らないが、この約3.27%という確率はどちらの区間を報告しても変わらない。したがって、都合のよい結論になる区間を選ぶのではなく、知りたい出来事の確率を確認することが大切である。95%の上限だけが必要なら、左右に2.5%ずつ残す区間とは別に、上側に5%を残す95%分位点を使う方法もある。

3.2 ポアソンモデル

ある人の子供の数や友人の数などの測定値は、非負の整数値をとる。これらの場合、標本空間は Y={0,1,2,…}\mathcal Y=\{0,1,2,\ldots\} である。おそらく、 YY の最も単純な確率モデルはポアソンモデルである。

ポアソン分布

第2章の内容を振り返ると、確率変数 YY が平均 θ\theta のポアソン分布に従うとは、

Pr⁡(Y=y∣θ)=dpois⁡(y,θ)=θye−θy!,y∈{0,1,2,…}\Pr(Y=y\mid\theta) =\operatorname{dpois}(y,\theta) =\frac{\theta^y e^{-\theta}}{y!}, \qquad y\in\{0,1,2,\ldots\}

となることであった。そのような確率変数に対して、

  • E[Y∣θ]=θ\mathrm{E}[Y\mid\theta]=\theta 、
  • Var⁡[Y∣θ]=θ\operatorname{Var}[Y\mid\theta]=\theta

が成り立つ。ポアソン分布の平均が大きい場合、その分散も大きくなるため、ポアソン分布族には「平均分散関係」(mean-variance relationship)があるともいわれる。

平均と分散が同じになることを、確率の式から確かめる。まず期待値の和では、 y=0y=0 の項は0であり、 y/y!=1/(y−1)!y/y!=1/(y-1)! を使える。

E[Y∣θ]=∑y=1∞yθye−θy!=θ∑y=1∞θy−1e−θ(y−1)!=θ∑k=0∞θke−θk!=θ.\begin{aligned} \mathrm{E}[Y\mid\theta] &=\sum_{y=1}^{\infty}y\frac{\theta^ye^{-\theta}}{y!}\\ &=\theta\sum_{y=1}^{\infty}\frac{\theta^{y-1}e^{-\theta}}{(y-1)!} =\theta\sum_{k=0}^{\infty}\frac{\theta^ke^{-\theta}}{k!} =\theta. \end{aligned}

最後の和は、ポアソン分布が0、1、2、…のいずれかになる確率の合計なので1である。分散のためには、直接 Y2Y^2 を計算するより、 Y(Y−1)Y(Y-1) を先に計算すると階乗が消しやすい。

E[Y(Y−1)∣θ]=∑y=2∞θye−θ(y−2)!=θ2∑k=0∞θke−θk!=θ2.\mathrm{E}[Y(Y-1)\mid\theta] =\sum_{y=2}^{\infty}\frac{\theta^ye^{-\theta}}{(y-2)!} =\theta^2\sum_{k=0}^{\infty}\frac{\theta^ke^{-\theta}}{k!} =\theta^2.

Y2=Y(Y−1)+YY^2=Y(Y-1)+Y だから、 E[Y2∣θ]=θ2+θ\mathrm{E}[Y^2\mid\theta]=\theta^2+\theta である。したがって分散は (θ2+θ)−θ2=θ(\theta^2+\theta)-\theta^2=\theta となる。この等式はポアソンモデルの性質であり、観測したデータの平均と分散が必ず一致するという意味ではない。

解説:二項分布とポアソン分布は、何を数えるかが違う

二項分布は「決まった nn 回のうち、何回成功したか」を数えるので、上限は nn である。ポアソン分布では、1人や1時間など一定の観測単位について、0、1、2、…という個数を数える。モデル上は上限を置かない。

例えば、平均2件の問い合わせ件数をポアソン分布で表すと、

Pr⁡(Y=0∣θ=2)=e−2≈0.135335,Pr⁡(Y=3∣θ=2)=23e−23!≈0.180447.\Pr(Y=0\mid\theta=2)=e^{-2}\approx0.135335, \quad \Pr(Y=3\mid\theta=2)=\frac{2^3e^{-2}}{3!}\approx0.180447.

平均が2だから毎回2件になるわけではない。標準偏差は 2≈1.414\sqrt2\approx1.414 あり、個々の結果は散らばる。

図3.7の左では、子供の数の観測割合と、標本平均を代入したポアソン分布を比較する。右では、同じ平均をもつ条件付き独立な10人の合計を示す。元の作図コードに合わせ、計算には丸め前の 283/155≈1.825806283/155\approx1.825806 を使う。したがって10人の合計の平均は 18.25806518.258065 であり、教科書の1.83と18.3は丸めた表現である。

図3.7:1人の個数と、条件付き独立な10人の合計のポアソン分布。

左の二つの分布は完全には一致しない。平均と分散が等しいという制約はポアソンモデルの仮定であり、データから自動的に保証される性質ではない。モデルの妥当性は次章の課題である。

3.2.1 事後推測

θ\theta の値を与えたとき、 Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} は互いに独立で、どれも平均 θ\theta のポアソン分布に従うと仮定する。このとき、全員の個数がそれぞれ y(1),…,y(n)y^{(1)},\ldots,y^{(n)} になる同時確率は、各人の確率の掛け算である。以下では、この nn 人分の観測を並べたベクトルを ∣y⟩=(y(1),…,y(n))T\ket{y}=(y^{(1)},\ldots,y^{(n)})^{\mathsf{T}} と書く。二項モデルの yy は成功回数という1個の数だったが、ここでの ∣y⟩\ket{y} は nn 個の数の組であり、記号の形でその違いを区別する。

Pr⁡(Y(1)=y(1),…,Y(n)=y(n)∣θ)=∏i=1np(y(i)∣θ)=∏i=1n1y(i)!θy(i)e−θ=c(∣y⟩)θ∑y(i)e−nθ\begin{aligned} \Pr(Y^{(1)}=y^{(1)},\ldots,Y^{(n)}=y^{(n)}\mid\theta) &=\prod_{i=1}^n p(y^{(i)}\mid\theta)\\ &=\prod_{i=1}^n\frac{1}{y^{(i)}!}\theta^{y^{(i)}}e^{-\theta}\\ &=c(\ket{y})\theta^{\sum y^{(i)}}e^{-n\theta} \end{aligned}

となる。 θ\theta の二つの値を事後に比較するためには、

p(θa∣∣y⟩)p(θb∣∣y⟩)=c(∣y⟩)e−nθaθa∑y(i)p(θa)c(∣y⟩)e−nθbθb∑y(i)p(θb)=e−nθaθa∑y(i)p(θa)e−nθbθb∑y(i)p(θb)\begin{aligned} \frac{p(\theta_a\mid \ket{y})}{p(\theta_b\mid \ket{y})} &=\frac{c(\ket{y})e^{-n\theta_a}\theta_a^{\sum y^{(i)}}p(\theta_a)}{c(\ket{y})e^{-n\theta_b}\theta_b^{\sum y^{(i)}}p(\theta_b)}\\ &=\frac{e^{-n\theta_a}\theta_a^{\sum y^{(i)}}p(\theta_a)}{e^{-n\theta_b}\theta_b^{\sum y^{(i)}}p(\theta_b)} \end{aligned}

を計算すればよい。独立同一の二値分布モデルのときと同様、 ∑i=1nY(i)\sum_{i=1}^nY^{(i)} はデータから得られる θ\theta に関する情報をすべて保持しており、 ∑i=1nY(i)\sum_{i=1}^nY^{(i)} は十分統計量である。さらに、

{∑i=1nY(i)∣θ}∼Poisson⁡(nθ)\left\{\sum_{i=1}^nY^{(i)}\mid\theta\right\}\sim\operatorname{Poisson}(n\theta)

が成り立つ。

解説:合計と人数が残る理由

説明用の3人の個数が (0,1,3)(0,1,3) なら、尤度は

θ0e−θ0!θ1e−θ1!θ3e−θ3!=16θ4e−3θ.\frac{\theta^0e^{-\theta}}{0!} \frac{\theta^1e^{-\theta}}{1!} \frac{\theta^3e^{-\theta}}{3!} =\frac16\theta^4e^{-3\theta}.

(1,1,2)(1,1,2) なら係数は 1/21/2 に変わるが、 θ\theta に依存する部分は同じ θ4e−3θ\theta^4e^{-3\theta} である。人数が同じ3人、合計が同じ4なので、 θ\theta の事後分布も同じになる。

また、合計 S=∑iY(i)S=\sum_iY^{(i)} の平均は nθn\theta である。条件付き独立なら分散も nθn\theta となる。ただし、平均と分散が一致することだけでは、分布がポアソン分布であるとは結論できない。合計の確率そのものを確かめる必要がある。

2人の場合を計算してみる。合計が ss になるのは、1人目が kk 、2人目が s−ks-k となる場合を、 k=0,…,sk=0,\ldots,s について集めたときである。

Pr⁡(Y(1)+Y(2)=s∣θ)=∑k=0sθke−θk!θs−ke−θ(s−k)!=θse−2θs!∑k=0s(sk)=(2θ)se−2θs!.\begin{aligned} \Pr(Y^{(1)}+Y^{(2)}=s\mid\theta) &=\sum_{k=0}^s\frac{\theta^ke^{-\theta}}{k!} \frac{\theta^{s-k}e^{-\theta}}{(s-k)!}\\ &=\frac{\theta^se^{-2\theta}}{s!}\sum_{k=0}^s\binom sk\\ &=\frac{(2\theta)^se^{-2\theta}}{s!}. \end{aligned}

最後は二項定理 ∑k=0s(sk)=(1+1)s=2s\sum_{k=0}^s\binom sk=(1+1)^s=2^s を使った。これは平均 2θ2\theta のポアソン分布である。異なる平均 λ1,λ2\lambda_1,\lambda_2 でも同じ計算の和が (λ1+λ2)s(\lambda_1+\lambda_2)^s になるため、独立なポアソン変数を足すと平均も足される。これを繰り返せば、 nn 人の合計は平均 nθn\theta のポアソン分布となる。ここでも、 nn が既知であることが十分性の前提である。

共役事前分布

ここでは、事後計算を簡単にする共役事前分布のクラスを用いることにする。事前密度族が標本モデル p(∣y⟩∣θ)p(\ket{y}\mid\theta) に対して共役であるとは、事後分布もまた同じ分布族に属するということであった。ポアソンモデルの場合、 θ\theta の事後分布は次のようになる。

p(θ∣∣y⟩)∝p(θ)×p(∣y⟩∣θ)∝p(θ)×θ∑y(i)e−nθ.p(\theta\mid \ket{y}) \propto p(\theta)\times p(\ket{y}\mid\theta) \propto p(\theta)\times\theta^{\sum y^{(i)}}e^{-n\theta}.

これは、共役分布族の密度が何であれ、 c1c_1 と c2c_2 に対して θc1e−c2θ\theta^{c_1}e^{-c_2\theta} のような項を含める必要があることを意味している。このような密度の最も単純なクラスに対応する確率分布として、これらの項のみが含まれるガンマ分布族が知られている。

ガンマ分布

確率変数 θ\theta がガンマ分布 gamma⁡(a,b)\operatorname{gamma}(a,b) に従うとは、

p(θ)≡dgamma⁡(θ,a,b)=baΓ(a)θa−1e−bθ(θ,a,b>0)p(\theta) \equiv\operatorname{dgamma}(\theta,a,b) =\frac{b^a}{\Gamma(a)}\theta^{a-1}e^{-b\theta} \qquad(\theta,a,b>0)

となることをいう。そのような確率変数に対して、以下が成り立つ。

  • E[θ]=a/b\mathrm{E}[\theta]=a/b 、
  • Var⁡[θ]=a/b2\operatorname{Var}[\theta]=a/b^2 、
mode⁡[θ]={(a−1)/b(a>1),0(a≤1).\operatorname{mode}[\theta]= \begin{cases} (a-1)/b & (a>1),\\ 0 & (a\le1). \end{cases}

式変形:ガンマ分布の正規化・平均・分散を求める

ベータ分布では B(a,b)B(a,b) が積分をまとめる役割を果たした。ガンマ分布では、次のガンマ関数を使う。

Γ(a)=∫0∞xa−1e−x dx,a>0.\Gamma(a)=\int_0^\infty x^{a-1}e^{-x}\,dx, \qquad a>0.

密度に現れる e−bθe^{-b\theta} を e−xe^{-x} にそろえるため、 x=bθx=b\theta と置く。このとき θ=x/b\theta=x/b 、 dθ=dx/bd\theta=dx/b なので、

∫0∞θa−1e−bθ dθ=∫0∞(xb)a−1e−xdxb=1ba∫0∞xa−1e−x dx=Γ(a)ba.\begin{aligned} \int_0^\infty\theta^{a-1}e^{-b\theta}\,d\theta &=\int_0^\infty\left(\frac xb\right)^{a-1}e^{-x}\frac{dx}{b}\\ &=\frac1{b^a}\int_0^\infty x^{a-1}e^{-x}\,dx =\frac{\Gamma(a)}{b^a}. \end{aligned}

したがって、この積分の逆数 ba/Γ(a)b^a/\Gamma(a) を掛ければ全面積が1になる。これがガンマ密度の先頭の係数である。平均は密度に θ\theta を掛けた積分なので、先ほどの積分の aa を a+1a+1 に変えれば求められる。

E[θ]=baΓ(a)∫0∞θae−bθ dθ=baΓ(a)Γ(a+1)ba+1=ab,E[θ2]=baΓ(a)Γ(a+2)ba+2=a(a+1)b2.\begin{aligned} \mathrm{E}[\theta] &=\frac{b^a}{\Gamma(a)}\int_0^\infty\theta^a e^{-b\theta}\,d\theta\\ &=\frac{b^a}{\Gamma(a)}\frac{\Gamma(a+1)}{b^{a+1}} =\frac{a}{b},\\ \mathrm{E}[\theta^2] &=\frac{b^a}{\Gamma(a)}\frac{\Gamma(a+2)}{b^{a+2}} =\frac{a(a+1)}{b^2}. \end{aligned}

ここでも Γ(a+1)=aΓ(a)\Gamma(a+1)=a\Gamma(a) を使った。分散は二乗の平均から平均の二乗を引くので、

Var⁡(θ)=a(a+1)b2−(ab)2=a(a+1)−a2b2=ab2.\operatorname{Var}(\theta) =\frac{a(a+1)}{b^2}-\left(\frac ab\right)^2 =\frac{a(a+1)-a^2}{b^2} =\frac a{b^2}.

最頻値は、対数密度 C+(a−1)log⁡θ−bθC+(a-1)\log\theta-b\theta の傾きを0にして求める。 CC は θ\theta に無関係な定数である。

ddθlog⁡p(θ)=a−1θ−b=0⟹θ=a−1b.\frac{d}{d\theta}\log p(\theta)=\frac{a-1}{\theta}-b=0 \quad\Longrightarrow\quad\theta=\frac{a-1}{b}.

a>1a>1 ならこの位置は正で、二階微分 −(a−1)/θ2-(a-1)/\theta^2 が負なので山の頂上になる。 a≤1a\le1 なら傾きは θ>0\theta>0 の全域で負であり、内部の頂上はなく、0に近いほど密度が高い。

例えば a=2,b=4a=2,b=4 なら、正規化定数は 42/Γ(2)=164^2/\Gamma(2)=16 、密度は 16θe−4θ16\theta e^{-4\theta} となる。平均は0.5、二乗の平均は 6/16=0.3756/16=0.375 、分散は 0.375−0.52=0.1250.375-0.5^2=0.125 、最頻値は0.25である。

解説:ガンマ分布の第二引数は「rate」である

本章の gamma⁡(a,b)\operatorname{gamma}(a,b) は、形状 aa 、率(rate) bb という流儀である。PythonのSciPyは scale を受け取るので、必ず scale=1/b と変換する。SciPyのガンマ分布の公式ドキュメント でも、この対応が示されている。

例えば gamma⁡(2,4)\operatorname{gamma}(2,4) なら、平均は 2/4=0.52/4=0.5 、分散は 2/42=0.1252/4^2=0.125 である。gamma(2, scale=4) とすると平均8という別の分布になってしまう。

from scipy.stats import gamma

shape, rate = 2, 4
prior = gamma(a=shape, scale=1 / rate)
print(prior.mean(), prior.var())  # 0.5, 0.125

次の図の上段では平均を1に固定して a,ba,b を一緒に増やし、下段では平均を2に固定して同じ操作を行う。

図3.8:形状aと率bを同じ比率で増やすと、平均a/bを保ったまま集中度が増す。

上段の分散は1、0.5、0.25、下段の分散は2、0.5、0.125である。同じ平均でも、未知の平均に対してどれだけ幅広い可能性を残すかが違う。

a≤1a\le1 のとき「最頻値0」という表現は境界の意味である。 a=1a=1 では指数分布となり、0から単調に密度が下がる。 0<a<10<a<1 では0に近づくにつれて密度が発散する。 θ>0\theta>0 という支持域の内部に山があるわけではない。

θ\theta の事後分布

Y(1),…,Y(n)∣θ∼i.i.d. Poisson⁡(θ)Y^{(1)},\ldots,Y^{(n)}\mid\theta\sim\text{i.i.d. }\operatorname{Poisson}(\theta) 、 p(θ)=dgamma⁡(θ,a,b)p(\theta)=\operatorname{dgamma}(\theta,a,b) とする。このとき、事後分布は

p(θ∣∣y⟩)=p(θ)×p(∣y⟩∣θ)/p(∣y⟩)={θa−1e−bθ}×{θ∑y(i)e−nθ}×c(∣y⟩,a,b)={θa+∑y(i)−1e−(b+n)θ}×c(∣y⟩,a,b)\begin{aligned} p(\theta\mid \ket{y}) &=p(\theta)\times p(\ket{y}\mid\theta)/p(\ket{y})\\ &=\{\theta^{a-1}e^{-b\theta}\}\times\{\theta^{\sum y^{(i)}}e^{-n\theta}\}\times c(\ket{y},a,b)\\ &=\{\theta^{a+\sum y^{(i)}-1}e^{-(b+n)\theta}\}\times c(\ket{y},a,b) \end{aligned}

となる。ガンマ密度の形 θ形状−1e−率×θ\theta^{\text{形状}-1}e^{-\text{率}\times\theta} と照合すると、形状は a+∑iy(i)a+\sum_i y^{(i)} 、率は b+nb+n と読める。積分が1になるように定数を決めれば、そのガンマ密度そのものになる。したがって、ガンマ事前分布はポアソンモデルに対して共役である。

θ∼gamma⁡(a,b)Y(1),…,Y(n)∣θ∼Poisson⁡(θ)}⇒{θ∣Y(1),…,Y(n)}∼gamma⁡(a+∑i=1nY(i),b+n).\left. \begin{array}{l} \theta\sim\operatorname{gamma}(a,b)\\ Y^{(1)},\ldots,Y^{(n)}\mid\theta\sim\operatorname{Poisson}(\theta) \end{array} \right\} \Rightarrow \{\theta\mid Y^{(1)},\ldots,Y^{(n)}\} \sim\operatorname{gamma}\left(a+\sum_{i=1}^nY^{(i)},b+n\right).

解説:ガンマ更新を、小さなデータで確かめる

説明用に、事前を gamma⁡(2,1)\operatorname{gamma}(2,1) 、データを3人の (0,1,3)(0,1,3) とする。事前の形は θ2−1e−θ\theta^{2-1}e^{-\theta} 、尤度の形は θ4e−3θ\theta^4e^{-3\theta} なので、掛け合わせると

θ1e−θ×θ4e−3θ=θ5e−4θ.\theta^1e^{-\theta}\times\theta^4e^{-3\theta} =\theta^5e^{-4\theta}.

これは gamma⁡(6,4)\operatorname{gamma}(6,4) の形である。すなわち、 aa に個数の合計4を足し、 bb に観測人数3を足す。二項モデルの bb には失敗数を足したが、ポアソンモデルの bb には人数を足すという違いを押さえる。

事後平均は 6/4=1.56/4=1.5 、分散は 6/16=0.3756/16=0.375 である。事前平均2と標本平均 4/34/3 の間に更新されることを、次の加重平均の式でも確認できる。

事後分布がわかったので、そこから θ\theta の平均も求められる。ここでも分子を二つに分けて整理すると、事後平均は事前平均と標本平均の加重平均になる。二つの重みは正で合計が1であり、このような平均を数学では凸結合ともいう。

E[θ∣∣y⟩]=a+∑y(i)b+n=bb+nab+nb+n∑y(i)n.\begin{aligned} \mathrm{E}[\theta\mid \ket{y}] &=\frac{a+\sum y^{(i)}}{b+n}\\ &=\frac{b}{b+n}\frac{a}{b} +\frac{n}{b+n}\frac{\sum y^{(i)}}{n}. \end{aligned}

ここで、

  • bb は事前のサンプルサイズ、
  • aa は bb 個の事前の観測値の和

と解釈できる。

事前分布を固定して nn を増やすと、事前平均に掛かる重み b/(b+n)b/(b+n) は0に、標本平均に掛かる重み n/(b+n)n/(b+n) は1に近づく。この意味で、事後平均へのデータの影響が大きくなる。

n≫b⇒E[θ∣∣y⟩]≈yˉ,Var⁡[θ∣∣y⟩]≈yˉ/n.n\gg b \quad\Rightarrow\quad \mathrm{E}[\theta\mid \ket{y}]\approx\bar y, \qquad \operatorname{Var}[\theta\mid \ket{y}]\approx\bar y/n.

分散の近似も、ガンマ分布の公式から確認できる。 ∑iy(i)=nyˉ\sum_i y^{(i)}=n\bar y を代入すると、

Var⁡(θ∣∣y⟩)=a+nyˉ(b+n)2=1na/n+yˉ(1+b/n)2≈yˉn.\operatorname{Var}(\theta\mid\ket{y}) =\frac{a+n\bar y}{(b+n)^2} =\frac1n\frac{a/n+\bar y}{(1+b/n)^2} \approx\frac{\bar y}{n}.

最後は、固定した事前パラメータに対して a/na/n と b/nb/n の影響が小さくなることを使った。ただし、すべての観測が0のときには近似値が0になるので、正確な分散 a/(b+n)2a/(b+n)^2 を使う。小標本でも、正確な式を使えば事前の影響を落とさず計算できる。

直前の例では、 b=1,n=3b=1,n=3 なので、

14×2+34×43=1.5\frac14\times2+\frac34\times\frac43=1.5

となる。事前には1人分に相当する重みを、実データには3人分の重みを置いている。

この「1人分」は、同じ観測単位を使う場合の解釈である。例えば問い合わせ件数の観測時間が tit_i 時間で、 Y(i)∣θ∼Poisson⁡(tiθ)Y^{(i)}\mid\theta\sim\operatorname{Poisson}(t_i\theta) とするなら、更新は

θ∣∣y⟩∼gamma⁡(a+∑iy(i), b+∑iti)\theta\mid\ket{y}\sim\operatorname{gamma}\left(a+\sum_i y^{(i)},\ b+\sum_i t_i\right)

になる。なぜ人数ではなく時間を足すのかは、尤度を展開するとわかる。各 ti>0t_i>0 を既知の観測時間とすると、

∏i(tiθ)y(i)e−tiθy(i)!=(∏itiy(i)y(i)!)θ∑iy(i)e−θ∑iti∝θ∑iy(i)e−θ∑iti.\begin{aligned} \prod_i\frac{(t_i\theta)^{y^{(i)}}e^{-t_i\theta}}{y^{(i)}!} &=\left(\prod_i\frac{t_i^{y^{(i)}}}{y^{(i)}!}\right) \theta^{\sum_i y^{(i)}}e^{-\theta\sum_i t_i}\\ &\propto\theta^{\sum_i y^{(i)}}e^{-\theta\sum_i t_i}. \end{aligned}

これに事前の θa−1e−bθ\theta^{a-1}e^{-b\theta} を掛けるので、率の部分は b+∑itib+\sum_i t_i となる。 bb に足すのは記録の本数ではなく、観測時間の合計である。2時間に3件、5時間に4件を観測し、事前が gamma⁡(2,1)\operatorname{gamma}(2,1) なら、事後は gamma⁡(9,8)\operatorname{gamma}(9,8) 、平均は 9/8=1.1259/8=1.125 件/時間になる。単位が変われば事前の率パラメータの意味も変わる。

事後予測の積分を整理する準備

以降では、式を追いやすくするために

A=a+∑iy(i),B=b+nA=a+\sum_i y^{(i)},\qquad B=b+n

と略記してよい。 A,BA,B はすでにデータから決まった事後パラメータである。ガンマ事後密度の θA−1e−Bθ\theta^{A-1}e^{-B\theta} に、新しい1人のポアソン確率の θy~e−θ\theta^{\widetilde y}e^{-\theta} を掛けると、 θA+y~−1e−(B+1)θ\theta^{A+\widetilde y-1}e^{-(B+1)\theta} になる。これが次の長い積分の中心部分である。

追加データに関する予測は、事後予測分布を用いて行うことができる。

p(y~∣∣y⟩)=∫0∞p(y~∣θ,∣y⟩)p(θ∣∣y⟩) dθ=∫p(y~∣θ)p(θ∣∣y⟩) dθ=∫dpois⁡(y~,θ)dgamma⁡(θ,a+∑y(i),b+n)dθ=∫{1y~!θy~e−θ}{(b+n)a+∑y(i)Γ(a+∑y(i))θa+∑y(i)−1e−(b+n)θ}dθ=(b+n)a+∑y(i)Γ(y~+1)Γ(a+∑y(i))∫0∞θa+∑y(i)+y~−1e−(b+n+1)θ dθ.\begin{aligned} p(\widetilde y\mid \ket{y}) &=\int_0^\infty p(\widetilde y\mid\theta,\ket{y})p(\theta\mid \ket{y})\,d\theta\\ &=\int p(\widetilde y\mid\theta)p(\theta\mid \ket{y})\,d\theta\\ &=\int \operatorname{dpois}(\widetilde y,\theta) \operatorname{dgamma}\left(\theta,a+\sum y^{(i)},b+n\right)d\theta\\ &=\int \left\{\frac{1}{\widetilde y!}\theta^{\widetilde y}e^{-\theta}\right\} \left\{\frac{(b+n)^{a+\sum y^{(i)}}}{\Gamma(a+\sum y^{(i)})} \theta^{a+\sum y^{(i)}-1}e^{-(b+n)\theta}\right\}d\theta\\ &=\frac{(b+n)^{a+\sum y^{(i)}}}{\Gamma(\widetilde y+1)\Gamma(a+\sum y^{(i)})} \int_0^\infty \theta^{a+\sum y^{(i)}+\widetilde y-1}e^{-(b+n+1)\theta}\,d\theta. \end{aligned}

一見、複雑そうに見える上記の積分は、実はガンマ関数の定義式のみで実行できることがわかる。ガンマ密度についてわかっていることを使うことにしよう。

1=∫0∞baΓ(a)θa−1e−bθ dθ(a,b>0).1=\int_0^\infty\frac{b^a}{\Gamma(a)}\theta^{a-1}e^{-b\theta}\,d\theta \qquad(a,b>0).

これは

∫0∞θa−1e−bθ dθ=Γ(a)ba(a,b>0)\int_0^\infty\theta^{a-1}e^{-b\theta}\,d\theta =\frac{\Gamma(a)}{b^a} \qquad(a,b>0)

であることを示している。ここで、 aa の代わりに a+∑y(i)+y~a+\sum y^{(i)}+\widetilde y を、 bb の代わりに b+n+1b+n+1 を用いると、

∫0∞θa+∑y(i)+y~−1e−(b+n+1)θ dθ=Γ(a+∑y(i)+y~)(b+n+1)a+∑y(i)+y~\int_0^\infty \theta^{a+\sum y^{(i)}+\widetilde y-1}e^{-(b+n+1)\theta}\,d\theta = \frac{\Gamma(a+\sum y^{(i)}+\widetilde y)}{(b+n+1)^{a+\sum y^{(i)}+\widetilde y}}

となる。この積分の値を直前の係数に掛け、分母のべき乗を整理すると、次の予測確率が得られる。係数の整理は、後の「負の二項分布への変換」で一段ずつ確認する。

p(y~∣∣y⟩)=Γ(a+∑y(i)+y~)Γ(y~+1)Γ(a+∑y(i))(b+nb+n+1)a+∑y(i)(1b+n+1)y~p(\widetilde y\mid \ket{y}) = \frac{\Gamma(a+\sum y^{(i)}+\widetilde y)} {\Gamma(\widetilde y+1)\Gamma(a+\sum y^{(i)})} \left(\frac{b+n}{b+n+1}\right)^{a+\sum y^{(i)}} \left(\frac{1}{b+n+1}\right)^{\widetilde y}

を得る。これはパラメータ (a+∑y(i),b+n)(a+\sum y^{(i)},b+n) をもつ負の二項分布であり、

E[Y~∣∣y⟩]=a+∑y(i)b+n=E[θ∣∣y⟩],\mathrm{E}[\widetilde Y\mid \ket{y}] =\frac{a+\sum y^{(i)}}{b+n} =\mathrm{E}[\theta\mid \ket{y}],
Var⁡[Y~∣∣y⟩]=a+∑y(i)b+nb+n+1b+n=Var⁡[θ∣∣y⟩]×(b+n+1)=E[θ∣∣y⟩]×b+n+1b+n\begin{aligned} \operatorname{Var}[\widetilde Y\mid \ket{y}] &=\frac{a+\sum y^{(i)}}{b+n}\frac{b+n+1}{b+n}\\ &=\operatorname{Var}[\theta\mid \ket{y}]\times(b+n+1)\\ &=\mathrm{E}[\theta\mid \ket{y}]\times\frac{b+n+1}{b+n} \end{aligned}

となる。次の1人の個数が読めない理由は二つある。一つは、集団の平均 θ\theta 自体がまだ正確にはわからないこと。もう一つは、平均を知っていても、一人ひとりの個数は同じにならないことである。予測分散は、この両方を含む。

同じモデルのもとでデータが増えると、平均 θ\theta についての不確かさは小さくなる。そのため、予測分散に掛かる係数 (b+n+1)/(b+n)=1+1/(b+n)(b+n+1)/(b+n)=1+1/(b+n) は1に近づく。しかし、個々の観測にはポアソン分布のばらつきが残る。平均を正確に推定できることと、次の個数をぴたりと当てられることは別である。

解説:負の二項分布への変換と具体的な予測確率

ここでは新しい個数の候補 y~\widetilde y を kk と書く。 kk は0、1、2、…の整数である。上の A,BA,B を使い、ガンマ密度とポアソン確率を掛けた積分から始めると、

Pr⁡(Y~=k∣∣y⟩)=BAΓ(A) k!∫0∞θA+k−1e−(B+1)θ dθ=BAΓ(A) k!Γ(A+k)(B+1)A+k=Γ(A+k)Γ(A) Γ(k+1)BA(B+1)A(B+1)k.\begin{aligned} \Pr(\widetilde Y=k\mid\ket{y}) &=\frac{B^A}{\Gamma(A)\,k!} \int_0^\infty\theta^{A+k-1}e^{-(B+1)\theta}\,d\theta\\ &=\frac{B^A}{\Gamma(A)\,k!} \frac{\Gamma(A+k)}{(B+1)^{A+k}}\\ &=\frac{\Gamma(A+k)}{\Gamma(A)\,\Gamma(k+1)} \frac{B^A}{(B+1)^A(B+1)^k}. \end{aligned}

二行目では、ガンマ分布の節で導いた積分公式に、形状 A+kA+k と率 B+1B+1 を入れた。三行目では k!=Γ(k+1)k!=\Gamma(k+1) を使い、 (B+1)A+k(B+1)^{A+k} を二つのべき乗に分けた。分子の BAB^A と分母の (B+1)A(B+1)^A を一つにまとめれば、

Pr⁡(Y~=k∣∣y⟩)=Γ(A+k)Γ(k+1)Γ(A)(BB+1)A(1B+1)k.\Pr(\widetilde Y=k\mid\ket{y}) =\frac{\Gamma(A+k)}{\Gamma(k+1)\Gamma(A)} \left(\frac{B}{B+1}\right)^A \left(\frac1{B+1}\right)^k.

となる。ここで現れる負の二項分布は、「未知のポアソン平均をガンマ分布で平均した結果」として得られたものである。成功するまで試行を繰り返す場面を、子供の数のデータに無理に当てはめる必要はない。

SciPyの nbinom は、形状を n、成功確率を p という引数で受け取る。この n は調査人数ではない。本章の式との対応は

n=A,p=BB+1\texttt{n}=A,\qquad \texttt{p}=\frac{B}{B+1}

である。SciPyの負の二項分布の公式ドキュメント の確率質量関数に代入すると、上の式と一致する。

先の説明用データ (0,1,3)(0,1,3) では A=6,B=4A=6,B=4 だった。次の1人の個数が0になる確率は

Pr⁡(Y~=0∣∣y⟩)=(45)6=0.262144.\Pr(\widetilde Y=0\mid\ket{y})=\left(\frac45\right)^6=0.262144.

1になる確率は

Pr⁡(Y~=1∣∣y⟩)=6(45)615=0.3145728.\Pr(\widetilde Y=1\mid\ket{y}) =6\left(\frac45\right)^6\frac15=0.3145728.

nbinom(n=6, p=4/5).pmf([0, 1]) で両方の値を確認できる。

解説:予測の不確かさは、平均の不確かさと個体差の和になる

全分散の公式で分けると、本文の予測分散は次の形になる。

Var⁡(Y~∣∣y⟩)=E[Var⁡(Y~∣θ,∣y⟩)∣∣y⟩]+Var⁡[E(Y~∣θ,∣y⟩)∣∣y⟩]=E[θ∣∣y⟩]+Var⁡[θ∣∣y⟩]=AB+AB2.\begin{aligned} \operatorname{Var}(\widetilde Y\mid\ket{y}) &=\mathrm{E}[\operatorname{Var}(\widetilde Y\mid\theta,\ket{y})\mid\ket{y}] +\operatorname{Var}[\mathrm{E}(\widetilde Y\mid\theta,\ket{y})\mid\ket{y}]\\ &=\mathrm{E}[\theta\mid\ket{y}]+\operatorname{Var}[\theta\mid\ket{y}]\\ &=\frac AB+\frac A{B^2}. \end{aligned}

最初の項は、平均がわかっていても残るポアソン観測のばらつきである。二つ目は、平均自体がまだわからないことから加わるばらつきである。例えば gamma⁡(6,4)\operatorname{gamma}(6,4) の事後なら、予測の平均は1.5、分散は 1.5+0.375=1.8751.5+0.375=1.875 である。事後平均1.5を固定したポアソン分布では、分散1.5となり、後者の0.375を取りこぼす。

全分散の公式にまだ慣れていなければ、二乗の平均から同じ結果を導くとよい。 θ\theta を固定したポアソン分布では、先ほど示したように E[Y~2∣θ,∣y⟩]=θ+θ2\mathrm{E}[\widetilde Y^2\mid\theta,\ket{y}]=\theta+\theta^2 である。これを事後分布で平均する。

E[Y~∣∣y⟩]=E[θ∣∣y⟩]=AB,E[Y~2∣∣y⟩]=E[θ+θ2∣∣y⟩]=AB+A(A+1)B2,Var⁡(Y~∣∣y⟩)=AB+A(A+1)B2−(AB)2=AB+AB2=ABB+1B.\begin{aligned} \mathrm{E}[\widetilde Y\mid\ket{y}]&=\mathrm{E}[\theta\mid\ket{y}]=\frac AB,\\ \mathrm{E}[\widetilde Y^2\mid\ket{y}] &=\mathrm{E}[\theta+\theta^2\mid\ket{y}] =\frac AB+\frac{A(A+1)}{B^2},\\ \operatorname{Var}(\widetilde Y\mid\ket{y}) &=\frac AB+\frac{A(A+1)}{B^2}-\left(\frac AB\right)^2\\ &=\frac AB+\frac A{B^2} =\frac AB\frac{B+1}{B}. \end{aligned}

最後に A=a+∑iy(i)A=a+\sum_i y^{(i)} 、 B=b+nB=b+n を戻すと、本文の予測分散の式になる。負の二項分布の公式を覚えていなくても、条件付きの平均・分散とガンマ分布の平均・分散から計算できるのである。

下の補助図は、すべて予測平均を2に揃え、未知の平均の不確かさだけを変えた説明用の比較である。

補助図:母平均の不確かさが減っても、個々の観測のばらつきは残る。

平均の分布が gamma⁡(2,1)\operatorname{gamma}(2,1) なら予測分散は4、 gamma⁡(10,5)\operatorname{gamma}(10,5) なら2.4、 gamma⁡(100,50)\operatorname{gamma}(100,50) なら2.04になる。平均が十分正確にわかると、予測分布は分散2のポアソン分布に近づく。しかし、個々の結果の分散が0になるわけではない。

この計算が、次節の「母平均の差はかなり確からしいのに、個人を比べた結果はそれほど確実でない」という現象につながる。

3.2.2 例:出生率

1990年代に、総合的社会調査は、調査への参加時に40歳であった155人の女性の学歴と子供の数に関するデータを収集した。これらの女性は、歴史的に見ても出生率が低かった1970年代の20代に相当する。この例では、学士号をもつ女性とそうでない女性の子供の数を比較する。 Y1(1),…,Y1(n1)Y^{(1)}_1,\ldots,Y^{(n_1)}_1 を学士号をもたない n1n_1 人の女性の子供の数とし、 Y2(1),…,Y2(n2)Y^{(1)}_2,\ldots,Y^{(n_2)}_2 を学士号をもつ n2n_2 人の女性の子供の数とする。この例では、次のようなサンプリングモデルを用いる。

Y1(1),…,Y1(n1)∣θ1∼i.i.d. Poisson⁡(θ1),Y^{(1)}_1,\ldots,Y^{(n_1)}_1\mid\theta_1\sim\text{i.i.d. }\operatorname{Poisson}(\theta_1),
Y2(1),…,Y2(n2)∣θ2∼i.i.d. Poisson⁡(θ2).Y^{(1)}_2,\ldots,Y^{(n_2)}_2\mid\theta_2\sim\text{i.i.d. }\operatorname{Poisson}(\theta_2).

これらのデータにポアソンモデルを用いることの妥当性については、次章で検討する。

ここでの「出生率」は、観測時点で40歳だった女性の子供の数の母平均を指す。一定期間の出生件数を人口で割る率とは単位が違い、 θj\theta_j の単位は「女性1人あたりの子供の人数」である。また、この比較は学歴で分けた集団の記述であり、学位取得の因果効果を識別したものではない。

計算では、二つの群のデータはそれぞれのパラメータを与えると独立であり、事前分布も群間で独立とする。そのため、事後分布も p(θ1,θ2∣∣y1⟩,∣y2⟩)=p(θ1∣∣y1⟩)p(θ2∣∣y2⟩)p(\theta_1,\theta_2\mid\ket{y_1},\ket{y_2})=p(\theta_1\mid\ket{y_1})p(\theta_2\mid\ket{y_2}) と分解できる。ここで ∣y1⟩=(y1(1),…,y1(n1))T\ket{y_1}=(y^{(1)}_1,\ldots,y^{(n_1)}_1)^{\mathsf{T}} は第1群の全員の子供の数を並べたベクトル、 ∣y2⟩\ket{y_2} は第2群のそれであり、 yy は両群のデータ全体を表す。

データの経験分布を図3.9に示す。グループの合計と平均は、次で与えられる。

大卒未満:n1=111,∑i=1n1Y1(i)=217,Yˉ1=1.95,\text{大卒未満:}\quad n_1=111,\quad \sum_{i=1}^{n_1}Y^{(i)}_1=217,\quad \bar Y_1=1.95,
大卒以上:n2=44,∑i=1n2Y2(i)=66,Yˉ2=1.50.\text{大卒以上:}\quad n_2=44,\quad \sum_{i=1}^{n_2}Y^{(i)}_2=66,\quad \bar Y_2=1.50.

{θ1,θ2}∼i.i.d. gamma⁡(a=2,b=1)\{\theta_1,\theta_2\}\sim\text{i.i.d. }\operatorname{gamma}(a=2,b=1) の場合、次の事後分布を得る。

θ1∣{n1=111,∑Y1(i)=217}∼gamma⁡(2+217,1+111)=gamma⁡(219,112),\theta_1\mid\left\{n_1=111,\sum Y^{(i)}_1=217\right\} \sim\operatorname{gamma}(2+217,1+111) =\operatorname{gamma}(219,112),
θ2∣{n2=44,∑Y2(i)=66}∼gamma⁡(2+66,1+44)=gamma⁡(68,45).\theta_2\mid\left\{n_2=44,\sum Y^{(i)}_2=66\right\} \sim\operatorname{gamma}(2+66,1+44) =\operatorname{gamma}(68,45).

θ1\theta_1 と θ2\theta_2 の事後平均、最頻値、分位点に基づく95%信用区間は、それらのガンマ事後分布から得られる。

原データを集計すると、次の人数になる。度数表を残しておくと、本文の人数と合計を手で検算できる。

子供の数 大卒未満 大卒以上
0 20 11
1 19 11
2 38 13
3 20 7
4 10 2
5 2 0
6 2 0
合計人数 111 44

例えば大卒未満の子供の合計は、 0×20+1×19+2×38+3×20+4×10+5×2+6×2=2170\times20+1\times19+2\times38+3\times20+4\times10+5\times2+6\times2=217 人である。下の図の縦軸は割合ではなく回答者数なので、二つの群の総人数が異なる点にも注意する。

図3.9:学歴別の子供の数の経験分布。原データを度数に集計して表示する。

大卒以上の群にも子供が3人や4人いる女性がおり、大卒未満の群にも0人の女性がいる。母平均の違いだけで、個人の大小関係が決まらないことがすでに見える。

from scipy.stats import gamma

a, b = 2, 1
for label, n, total in [("大卒未満", 111, 217), ("大卒以上", 44, 66)]:
    shape, rate = a + total, b + n
    posterior = gamma(a=shape, scale=1 / rate)
    print(label)
    print("平均:", posterior.mean())
    print("最頻値:", (shape - 1) / rate)
    print("95%等裾信用区間:", posterior.ppf([0.025, 0.975]))
集団 事後分布(shape, rate) 事後平均 最頻値 95%等裾信用区間
大卒未満 gamma⁡(219,112)\operatorname{gamma}(219,112) 1.955357 1.946429 [1.704943,2.222679][1.704943,2.222679]
大卒以上 gamma⁡(68,45)\operatorname{gamma}(68,45) 1.511111 1.488889 [1.173437,1.890836][1.173437,1.890836]

これらは母平均についての区間であり、「個々の女性の子供の数がこの区間に95%入る」という意味ではない。個人の子供の数は整数だが、母平均は1.955のような小数でよい。

二つのグループの母平均の事後密度は、図3.10の左の図に示されている。事後分布は、実質的に θ1>θ2\theta_1>\theta_2 といえるほどの証拠を示している。たとえば、

Pr⁡(θ1>θ2∣∑Y1(i)=217,∑Y2(i)=66)=0.97\Pr\left(\theta_1>\theta_2\mid\sum Y^{(i)}_1=217,\sum Y^{(i)}_2=66\right)=0.97

となる。ここで、二つの母集団のそれぞれから1人ずつ、ランダムにサンプリングされた2人について考える。学士号を取得していない方が、もう一方よりも子供が多いとどの程度期待されるだろうか。関連する確率を正確に計算することができる。 Y~1\widetilde Y_1 と Y~2\widetilde Y_2 に対する事後予測分布はともに負の二項分布になり、図3.10の右の図に示されている。

図3.10の左は、二つの母平均がどこにあるかという不確かさを表す。右は、それぞれの群から次に1人を選んだときの子供の数の予測である。左右では横軸の対象も、縦軸が密度か確率かという点も違う。

図3.10:母平均の事後密度と、次の1人の子供の数の事後予測分布。

左では二つの母平均の分布がかなり分かれている一方、右の予測分布は大きく重なっている。図では子供の数0〜12を表示し、それより右の省略確率は大卒未満で約 2.07×10−72.07\times10^{-7} 、大卒以上で約 1.96×10−81.96\times10^{-8} である。

import numpy as np
from scipy.stats import nbinom

y = np.arange(11)
predictive1 = nbinom(n=219, p=112 / 113)
predictive2 = nbinom(n=68, p=45 / 46)
print(predictive1.pmf(y))
print(predictive2.pmf(y))
次の1人の子供の数 大卒未満の予測確率 大卒以上の予測確率
0 0.14274728 0.22434603
1 0.27665181 0.33164195
2 0.26930707 0.24873146
3 0.17556597 0.12616813
4 0.08622930 0.04868444
5 0.03403387 0.01524035
6 0.01124423 0.00403096
7 0.00319842 0.00092637
8 0.00079961 0.00018880
9 0.00017848 0.00003466
10 0.00003601 0.00000580

例えば、子供が0人である予測確率は約14.3%と22.4%である。母平均に差があっても、両群とも0人から数人まで幅広い結果が予測される。

θ1\theta_1 と θ2\theta_2 の事後分布の間の差を考えたときよりも、二つの予測分布の間にはより多くの重複があることに気づくだろう。たとえば、

Pr⁡(Y~1>Y~2∣∑Y1(i)=217,∑Y2(i)=66)=0.48,\Pr\left(\widetilde Y_1>\widetilde Y_2\mid\sum Y^{(i)}_1=217,\sum Y^{(i)}_2=66\right)=0.48,
Pr⁡(Y~1=Y~2∣∑Y1(i)=217,∑Y2(i)=66)=0.22\Pr\left(\widetilde Y_1=\widetilde Y_2\mid\sum Y^{(i)}_1=217,\sum Y^{(i)}_2=66\right)=0.22

となる。事象 {θ1>θ2}\{\theta_1>\theta_2\} と {Y~1>Y~2}\{\widetilde Y_1>\widetilde Y_2\} の区別は非常に重要である。二つの母集団の平均に差があるという強い証拠があるからといって、その差が個々の観測のばらつきと比べて大きいとは限らない。

解説:平均の比較確率を正確に計算する

ここで求めたいのは、 「今回のデータを見た後で、大卒未満の集団の母平均のほうが大きいと、どれくらい確信できるか」 である。その答えが約97.26%になる理由を、候補の組合せを数えるところから考える。

まず、記号と前提を確認しておく。以下では、観測済みの両群のデータを ∣y1⟩,∣y2⟩\ket{y_1},\ket{y_2} と書く。

記号 何を表すか データを見た後の分布
θ1\theta_1 大卒未満の集団の母平均。女性1人あたりの子供の人数 gamma⁡(219,112)\operatorname{gamma}(219,112)
θ2\theta_2 大卒以上の集団の母平均。同じ単位 gamma⁡(68,45)\operatorname{gamma}(68,45)

ガンマ分布の二つの引数は、この順にshapeとrateである。また、このモデルでは、データを見た後も θ1\theta_1 と θ2\theta_2 は独立である。以下の分布はすべて事後分布であり、式によっては条件の ∣∣y1⟩,∣y2⟩\mid\ket{y_1},\ket{y_2} を省略する。

事後平均だけを見ると、 219/112≈1.955219/112\approx1.955 は 68/45≈1.51168/45\approx1.511 より大きい。しかし、母平均の値自体はまだ確定していない。例えば、 θ1=1.8,θ2=2.0\theta_1=1.8,\theta_2=2.0 に近い組合せも、可能性が完全に消えたわけではない。したがって、 大小関係が成り立つ母平均の候補の組合せについて、その事後確率を全部足す 必要がある。

1. まず、候補が二つずつしかない例で考える

いきなり連続分布を扱う前に、計算の仕組みだけを小さな例で確認する。ここだけは説明用の架空の分布とし、二つの母平均の候補と確率が次のように与えられたとする。これは実データのガンマ分布を近似した表ではない。

  • θ1\theta_1 の候補は1.8と2.2で、それぞれの確率は0.7と0.3である。
  • θ2\theta_2 の候補は1.4と2.0で、それぞれの確率は0.8と0.2である。
  • 二つの母平均は独立である。

独立なので、例えば「 θ1=1.8\theta_1=1.8 かつ θ2=1.4\theta_2=1.4 」の確率は 0.7×0.8=0.560.7\times0.8=0.56 となる。すべての組合せを並べると、次のようになる。

θ1\theta_1 の候補 θ2\theta_2 の候補 組合せの確率 θ1>θ2\theta_1>\theta_2 を満たすか
1.8 1.4 0.7×0.8=0.560.7\times0.8=0.56 満たす
1.8 2.0 0.7×0.2=0.140.7\times0.2=0.14 満たさない
2.2 1.4 0.3×0.8=0.240.3\times0.8=0.24 満たす
2.2 2.0 0.3×0.2=0.060.3\times0.2=0.06 満たす

したがって、この架空の例で求める確率は、条件を満たす3行の確率を足した

Pr⁡(θ1>θ2)=0.56+0.24+0.06=0.86\Pr(\theta_1>\theta_2)=0.56+0.24+0.06=0.86

である。4通りのうち3通りだから75%とするのではなく、 それぞれの組合せの起こりやすさで重みをつける のがポイントである。

同じ足し算を、群1の候補ごとにまとめ直すこともできる。 θ1=1.8\theta_1=1.8 なら群2の候補1.4だけがそれより小さく、その確率は0.8である。 θ1=2.2\theta_1=2.2 なら群2のどちらの候補もそれより小さいため、その確率は1である。したがって、

Pr⁡(θ1>θ2)=0.7×0.8+0.3×1=0.86\Pr(\theta_1>\theta_2)=0.7\times0.8+0.3\times1=0.86

とも計算できる。この「群1の各候補の確率に、群2がそれより小さい確率を掛けて足す」という形を、実際の分布でも使う。

2. 実際のガンマ分布では、この足し算が積分になる

実際には、母平均の候補は1.8や2.2だけではない。1.801、1.802など、正の実数の範囲を連続的に動く。そこで、候補の組合せの確率を足す操作を、積分で行う。

その際は、群1の母平均の候補を一つ決め、「群2の母平均がその値より小さい確率」を調べると考えやすい。例えば、候補を t=1.8t=1.8 とすれば、調べるのは Pr⁡(θ2<1.8∣∣y1⟩,∣y2⟩)\Pr(\theta_2<1.8\mid\ket{y_1},\ket{y_2}) である。これを群1の候補のもっともらしさで重み付けし、すべての tt について足し合わせる。

式を書くために、 f1(t)f_1(t) を群1の母平均の事後密度、 F2(t)F_2(t) を群2の母平均が tt 未満となる事後確率とする。

F2(t)=Pr⁡(θ2<t∣∣y1⟩,∣y2⟩).F_2(t)=\Pr(\theta_2<t\mid\ket{y_1},\ket{y_2}).

今回の群2の事後分布で計算すると、 F2(1.8)≈0.936464F_2(1.8)\approx0.936464 である。つまり、比較する群1の値を仮に1.8と決めれば、群2の母平均がそれより小さい確率は約93.65%となる。ただし、群1の母平均も未知なので、1.8だけでなく他の候補についても同じ計算をする必要がある。

幅 Δt\Delta t が十分小さければ、群1の母平均が tt から t+Δtt+\Delta t の間に入る確率は、およそ f1(t)Δtf_1(t)\Delta t である。その小区間が比較確率に寄与する量は、およそ

f1(t)Δt⏟群1の母平均がこの小区間にある確率×F2(t)⏟群2の母平均がそれより小さい確率\underbrace{f_1(t)\Delta t}_{\text{群1の母平均がこの小区間にある確率}} \times \underbrace{F_2(t)}_{\text{群2の母平均がそれより小さい確率}}

となる。小区間を細かくしながら全部足したものが、次の積分である。

Pr⁡(θ1>θ2∣∣y1⟩,∣y2⟩)=∫0∞f1(t)F2(t) dt.\Pr(\theta_1>\theta_2\mid\ket{y_1},\ket{y_2}) =\int_0^\infty f_1(t)F_2(t)\,dt.

ここで f1(t)f_1(t) は密度なので、その値だけを「 θ1=t\theta_1=t となる確率」とは読まない。連続分布では、幅をもつ範囲に対して確率を考える。

この式をそのまま数値積分しても、目的の確率を求められる。

from scipy.integrate import quad
from scipy.stats import gamma

# 本文のガンマ分布はrateで指定する。SciPyには逆数のscaleを渡す。
posterior1 = gamma(a=219, scale=1 / 112)
posterior2 = gamma(a=68, scale=1 / 45)

probability, error_estimate = quad(
    lambda t: posterior1.pdf(t) * posterior2.cdf(t),
    0, float("inf"), epsabs=1e-12,
)
print(f"{probability:.6f}")
# 0.972560

pdf(t) は密度 f1(t)f_1(t) 、cdf(t) は左側の面積 F2(t)F_2(t) を返す。ここまでで、何を足し合わせて97.26%を求めているのかがわかる。次は、同じ確率をベータ分布の面積として計算する方法である。

3. ベータ分布を使う準備:二つのrateを1にそろえる

計算に使うガンマ分布の性質は、次のものである。

X∼gamma⁡(a,b)⟹bX∼gamma⁡(a,1).X\sim\operatorname{gamma}(a,b) \quad\Longrightarrow\quad bX\sim\operatorname{gamma}(a,1).

つまり、変数にそのrateを掛けると、変換後のrateは1になる。shapeは変わらない。そこで、

U=112θ1,V=45θ2U=112\theta_1,\qquad V=45\theta_2

とおけば、

U∼gamma⁡(219,1),V∼gamma⁡(68,1)U\sim\operatorname{gamma}(219,1),\qquad V\sim\operatorname{gamma}(68,1)

となり、二つのrateがそろう。例えば、元の候補が θ1=2,θ2=1.5\theta_1=2,\theta_2=1.5 なら、変換後は U=224,V=67.5U=224,V=67.5 である。各変数を決まった定数で掛けているだけなので、独立性も保たれる。

この変換は、次の分布の性質を使えるようにするための計算上の準備である。 U,VU,V は元の母平均を別々の倍率で変換した量なので、元の比較は U/112>V/45U/112>V/45 と書き直す必要がある。

4. 二つの値を「合計に占める割合」にまとめる

ここで使うもう一つの性質は、 独立でrateが等しい二つのガンマ変数は、片方が合計に占める割合をとるとベータ分布になる というものである。今回は

Z=UU+V⟹Z∼beta⁡(219,68)Z=\frac{U}{U+V} \quad\Longrightarrow\quad Z\sim\operatorname{beta}(219,68)

となる。ベータ分布の二つの引数には、順に UU と VV のshapeが入る。この性質の証明は末尾の補足で確認できる。まずは、0から1の間にある割合 ZZ の分布がわかった、と受け取ればよい。

次に、元の比較 θ1>θ2\theta_1>\theta_2 を、 ZZ の条件に直す。この境界は1/2にはならない。なぜなら、元の母平均が等しくても、 UU は112倍、 VV は45倍されているからである。

例えば、 θ1=θ2=2\theta_1=\theta_2=2 なら、

U=224,V=90,Z=224224+90=112157≈0.713376.U=224,\qquad V=90,\qquad Z=\frac{224}{224+90}=\frac{112}{157}\approx0.713376.

母平均が等しい値を2から別の正の値に変えても、共通の値が約分されるため、この割合は変わらない。したがって、 元の母平均が等しい境界は、変換後の割合では約0.7134にある 。

不等式でも確かめておこう。 U,VU,V は正なので、次のように両辺に正の数を掛けたり、正の数で割ったりしても、不等号の向きは変わらない。

θ1>θ2⟺U112>V45⟺45U>112V⟺157U>112(U+V)⟺UU+V>112157⟺Z>112157.\begin{aligned} \theta_1>\theta_2 &\Longleftrightarrow \frac{U}{112}>\frac{V}{45}\\ &\Longleftrightarrow 45U>112V\\ &\Longleftrightarrow 157U>112(U+V)\\ &\Longleftrightarrow \frac{U}{U+V}>\frac{112}{157}\\ &\Longleftrightarrow Z>\frac{112}{157}. \end{aligned}

3行目では、両辺に 112U112U を足している。4行目では、両辺を 157(U+V)157(U+V) で割っている。具体的な候補でも、この対応を確認できる。

元の母平均の候補 (θ1,θ2)(\theta_1,\theta_2) U=112θ1U=112\theta_1 V=45θ2V=45\theta_2 Z=U/(U+V)Z=U/(U+V) 元の比較と、変換後の判定
(2,1.5)(2,1.5) 224 67.5 約0.7684 θ1>θ2\theta_1>\theta_2 、境界より右
(2,2)(2,2) 224 90 約0.7134 θ1=θ2\theta_1=\theta_2 、境界上
(1.5,2)(1.5,2) 168 90 約0.6512 θ1<θ2\theta_1<\theta_2 、境界より左

ここでの ZZ は計算のために作った割合であり、「大卒未満の女性の割合」や「個人の子供が多い確率」を表すものではない。

5. ベータ分布の、境界より右側の面積を求める

これで、二つの母平均の比較を、一つの割合が境界より右にあるかどうかという問題に変えられた。したがって、

Pr⁡(θ1>θ2∣∣y1⟩,∣y2⟩)=Pr⁡(Z>112157∣∣y1⟩,∣y2⟩)=∫112/1571pZ(z) dz=0.972560…\begin{aligned} \Pr(\theta_1>\theta_2\mid\ket{y_1},\ket{y_2}) &=\Pr\left(Z>\frac{112}{157}\mid\ket{y_1},\ket{y_2}\right)\\ &=\int_{112/157}^{1}p_Z(z)\,dz\\ &=0.972560\ldots \end{aligned}

となる。 pZ(z)p_Z(z) は beta⁡(219,68)\operatorname{beta}(219,68) の密度である。次の図では、縦の破線が「二つの母平均が等しい境界」を表す。その右側にある曲線の下の面積が、求める確率である。横軸は変換後の割合 zz 、縦軸はその確率密度であり、曲線全体の下の面積は1である。

母平均の比較確率:Beta(219,68)の密度。破線より右側は大卒未満の母平均が大きい場合に対応し、その面積は約97.26%である。左側の面積は約2.74%である。

密度の山の大部分が境界より右にあるため、 θ1>θ2\theta_1>\theta_2 の事後確率は約97.26%となる。 横軸の境界0.7134と、右側の面積0.9726は別の数値 である。前者は比較を判定する位置、後者はその条件を満たす確率である。また、連続分布なので、境界ちょうど1点の確率は0である。

Pythonでは、右側の面積を返す sf を使えばよい。sf はsurvival functionの略で、ここでは 1−cdf⁡1-\operatorname{cdf} と同じ確率を表す。

from scipy.stats import beta

boundary = 112 / (112 + 45)       # 母平均が等しいときの、Zの値
z_posterior = beta(a=219, b=68)  # 変換後の割合Zの事後分布
probability = z_posterior.sf(boundary)
print(f"{probability:.6f}")
print(f"{probability:.2%}")
# 0.972560
# 97.26%

ここで「正確に計算する」とは、母平均を一つの推定値に固定したり、正規分布で近似したりせず、指定した事後分布のもとでの確率を求めるという意味である。コンピュータによる分布関数の評価には数値誤差があるが、この結果は先ほどのガンマ分布の数値積分とも一致する。

得られた97.26%は、今回のモデルとデータのもとで「集団の母平均について θ1>θ2\theta_1>\theta_2 」と考えられる確率である。次節で計算する「実際に1人ずつ選んだときに、どちらの子供の数が多いか」には、さらに個人ごとのばらつきが加わる。

補足:ガンマ分布からベータ分布になる理由

ここからは、上で使った分布の性質を密度の式から確認する。比較確率の意味と計算方法を理解するのが目的なら、次の「解説:個人の比較は、予測確率を掛けて足す」へ進んでよい。

まず、定数倍でrateが1になる理由を確認する。 θ1\theta_1 の密度は 112219θ1218e−112θ1/Γ(219)112^{219}\theta_1^{218}e^{-112\theta_1}/\Gamma(219) である。ここで Γ\Gamma はガンマ関数で、正の整数 mm に対して Γ(m)=(m−1)!\Gamma(m)=(m-1)! となる。

変換後の値を u=112θ1u=112\theta_1 とする。 uu の幅 dudu に対応する元の幅は dθ1=du/112d\theta_1=du/112 なので、同じ範囲の確率を保つには密度を 1/1121/112 倍する必要がある。したがって、

pU(u)=112219Γ(219)(u112)218e−u1112=u218e−uΓ(219).p_U(u) =\frac{112^{219}}{\Gamma(219)} \left(\frac{u}{112}\right)^{218}e^{-u}\frac1{112} =\frac{u^{218}e^{-u}}{\Gamma(219)}.

となり、rateが1のガンマ密度を得る。 V=45θ2V=45\theta_2 も同じ手順で gamma⁡(68,1)\operatorname{gamma}(68,1) に従うことがわかる。

次に、合計 T=U+VT=U+V と、その合計のうち UU が占める割合 Z=U/(U+V)Z=U/(U+V) に変数を変える。二つの数を「合計」と「配分」に言い換える操作である。例えば、 U=224,V=67.5U=224,V=67.5 なら、 T=291.5,Z=224/291.5T=291.5,Z=224/291.5 である。

逆に、合計と配分がわかれば、 U=ZT,V=(1−Z)TU=ZT,V=(1-Z)T で元に戻せる。取りうる範囲は 0<Z<1,T>00<Z<1,T>0 である。密度の式では、小文字の z,tz,t をそれぞれの候補の値として使う。

1変数の変換では幅の補正が必要だった。同様に、2変数では面積の補正が必要になる。 (z,t)(z,t) の小さな領域を (u,v)(u,v) の領域に戻したとき、面積が何倍になるかを表す係数を ヤコビアンの絶対値 という。今回は次の計算から、その係数が tt になる。

∣det⁡(∂u/∂z∂u/∂t∂v/∂z∂v/∂t)∣=∣det⁡(tz−t1−z)∣=∣t(1−z)+tz∣=t.\left\lvert\det \begin{pmatrix} \partial u/\partial z & \partial u/\partial t\\ \partial v/\partial z & \partial v/\partial t \end{pmatrix}\right\rvert =\left\lvert\det\begin{pmatrix}t&z\\-t&1-z\end{pmatrix}\right\rvert =|t(1-z)+tz|=t.

独立な U,VU,V の密度を掛け、変数を代入してこの tt を掛けると、

pZ,T(z,t)=(zt)218e−zt((1−z)t)67e−(1−z)tΓ(219)Γ(68) t=z218(1−z)67t286e−tΓ(219)Γ(68).\begin{aligned} p_{Z,T}(z,t) &=\frac{(zt)^{218}e^{-zt}((1-z)t)^{67}e^{-(1-z)t}} {\Gamma(219)\Gamma(68)}\,t\\ &=\frac{z^{218}(1-z)^{67}t^{286}e^{-t}}{\Gamma(219)\Gamma(68)}. \end{aligned}

最後の行では、 zz に関係する部分と tt に関係する部分が分かれている。ここで tt の指数は 218+67+1=286218+67+1=286 である。末尾の +1+1 は面積の補正から生じる。また、指数関数は e−zte−(1−z)t=e−te^{-zt}e^{-(1-z)t}=e^{-t} とまとまる。

知りたいのは割合 ZZ だけなので、合計 TT が取りうるすべての値について密度を積分する。これが「 TT を積分して取り除く」という操作の意味である。ガンマ関数の定義から ∫0∞t286e−t dt=Γ(287)\int_0^\infty t^{286}e^{-t}\,dt=\Gamma(287) なので、

pZ(z)=Γ(287)Γ(219)Γ(68)z219−1(1−z)68−1.p_Z(z)=\frac{\Gamma(287)}{\Gamma(219)\Gamma(68)} z^{219-1}(1-z)^{68-1}.

となる。この式は beta⁡(219,68)\operatorname{beta}(219,68) の密度そのものである。

rateをそろえた理由も、この計算からわかる。共通のrateが1なので、指数関数の部分が e−te^{-t} となり、割合 zz がそこから消える。元の θ1,θ2\theta_1,\theta_2 はrateが異なるため、この性質をそのまま使って θ1/(θ1+θ2)\theta_1/(\theta_1+\theta_2) がベータ分布だと置くことはできない。

解説:個人の比較は、予測確率を掛けて足す

次の個数の予測確率を p1(k),p2(k)p_1(k),p_2(k) と書く。群間の独立性により、

Pr⁡(Y~1>Y~2∣∣y1⟩,∣y2⟩)=∑k=0∞p1(k)Pr⁡(Y~2≤k−1∣∣y1⟩,∣y2⟩),Pr⁡(Y~1=Y~2∣∣y1⟩,∣y2⟩)=∑k=0∞p1(k)p2(k).\begin{aligned} \Pr(\widetilde Y_1>\widetilde Y_2\mid\ket{y_1},\ket{y_2}) &=\sum_{k=0}^{\infty}p_1(k)\Pr(\widetilde Y_2\le k-1\mid\ket{y_1},\ket{y_2}),\\ \Pr(\widetilde Y_1=\widetilde Y_2\mid\ket{y_1},\ket{y_2}) &=\sum_{k=0}^{\infty}p_1(k)p_2(k). \end{aligned}

例えば群1の結果が2なら、群2の結果が0か1であるときだけ「群1のほうが多い」に数える。予測確率表の値を入れると、この場合の寄与は

p1(2){p2(0)+p2(1)}≈0.26930707(0.22434603+0.33164195)≈0.149731.p_1(2)\{p_2(0)+p_2(1)\} \approx0.26930707(0.22434603+0.33164195) \approx0.149731.

つまり、「群1が2人で、群2がそれより少ない」という組合せだけで、約14.97%の確率がある。これを群1が1人、3人、4人、…の場合についても足す。群1が0人なら、それより少ない個数はないので寄与は0である。群2の累積分布を cdf(k - 1) とするのは、同数を除くためである。

import numpy as np
from scipy.stats import nbinom

p1 = nbinom(219, 112 / 113)
p2 = nbinom(68, 45 / 46)
upper = int(max(p1.ppf(1 - 1e-14), p2.ppf(1 - 1e-14)))
k = np.arange(upper + 1)
greater = np.dot(p1.pmf(k), p2.cdf(k - 1))
equal = np.dot(p1.pmf(k), p2.pmf(k))
less = np.dot(p1.pmf(k), p2.sf(k))
print(greater, equal, less)
# 0.482089468484..., 0.217675262050..., 0.300235269466...

この計算では k=20k=20 まで足せば、省略した群1の裾確率は 8.49×10−158.49\times10^{-15} 未満である。「大きい」「等しい」「小さい」の確率の和も数値誤差の範囲で1になる。大卒未満のほうが多い確率が0.5未満でも、反対向きの約0.3002より大きいことに矛盾はない。同数となる確率が約0.2177あるためである。

平均が高い集団から選んでも、個人の結果は逆転する

ここで、考えている対象の違いを小さな場面に置き換える。次の図は実データではなく、4人ずつの子供の数を並べた説明用の有限集団である。各人物は1人、下の数はその人の子供の人数を表す。矢印は示された2人を選んだ場合の対応を表し、時間の変化や因果関係を表すものではない。

説明用の集団A:平均2人
A1:0人
A2:2人
A3:3人
A4:3人
この場合はA1を選ぶ → 0人
説明用の集団B:平均1.5人
B1:0人
B2:1人
B3:2人
B4:3人
この場合はB4を選ぶ → 3人
集団平均は A > B でも、この2人では A1 < B4 となる。
概念図:平均を完全に知っていても、そこから選んだ個人の大小関係は別の問題である。数値は説明用である。

この図では母平均をすでに知っている。それでも、個人を選ぶと逆転しうる。したがって、母平均の推定精度を上げるだけでは、個人の結果が確実に予測できるようにはならない。

実データでも、群1の母平均の事後標準偏差は約0.1321だが、次の1人の子供の数の予測標準偏差は約1.4046である。群2ではそれぞれ約0.1832と約1.2429になる。事後平均の差は約0.4442人であり、個人のばらつきより小さい。

「母平均に差がある確率」「差の大きさ」「次の個人同士で大小がどうなるか」は、互いに関連するが別の問いである。データ分析では、どの問いに答えたいかを先に明確にすることが重要である。

3.3 指数型分布族と共役事前分布

ここまでの二つの更新則では、どちらも「事前の重みと合計に、観測した重みと合計を足す」という形が現れた。この節は、その共通する仕組みを一つの式にまとめる。新しい予測方法を追加するというより、なぜ同じような計算が繰り返し現れたのかを理解する節である。

本章で説明した二項モデルとポアソンモデルは、どちらも一次元指数型分布族(exponential family of distributions)の例である。一次元指数型分布族とは、密度を

p(y∣ϕ)=h(y)c(ϕ)eϕt(y)p(y\mid\phi)=h(y)c(\phi)e^{\phi t(y)}

のように表すことができるモデルのことである。ただし、 ϕ\phi は未知パラメータで、 t(y)t(y) は十分統計量である。

各部品は次の役割をもつ。 ϕ\phi は自然パラメータとも呼ばれ、元の θ\theta を計算しやすい尺度に変換したものである。指数型分布族は「指数分布」だけを指す名前ではない。

部品 役割 ベルヌーイ分布 ポアソン分布
h(y)h(y) データだけに依存する係数 11 1/y!1/y!
t(y)t(y) パラメータ推測に使うデータの要約 yy yy
ϕ\phi データの要約に掛かるパラメータ log⁡{θ/(1−θ)}\log\{\theta/(1-\theta)\} log⁡θ\log\theta
c(ϕ)c(\phi) 分布を正規化するパラメータ側の項 (1+eϕ)−1(1+e^\phi)^{-1} exp⁡(−eϕ)\exp(-e^\phi)

一つの観測に対する要約が t(y)t(y) で、 nn 個の条件付き独立な観測 ∣y⟩=(y(1),…,y(n))T\ket{y}=(y^{(1)},\ldots,y^{(n)})^{\mathsf{T}} に対する要約は ∑it(y(i))\sum_i t(y^{(i)}) になる。実際、尤度を掛け合わせると

p(∣y⟩∣ϕ)=[∏ih(y(i))]c(ϕ)nexp⁡{ϕ∑it(y(i))}.p(\ket{y}\mid\phi) =\left[\prod_i h(y^{(i)})\right]c(\phi)^n \exp\left\{\phi\sum_i t(y^{(i)})\right\}.

この式のうち、 ϕ\phi に依存する部分にデータが入るのは、 nn と ∑it(y(i))\sum_i t(y^{(i)}) だけである。指数型分布族の十分統計量と共役性は、この形から同時に見えてくる。以下は支持域がパラメータに依存しない通常の正則な設定で考える。Diaconis and Ylvisaker (1979) は一般的な指数型分布族に対する共役事前分布が、特に

p(ϕ∣n0,t0)=κ(n0,t0)c(ϕ)n0en0t0ϕp(\phi\mid n_0,t_0) =\kappa(n_0,t_0)c(\phi)^{n_0}e^{n_0t_0\phi}

の形で与えられることを示した。ここで κ(n0,t0)\kappa(n_0,t_0) は、 ϕ\phi について密度を積分したときに1にするための定数である。尤度と同じく c(ϕ)c(\phi) のべき乗と ee の指数関数を持たせることが、共役更新の仕組みである。

ここでは n0>0n_0>0 を事前の重み、 t0t_0 を事前に想定する t(Y)t(Y) の平均として選ぶ。ただし、その選び方で積分が有限になる必要がある。ベルヌーイ・ポアソンの場合の条件は後で確認する。データを加えた事後分布は次のようになる。

p(ϕ∣∣y⟩)∝p(ϕ)p(∣y⟩∣ϕ)∝{c(ϕ)n0en0t0ϕ}{c(ϕ)neϕ∑it(y(i))}∝c(ϕ)n0+nexp⁡{ϕ×[n0t0+∑i=1nt(y(i))]}∝p(ϕ∣n0+n,n0t0+ntˉn0+n).\begin{aligned} p(\phi\mid \ket{y}) &\propto p(\phi)p(\ket{y}\mid\phi)\\ &\propto\left\{c(\phi)^{n_0}e^{n_0t_0\phi}\right\} \left\{c(\phi)^n e^{\phi\sum_i t(y^{(i)})}\right\}\\ &\propto c(\phi)^{n_0+n} \exp\left\{\phi\times\left[n_0t_0+\sum_{i=1}^nt(y^{(i)})\right]\right\}\\ &\propto p\left(\phi\mid n_0+n,\frac{n_0t_0+n\bar t}{n_0+n}\right). \end{aligned}

ただし、 tˉ=∑t(y(i))/n\bar t=\sum t(y^{(i)})/n とする。

解説:一般形でも、掛け算は「重み」と「合計」の足し算になる

事前の c(ϕ)c(\phi) の指数は n0n_0 、尤度の指数は nn なので、掛け合わせると n0+nn_0+n になる。同様に、 ϕ\phi に掛かる量は n0t0+∑it(y(i))n_0t_0+\sum_i t(y^{(i)}) になる。したがって、更新後のパラメータを

n0post=n0+n,t0post=n0t0+∑it(y(i))n0+nn_0^{\text{post}}=n_0+n, \qquad t_0^{\text{post}}=\frac{n_0t_0+\sum_i t(y^{(i)})}{n_0+n}

と定義すれば、事前と同じ形式に戻る。

例えばベルヌーイモデルで、事前を「重み5、成功率0.6」と表すなら、 n0=5,t0=0.6n_0=5,t_0=0.6 である。5人中1人の成功を観測すると、更新後は重み10、成功率 (5×0.6+1)/10=0.4(5\times0.6+1)/10=0.4 になる。これは先の beta⁡(3,2)→beta⁡(4,6)\operatorname{beta}(3,2)\to\operatorname{beta}(4,6) と同じ計算である。

また、ポアソンモデルで n0=1,t0=2n_0=1,t_0=2 とし、3人の合計4を観測すると、重み4、平均 (1×2+4)/4=1.5(1\times2+4)/4=1.5 になる。これも先の gamma⁡(2,1)→gamma⁡(6,4)\operatorname{gamma}(2,1)\to\operatorname{gamma}(6,4) と一致する。

更新後の平均に現れる n0t0n_0t_0 は、「事前の重み × 事前平均」という合計に相当する。ここまでの数値例から、 n0n_0 を「事前のサンプルサイズ」と呼ぶ理由が見える。さらに t0t_0 が実際に期待値になることも、条件を満たせば示せる。教科書では、Diaconis and Ylvisaker (1979) の結果として次の関係を紹介している。

E[t(Y)]=E[E[t(Y)∣ϕ]]=E[−c′(ϕ)/c(ϕ)]=t0\begin{aligned} \mathrm{E}[t(Y)] &=\mathrm{E}[\mathrm{E}[t(Y)\mid\phi]]\\ &=\mathrm{E}[-c'(\phi)/c(\phi)] =t_0 \end{aligned}

最初の等号は、 ϕ\phi がわかった場合の平均を、さらに事前分布で平均するという全期待値の公式である。 n0n_0 が整数で、平均が t0t_0 となる仮想的な観測を n0n_0 個用意できるなら、その尤度の ϕ\phi に依存する部分は c(ϕ)n0en0t0ϕc(\phi)^{n_0}e^{n_0t_0\phi} となる。事前密度はこれと同じ形なので、「 n0n_0 個分の重み」という解釈ができる。実際に過去の観測が存在する必要はなく、 n0n_0 が小数でも式は使える。

解説: t0t_0 が事前期待値になる理由

この部分は微分を使った補足である。先に結論を言えば、 ϕ\phi を固定したときの t(Y)t(Y) の平均を、事前分布でさらに平均すると t0t_0 になる 。その計算を二段階で確認する。 c′(ϕ)c'(\phi) は c(ϕ)c(\phi) の微分であり、 c′(ϕ)/c(ϕ)c'(\phi)/c(\phi) は log⁡c(ϕ)\log c(\phi) の微分である。

まず、 ϕ\phi を固定した条件付き平均を求める。離散分布では、すべての結果の確率を足すと1になるので、

1=c(ϕ)∑yh(y)eϕt(y)1=c(\phi)\sum_y h(y)e^{\phi t(y)}

である。積の微分の公式を使うと、

0=c′(ϕ)∑yh(y)eϕt(y)+c(ϕ)∑yh(y)t(y)eϕt(y).0=c'(\phi)\sum_y h(y)e^{\phi t(y)} +c(\phi)\sum_y h(y)t(y)e^{\phi t(y)}.

第一項では ∑yh(y)eϕt(y)=1/c(ϕ)\sum_y h(y)e^{\phi t(y)}=1/c(\phi) を使う。第二項では c(ϕ)h(y)eϕt(y)=p(y∣ϕ)c(\phi)h(y)e^{\phi t(y)}=p(y\mid\phi) と戻す。この二つの置き換えにより、

0=c′(ϕ)c(ϕ)+∑yt(y)p(y∣ϕ)=c′(ϕ)c(ϕ)+E[t(Y)∣ϕ]0=\frac{c'(\phi)}{c(\phi)}+\sum_y t(y)p(y\mid\phi) =\frac{c'(\phi)}{c(\phi)}+\mathrm{E}[t(Y)\mid\phi]

を得る。したがって、 E[t(Y)∣ϕ]=−c′(ϕ)/c(ϕ)\mathrm{E}[t(Y)\mid\phi]=-c'(\phi)/c(\phi) である。連続分布では和を積分に置き換える。

さらに、共役事前密度の対数を微分すると

ddϕlog⁡p(ϕ)=n0{c′(ϕ)c(ϕ)+t0}.\frac{d}{d\phi}\log p(\phi) =n_0\left\{\frac{c'(\phi)}{c(\phi)}+t_0\right\}.

次に、両辺を事前分布で平均する。左辺が0になる理由を省略せずに書くと、

E[ddϕlog⁡p(ϕ)]=∫p′(ϕ)p(ϕ)p(ϕ) dϕ=∫p′(ϕ) dϕ=[p(ϕ)]左端右端=0.\begin{aligned} \mathrm{E}\left[\frac{d}{d\phi}\log p(\phi)\right] &=\int\frac{p'(\phi)}{p(\phi)}p(\phi)\,d\phi\\ &=\int p'(\phi)\,d\phi =[p(\phi)]_{\text{左端}}^{\text{右端}}=0. \end{aligned}

最後の等号には、積分の両端で密度が0になるという条件を使う。この章のベルヌーイ・ポアソンの ϕ\phi では端は −∞,+∞-\infty,+\infty であり、適切な事前パラメータのもとでこの条件を満たす。また、途中の微分と和・積分の交換や、期待値の存在も必要である。これらの条件のもとで右辺の期待値も0だから、

0=n0{E[c′(ϕ)c(ϕ)]+t0}⟹E[−c′(ϕ)c(ϕ)]=t0.0=n_0\left\{\mathrm{E}\left[\frac{c'(\phi)}{c(\phi)}\right]+t_0\right\} \quad\Longrightarrow\quad \mathrm{E}\left[-\frac{c'(\phi)}{c(\phi)}\right]=t_0.

内側の −c′/c-c'/c は、第一段階で求めた条件付き平均 E[t(Y)∣ϕ]\mathrm{E}[t(Y)\mid\phi] である。したがって、それを事前分布で平均した値が t0t_0 になる。事前平均という呼び方は、この計算に裏付けられている。

例えばベルヌーイ分布では −c′/c=eϕ/(1+eϕ)=θ-c'/c=e^\phi/(1+e^\phi)=\theta 、ポアソン分布では −c′/c=eϕ=θ-c'/c=e^\phi=\theta である。どちらも t0=E[θ]t_0=\mathrm{E}[\theta] になる。

適切な事前分布を作るにはパラメータの条件も必要である。ここで扱うベルヌーイモデルでは n0>0,0<t0<1n_0>0,0<t_0<1 、ポアソンモデルでは n0>0,t0>0n_0>0,t_0>0 とする。「事前のサンプルサイズ」は小数でもよく、実際の標本を整数個集めたことを必ず意味するわけではない。

例:二項モデル

二項モデルの基礎となるベルヌーイモデル、すなわち試行数1の二項分布の指数型分布族としての表現は、二値確率変数の確率質量関数から得られる。

p(y∣θ)=θy(1−θ)1−y=(θ1−θ)y(1−θ)=eϕy(1+eϕ)−1.\begin{aligned} p(y\mid\theta) &=\theta^y(1-\theta)^{1-y}\\ &=\left(\frac{\theta}{1-\theta}\right)^y(1-\theta)\\ &=e^{\phi y}(1+e^\phi)^{-1}. \end{aligned}

ただし、 ϕ=log⁡[θ/(1−θ)]\phi=\log[\theta/(1-\theta)] は対数オッズである。 ϕ\phi に対する共役事前分布は

p(ϕ∣n0,t0)∝(1+eϕ)−n0en0t0ϕp(\phi\mid n_0,t_0)\propto(1+e^\phi)^{-n_0}e^{n_0t_0\phi}

で与えられる。ここで、 t0t_0 は t(y)=yt(y)=y の事前期待値であり、これは Y=1Y=1 となる事前確率と同値である。変数変換の公式(演習問題3.10)により、 θ\theta の事前分布は

p(θ∣n0,t0)∝θn0t0−1(1−θ)n0(1−t0)−1p(\theta\mid n_0,t_0) \propto \theta^{n_0t_0-1}(1-\theta)^{n_0(1-t_0)-1}

の形に変換できる。これはベータ分布 beta⁡(n0t0,n0(1−t0))\operatorname{beta}(n_0t_0,n_0(1-t_0)) である。 t0t_0 を事前期待値と同じ値にし、 n0=1n_0=1 に設定することにより、弱情報事前分布(weakly informative prior distribution)が得られる。事前期待値が 1/21/2 の場合、結果の事前分布はベータ分布 beta⁡(1/2,1/2)\operatorname{beta}(1/2,1/2) になる。これは二項モデルのジェフリーズの事前分布(Jeffreys’ prior distribution)と同等なものである(演習問題3.11)。弱情報事前分布 beta⁡(t0,1−t0)\operatorname{beta}(t_0,1-t_0) のもとで、事後分布は

θ∣∣y⟩∼beta⁡(t0+∑y(i),(1−t0)+∑(1−y(i)))\theta\mid \ket{y} \sim\operatorname{beta}\left(t_0+\sum y^{(i)},(1-t_0)+\sum(1-y^{(i)})\right)

となる。

解説:対数オッズと、変数変換で現れる「−1」

オッズは成功確率と失敗確率の比である。例えば θ=0.8\theta=0.8 ならオッズは 0.8/0.2=40.8/0.2=4 、対数オッズは ϕ=log⁡4≈1.386294\phi=\log4\approx1.386294 となる。逆変換は

θ=eϕ1+eϕ.\theta=\frac{e^\phi}{1+e^\phi}.

θ\theta は0から1の間に限られるが、 ϕ\phi は実数全体を動ける。

密度を別の変数で表すときは、式に変数を代入するだけでは足りない。幅が変わるためである。確率の面積を保つには、

pθ(θ)=pϕ(ϕ(θ))∣dϕdθ∣p_\theta(\theta)=p_\phi(\phi(\theta)) \left\lvert\frac{d\phi}{d\theta}\right\rvert

とする。対数オッズの導関数は

dϕdθ=1θ+11−θ=1θ(1−θ).\frac{d\phi}{d\theta} =\frac1\theta+\frac1{1-\theta} =\frac1{\theta(1-\theta)}.

一方、事前密度に eϕ=θ/(1−θ)e^\phi=\theta/(1-\theta) を代入しただけの部分は

(1+eϕ)−n0en0t0ϕ=θn0t0(1−θ)n0(1−t0)(1+e^\phi)^{-n_0}e^{n_0t_0\phi} =\theta^{n_0t_0}(1-\theta)^{n_0(1-t_0)}

になる。ここに導関数の絶対値を掛けるので、両方の指数が1ずつ減る。

pθ(θ)∝θn0t0−1(1−θ)n0(1−t0)−1.p_\theta(\theta) \propto\theta^{n_0t_0-1}(1-\theta)^{n_0(1-t_0)-1}.

これが本文でベータ分布になる理由である。ヤコビアンを忘れると、第一・第二引数をそれぞれ1大きくしてしまう。例えば n0=5,t0=0.6n_0=5,t_0=0.6 なら、正しくは beta⁡(3,2)\operatorname{beta}(3,2) であり、 beta⁡(4,3)\operatorname{beta}(4,3) ではない。

解説:「弱情報」と一様分布は同じではない

本文の n0=1,t0=1/2n_0=1,t_0=1/2 は beta⁡(1/2,1/2)\operatorname{beta}(1/2,1/2) を与える。この分布は補助図で見たように両端で密度が高く、一様ではない。重み n0n_0 が小さいことと、どの値も同じ密度にすることは別である。弱情報かどうかの実質的な意味は、データの規模や関心のある領域にも依存する。

ジェフリーズ事前分布との対応も、微分から確かめられる。これは、パラメータの値によってデータの分布がどれほど変わりやすいかを表す フィッシャー情報 の平方根を、事前密度の形に使う方法である。ここでは名前だけで済ませず、必要な計算を示す。

1回のベルヌーイ観測の対数尤度を ℓ(θ;Y)\ell(\theta;Y) と書く。対数尤度を θ\theta で微分した量を スコア と呼ぶ。

ℓ(θ;Y)=Ylog⁡θ+(1−Y)log⁡(1−θ),∂ℓ∂θ=Yθ−1−Y1−θ=Y(1−θ)−(1−Y)θθ(1−θ)=Y−θθ(1−θ).\begin{aligned} \ell(\theta;Y)&=Y\log\theta+(1-Y)\log(1-\theta),\\ \frac{\partial\ell}{\partial\theta} &=\frac Y\theta-\frac{1-Y}{1-\theta} =\frac{Y(1-\theta)-(1-Y)\theta}{\theta(1-\theta)} =\frac{Y-\theta}{\theta(1-\theta)}. \end{aligned}

ここでのフィッシャー情報は、スコアの二乗を、 θ\theta を固定した観測分布で平均した量である。 E[Y∣θ]=θ\mathrm{E}[Y\mid\theta]=\theta だから、分子の E[(Y−θ)2∣θ]\mathrm{E}[(Y-\theta)^2\mid\theta] はベルヌーイ分布の分散に等しい。したがって、

I(θ)=E[(∂ℓ∂θ)2∣θ]=Var⁡(Y∣θ)θ2(1−θ)2=1θ(1−θ).I(\theta)=\mathrm{E}\left[\left(\frac{\partial\ell}{\partial\theta}\right)^2\mid\theta\right] =\frac{\operatorname{Var}(Y\mid\theta)}{\theta^2(1-\theta)^2} =\frac1{\theta(1-\theta)}.

ジェフリーズ事前はこの平方根に比例するので、

pJ(θ)∝θ−1/2(1−θ)−1/2,p_J(\theta)\propto\theta^{-1/2}(1-\theta)^{-1/2},

すなわち beta⁡(1/2,1/2)\operatorname{beta}(1/2,1/2) になる。この事前のもとで10人中2人の成功を観測すれば、事後は beta⁡(2.5,8.5)\operatorname{beta}(2.5,8.5) 、事後平均は 2.5/11≈0.2272732.5/11\approx0.227273 である。一様事前の事後平均 3/12=0.253/12=0.25 より、標本比率0.2に近い。

例:ポアソンモデル

ポアソンモデル Poisson⁡(θ)\operatorname{Poisson}(\theta) は以下のようにおくと、指数型分布族になることが示される。

  • t(y)=yt(y)=y 、
  • ϕ=log⁡θ\phi=\log\theta 、
  • c(ϕ)=exp⁡(−eϕ)c(\phi)=\exp(-e^\phi) 。

したがって、 ϕ\phi に対する共役事前分布は

p(ϕ∣n0,t0)∝exp⁡(−n0eϕ)en0t0ϕp(\phi\mid n_0,t_0)\propto\exp(-n_0e^\phi)e^{n_0t_0\phi}

になる。ただし、 t0t_0 は YY の母集団平均の事前期待値である。この事前分布は

p(θ∣n0,t0)∝θn0t0−1e−n0θp(\theta\mid n_0,t_0) \propto\theta^{n_0t_0-1}e^{-n_0\theta}

のような θ\theta に対する事前分布に変換される。これは、ガンマ分布 gamma⁡(n0t0,n0)\operatorname{gamma}(n_0t_0,n_0) の密度関数である。弱情報事前分布 gamma⁡(t0,1)\operatorname{gamma}(t_0,1) のもとでの事後分布は

θ∣∣y⟩∼gamma⁡(t0+∑y(i),1+n)\theta\mid \ket{y} \sim\operatorname{gamma}\left(t_0+\sum y^{(i)},1+n\right)

となる。

解説:ポアソンでも変数変換の幅を忘れない

ポアソンモデルでは ϕ=log⁡θ\phi=\log\theta なので、 dϕ/dθ=1/θd\phi/d\theta=1/\theta である。したがって、

pθ(θ)∝exp⁡(−n0θ) θn0t01θ=θn0t0−1e−n0θ.\begin{aligned} p_\theta(\theta) &\propto\exp(-n_0\theta)\,\theta^{n_0t_0}\frac1\theta\\ &=\theta^{n_0t_0-1}e^{-n_0\theta}. \end{aligned}

形状が n0t0n_0t_0 、rateが n0n_0 のガンマ分布となり、平均は (n0t0)/n0=t0(n_0t_0)/n_0=t_0 、分散は t0/n0t_0/n_0 である。同じ平均のもとで n0n_0 を増やすと、母平均への確信が強くなる。

例えば n0=1,t0=2n_0=1,t_0=2 なら gamma⁡(2,1)\operatorname{gamma}(2,1) であり、出生率の例で用いた事前分布そのものである。 n0=10,t0=2n_0=10,t_0=2 とすれば gamma⁡(20,10)\operatorname{gamma}(20,10) となり、平均2を保ったまま分散は2から0.2へ減る。

なお、本文のポアソンの ϕ\phi に対する密度は、正規化定数を省略しているため等号ではなく比例記号で書いた。正規化定数を含めると

pϕ(ϕ∣n0,t0)=n0n0t0Γ(n0t0)exp⁡(−n0eϕ)en0t0ϕp_\phi(\phi\mid n_0,t_0) =\frac{n_0^{n_0t_0}}{\Gamma(n_0t_0)} \exp(-n_0e^\phi)e^{n_0t_0\phi}

である。密度に等号を使うときには、どの変数の密度で、どの正規化定数を含めているかを確認する。

本章の対応表

対象 二項・ベルヌーイモデル ポアソンモデル
未知の量 成功割合 0<θ<10<\theta<1 単位あたりの平均 θ>0\theta>0
データの要約 人数 nn 、成功数 ss 人数 nn 、個数の合計 ss
事前分布 beta⁡(a,b)\operatorname{beta}(a,b) gamma⁡(a,b)\operatorname{gamma}(a,b) 、 bb はrate
事後分布 beta⁡(a+s,b+n−s)\operatorname{beta}(a+s,b+n-s) gamma⁡(a+s,b+n)\operatorname{gamma}(a+s,b+n)
事後平均 (a+s)/(a+b+n)(a+s)/(a+b+n) (a+s)/(b+n)(a+s)/(b+n)
事前の重み a+ba+b bb
次の1人の予測 成功確率が事後平均のベルヌーイ 負の二項分布
一般形の n0,t0n_0,t_0 n0=a+b,t0=a/(a+b)n_0=a+b,t_0=a/(a+b) n0=b,t0=a/bn_0=b,t_0=a/b

この表を使うときも、パラメータの信用区間と、未観測の結果の予測分布を区別する。前者はデータが増えると狭くなる一方、後者には個々の観測のばらつきが残る。

Pythonによる再計算と出典

分析スクリプト output/ch3_examples.py が原データの集計、事後分布、信用区間、予測分布、群間比較を計算する。output/ch3_results.json に丸め前の主要結果を保存し、output/ch3_plots.py は同じ分析関数を呼び出して figs/plotly/ch3_*.html に16枚のグラフを出力する。乱数近似は使用していないため、モンテカルロ誤差はない。HPD端点の最適化、数値積分、無限和の打ち切りには数値誤差がある。

プロジェクトのルートから、次のコマンドで再実行できる。各スクリプトのPEP 723メタデータに依存ライブラリを記載しているので、uv run が必要な環境を用意する。

uv run output/ch3_examples.py
uv run output/ch3_plots.py
uv run python build.py

分析時には、人数と合計が教科書に一致すること、HPD領域の面積と端点密度、ガンマ・ポアソンの積分と負の二項分布の一致、ベータ混合とベータ二項分布の一致、母平均の比較を求める二つの計算法の一致を照合する。グラフはCDNからPlotly本体を読み込むため、表示にはインターネット接続を使う。

原データと抽出条件は以下のとおりである。

  • 教科書本文:docs/org/ch3.md。本ノートは提供本文の範囲である3.1〜3.3を対象とする。
  • 図の条件と比較対象:docs/data/Data-and-code-to-replicate-figures-and-numerical-results/chapter3.R。
  • データ:同ディレクトリの gss.RData。Pythonの rdata で読み込む。
  • 幸福度:YEAR == 1998、AGE >= 65、FEMALE == 1 を選び、HAPUNHAP の1〜4のみを残す。1・2を幸福、3・4を非幸福として集計する。欠損や8・9は除外する。
  • 子供の数:YEAR >= 1990、AGE == 40、FEMALE == 1 を選び、CHILDS と DEGREE の欠損を除外する。DEGREE < 3 と DEGREE >= 3 に分ける。
  • 元の R コードの gss$DEG は列名の部分一致によって DEGREE を参照する。Pythonでは列名を明示的に DEGREE と指定している。

Rの分布関数に対応するPythonの呼び方も整理しておく。

計算 Pythonでの呼び方
ベータ密度・分位点 beta.pdf(x, a, b)、beta.ppf(q, a, b)
二項確率 binom.pmf(y, n, p)
ポアソン確率 poisson.pmf(y, mu)
ガンマ密度・分位点 gamma.pdf(x, a, scale=1/b)、gamma.ppf(q, a, scale=1/b)
ガンマ混合のポアソン予測 nbinom.pmf(k, n=A, p=B/(B+1))
事後からの独立な乱数が必要な場合 rng.beta(A, B, size=...)、rng.gamma(shape=A, scale=1/B, size=...)

最後の行の rng は np.random.default_rng(20260919) などで作る。予測を乱数で再現する場合は、まず事後分布から θ\theta を生成し、次にその θ\theta を使って新たな結果を生成する。例えばポアソン予測なら次のようになる。

import numpy as np

rng = np.random.default_rng(20260919)
theta = rng.gamma(shape=219, scale=1 / 112, size=100_000)
future_children = rng.poisson(lam=theta)

これは一つの未観測値の予測分布を多数回生成するコードである。一方、同じ集団から未来の複数人をまとめて生成する場合には、一回の反復内で一つの θ\theta を共有する。人ごとに別の θ\theta を生成すると、本章の「共通の未知パラメータ」というモデルが変わってしまう。