第2章 信念・確率・交換可能性 — 数値例とPythonによる詳解

「まだわからないこと」を、どのように数値で表せばよいだろうか。たとえば、ある候補者の支持率を知りたいとき、調査前にも予想はある。そして100人に尋ねて54人が支持したなら、その結果を使って予想を更新したい。本章では、このような不確かさを確率で表し、観測した情報を使って更新するための道具を学ぶ。

前半では、確率の基本的な規則とベイズルールを、人数や割合に置き換えて考える。中盤では、回数のような離散的な値と、所得や割合のような連続的な値の扱いを学ぶ。後半では、「回答の順番を区別しない」という仮定が、未知の割合をもつベイズモデルにどうつながるかを考える。

本ノートは、提供された第2章本文の節構成、定義、数式、例、証明をできるだけ保ち、難所の直後に解説を織り込んだものである。教科書の歴史的な調査値と、理解のために追加する仮想例は区別する。読み違いにつながる境界条件や数学的な前提は、その場で明記する。教科書から引き継いだ数値計算では、等号の右側の小数も表示桁数で丸めた近似値である。

この章の中心的な問いは、 「未知の割合について、観測から学ぶ」とは何を計算することなのか である。まず確率を信念の表現として導入し、ベイズルールで更新の仕方を定める。次に確率変数と同時分布を使って、未知の割合と観測値を一つのモデルにまとめる。最後に、観測順序を特別扱いしない「交換可能性」が、事前分布と条件付き独立な標本モデルにつながることを見る。

記号 この章での意味 具体例
F,G,H,EF,G,H,E 真か偽かが決まる事象 大学卒である、成功回数が3である
Pr⁡(E∣H)\Pr(E\mid H) HH がわかったもとでの EE の確率 高所得層の中で大学卒の割合
YY と yy 未知の結果と、その候補値・観測値 成功回数 YY と観測した y=3y=3
θ\theta 未知のパラメータ 母集団の支持率
p(y∣θ)p(y\mid\theta) θ\theta を固定したときの観測モデル 支持率60%なら何人が支持するか
p(θ∣y)p(\theta\mid y) 観測後のパラメータの分布 54人が支持した後の支持率の不確かさ

記号の形は、後の章と共通の規約に従う。細字はスカラーを表し、ベクトルは ket ∣⋅⟩\ket{\cdot} 、行列は太字の大文字で書く(本章にはほとんど現れない)。添え字は位置で意味を分ける。上付きの (i)^{(i)} は 何番目の観測か を表し、例えば Y(3)Y^{(3)} は3人目の回答者の回答、 y(3)y^{(3)} はその観測値である。一方、下付きの添え字は 別々の変数や成分の区別 に使う。2.5節の Y1,Y2Y_1,Y_2 は「父親の職業」と「息子の職業」のような種類の違う二つの変数なので、下付きのまま書く。また、上付きの [s]^{[s]} はモンテカルロ法の何番目の標本かを表す(第4章以降で使う)。条件付けの縦棒 ∣\mid は、ほかの縦棒と区別しやすいよう太字で表示する。

図2.1〜2.3は著者の chapter2.R に基づく再現である。追加の数値グラフ7枚と概念図2枚を、対応する解説の近くに置く。計算はNumPyとSciPyで解析式と数値積分を用いて行い、図はPlotlyで生成する。この章の計算は積分や既知の分布で直接求められるため、MCMCによる近似は必要ない。

2.1 信念関数と確率

前章のはじめに、確率は合理的な信念を数値的に表現する方法であることを述べた。ここではその主張の証明は行わないが(Jaynes (2003) の第2章あるいは、Savage (1972) の第2章と第3章に詳しい説明がある)、数値的な信念にもたせたいくつかの性質が確率の性質であることを示す。

信念関数

F,G,HF, G, H を、世の中で起こりうる(重複を許す)三つの事象とする。たとえば、次のようなものが考えられる。

F={中央左派の候補者に投票する},G={収入が母集団の下側10%に位置する},H={大都市に住んでいる}.\begin{aligned} F &= \{\text{中央左派の候補者に投票する}\},\\ G &= \{\text{収入が母集団の下側10\%に位置する}\},\\ H &= \{\text{大都市に住んでいる}\}. \end{aligned}

Be( )\mathrm{Be}(\ ) を信念関数(belief function)、つまり数字が大きいほど信念の度合いが高くなるように、事象に数字を割り当てる関数とする。一部の哲学者は、信念を賭けの優先度合いに関連付けることによって、これをより具体的に説明しようとした。

  • Be(F)>Be(G)\mathrm{Be}(F) > \mathrm{Be}(G) は、 GG が真であることよりも FF が真であることに賭けることを優先することを意味する。

  • Be(F∣H)>Be(G∣H)\mathrm{Be}(F\mid H) > \mathrm{Be}(G\mid H) は、もし HH が真であることがわかっている場合に、 GG が真であることよりも、 FF が真であることに賭けることを優先することを意味する。

  • Be(F∣G)>Be(F∣H)\mathrm{Be}(F\mid G) > \mathrm{Be}(F\mid H) は、 FF に賭けることを余儀なくされた場合、 HH が真であるという条件の下よりも GG が真であるという条件の下で賭けることを優先することを意味する。

条件付き信念は「知っている情報」を明示する

Pr⁡(F∣H)\Pr(F\mid H) の縦棒は、「 HH の情報を利用したうえで」と読む。たとえば、ある人が大都市に住んでいると知る前と後では、その人の投票先について使える情報が違う。条件を付けるとは、同じ問いを、情報を増やして評価し直すことである。

信念の数値は、単なる好き嫌いや願望とは異なる。「当選してほしい」と「当選しそうだ」は別の判断であり、ここで扱うのは後者である。また、賭けの好みとの対応は、当たった場合の報酬などを揃えて比較するという理想化のもとで読む。現実の賭けでは、損失への態度も選択に影響するからである。

信念の公理

われわれの信念を数値的に表す関数は、次の特性をもつべきである、と主張されてきた。

B1 Be(H ではない∣H)≤Be(F∣H)≤Be(H∣H)\mathrm{Be}(H\text{ ではない}\mid H) \le \mathrm{Be}(F\mid H) \le \mathrm{Be}(H\mid H) .

B2 Be(F または G∣H)≥max⁡{Be(F∣H),Be(G∣H)}\mathrm{Be}(F\text{ または }G\mid H) \ge \max\{\mathrm{Be}(F\mid H),\mathrm{Be}(G\mid H)\} .

B3 Be(F かつ G∣H)\mathrm{Be}(F\text{ かつ }G\mid H) は Be(G∣H)\mathrm{Be}(G\mid H) と Be(F∣G かつ H)\mathrm{Be}(F\mid G\text{ かつ }H) から計算可能。

これらの性質をどのように解釈するべきであろうか。また、それらは合理的なのか。

B1 は、「ありえない」と「必ずそうである」の間に、すべての評価を置くという規則である。大都市に住んでいるとわかっている人について、「大都市に住んでいない」はありえず、「大都市に住んでいる」は確実である。「候補者を支持する」という判断は、その両端の間に置かれる。

B2 は、当たりと認める範囲を広げても、当たりやすさは下がらないという規則である。「支持者である」よりも「支持者である、または低所得者である」のほうが、該当する人の範囲は広い。ここでの「または」は、両方を満たす場合も含む。

B3 は、二つの条件を両方満たすかどうかを、二段階に分けて考えられるという規則である。大都市の住民について「低所得者であり、かつ支持者である」を考えるなら、まず低所得者であるかを考え、次にその低所得者の中で支持者であるかを考える。この段階では、二つの信念をどう組み合わせるかまでは指定していない。確率を使うと、その組み合わせが後述の掛け算になる。

確率の公理

次に、B1、B2、B3 を標準的な確率の公理と比較してみる。 F∪GF\cup G は「 FF または GG 」を意味し、 F∩GF\cap G は「 FF かつ GG 」を意味し、 ∅\emptyset は空集合であることを思い出そう。

P1

0=Pr⁡(H ではない∣H)≤Pr⁡(F∣H)≤Pr⁡(H∣H)=1.0=\Pr(H\text{ ではない}\mid H)\le \Pr(F\mid H)\le \Pr(H\mid H)=1.

P2 F∩G=∅F\cap G=\emptyset ならば、

Pr⁡(F∪G∣H)=Pr⁡(F∣H)+Pr⁡(G∣H).\Pr(F\cup G\mid H)=\Pr(F\mid H)+\Pr(G\mid H).

P3

Pr⁡(F∩G∣H)=Pr⁡(G∣H)Pr⁡(F∣G∩H).\Pr(F\cap G\mid H)=\Pr(G\mid H)\Pr(F\mid G\cap H).

P1、P2、P3 を満たす確率関数は、B1、B2、B3 も満たすことを確認されたい。したがって、確率関数を使用して信念を記述すると、信念の公理が満たされることになる。

数値例:掛け算の途中で、対象集団が変わる

説明用に、大都市の住民100人のうち、低所得者が20人、その低所得者のうち候補者を支持する人が12人とする。ここでは HH が「大都市」、 GG が「低所得」、 FF が「支持」である。

Pr⁡(G∣H)=20100=0.2,Pr⁡(F∣G∩H)=1220=0.6.\Pr(G\mid H)=\frac{20}{100}=0.2,\qquad \Pr(F\mid G\cap H)=\frac{12}{20}=0.6.

したがって、

Pr⁡(F∩G∣H)=0.2×0.6=0.12=12100.\Pr(F\cap G\mid H)=0.2\times0.6=0.12=\frac{12}{100}.

最初の割合は100人を分母とし、次の割合は20人を分母とする。掛けると途中の20人が約分され、全体に対する12人の割合に戻る。 積の法則P3そのものには、独立性の仮定は必要ない。

P2が排反の場合だけ足し算になっている理由も、人数でわかる。候補者支持者が50人、低所得者が20人、その両方が12人なら、「支持者または低所得者」は 50+20−12=5850+20-12=58 人である。よって一般には、

Pr⁡(F∪G∣H)=Pr⁡(F∣H)+Pr⁡(G∣H)−Pr⁡(F∩G∣H)=0.50+0.20−0.12=0.58.\Pr(F\cup G\mid H) =\Pr(F\mid H)+\Pr(G\mid H)-\Pr(F\cap G\mid H) =0.50+0.20-0.12=0.58.

同じ12人を二重に数えないように引くのである。また、 F∪GF\cup G は FF も GG も含むため、その確率はそれぞれの確率以上となり、B2が確かめられる。

ここで示したのは「確率ならB1〜B3を満たす」という方向である。列挙したB1〜B3だけから、確率による表現の唯一性まで証明したわけではない。なお、事象を条件にする確率の比の定義では、 Pr⁡(H)>0\Pr(H)>0 を仮定する。P3の右端の条件付き確率には Pr⁡(G∩H)>0\Pr(G\cap H)>0 も必要となる。連続変数の値で条件付ける場合は、2.5節で別に説明する。

2.2 事象、分割、ベイズルール

定義1(分割)。 集合族 {H1,…,HK}\{H_1,\ldots,H_K\} が(それらとは別の)集合 H\mathcal H の分割であるとは、以下の二つが成り立つことをいう。

  1. 事象は互いに排反である。これを、 Hi∩Hj=∅ (i≠j)H_i\cap H_j=\emptyset\ (i\ne j) と書く。

  2. 集合 H1,…,HKH_1,\ldots,H_K の和集合は H\mathcal H である。これを、 ⋃k=1KHk=H\bigcup_{k=1}^{K}H_k=\mathcal H と書く。

つまり、分割とは、すべての可能性を「必ずどれか一つに入り、二つ以上には入らない」グループに分けることである。 KK はグループの数、添字 kk はその番号を表す。

例

  • H\mathcal H を宗教的志向とするとき、分割には次のようなものが含まれる。

    • {プロテスタント、カトリック、ユダヤ、その他、なし}\{\text{プロテスタント、カトリック、ユダヤ、その他、なし}\} 。

    • {キリスト教信者、キリスト教の非信者}\{\text{キリスト教信者、キリスト教の非信者}\} 。

    • {無神論者、一神教者、多神教者}\{\text{無神論者、一神教者、多神教者}\} 。

  • H\mathcal H を子供の数とするとき、分割には次のようなものが含まれる。

    • {0,1,2,3,あるいはそれ以上}\{0,1,2,3,\text{あるいはそれ以上}\} 。

    • {0,1,2,3,4,5,6,…}\{0,1,2,3,4,5,6,\ldots\} 。

  • 特定の母集団における喫煙と高血圧の関係を H\mathcal H とするとき、分割には次のものが含まれる。

    • {いくらかの関係がある、全く関係はない}\{\text{いくらかの関係がある、全く関係はない}\} 。

    • {負の相関、無相関、正の相関}\{\text{負の相関、無相関、正の相関}\} 。

分割とは「重ならず、取りこぼさない」分類である

子供の人数なら、 {0}\{0\} 、 {1}\{1\} 、 {2}\{2\} 、 {3,4,…}\{3,4,\ldots\} は分割である。一方、「2人以下」と「2人以上」では2人が両方に入ってしまう。そこで「2人以下」と「3人以上」にすれば、重複がなくなる。

宗教などの分類も、回答規則を決めて初めて厳密な分割になる。複数回答を許す場合や、不可知論などを分類しきれない場合には、上の名称を並べるだけでは分割にならない。「その他」や単一回答の規則が必要である。また、「無相関」は線形な関係がないという意味であり、あらゆる依存関係がないことと同じではない。

分割と確率

{H1,…,HK}\{H_1,\ldots,H_K\} を H\mathcal H の分割、 Pr⁡(H)=1\Pr(\mathcal H)=1 、 EE をある特定の事象とする。確率の公理より次のことが導かれる。

全確率の法則:

∑k=1KPr⁡(Hk)=1.\sum_{k=1}^{K}\Pr(H_k)=1.

周辺確率の法則:

Pr⁡(E)=∑k=1KPr⁡(E∩Hk)=∑k=1KPr⁡(E∣Hk)Pr⁡(Hk).\Pr(E)=\sum_{k=1}^{K}\Pr(E\cap H_k)=\sum_{k=1}^{K}\Pr(E\mid H_k)\Pr(H_k).

ベイズルール:

Pr⁡(Hj∣E)=Pr⁡(E∣Hj)Pr⁡(Hj)Pr⁡(E)=Pr⁡(E∣Hj)Pr⁡(Hj)∑k=1KPr⁡(E∣Hk)Pr⁡(Hk).\Pr(H_j\mid E) =\frac{\Pr(E\mid H_j)\Pr(H_j)}{\Pr(E)} =\frac{\Pr(E\mid H_j)\Pr(H_j)}{\sum_{k=1}^{K}\Pr(E\mid H_k)\Pr(H_k)}.

三つの式は「場合分け・掛け算・割り算」でつながる

まず、 EE が起きる場合を、どのグループ HkH_k に属するかで分ける。たとえば K=2K=2 なら、 EE は「 EE と H1H_1 が両方起きる場合」と「 EE と H2H_2 が両方起きる場合」に分かれる。二つは重ならないので、P2により足し算できる。

Pr⁡(E)=Pr⁡(E∩H1)+Pr⁡(E∩H2).\Pr(E)=\Pr(E\cap H_1)+\Pr(E\cap H_2).

次に、各項に積の法則を使う。「グループに属する確率」に「そのグループ内で EE が起きる確率」を掛けるのである。

Pr⁡(E)=Pr⁡(H1)Pr⁡(E∣H1)+Pr⁡(H2)Pr⁡(E∣H2).\Pr(E) =\Pr(H_1)\Pr(E\mid H_1)+\Pr(H_2)\Pr(E\mid H_2).

これを KK 個のグループについて書いたものが、上の総和 ∑k=1K\sum_{k=1}^K の式である。総和記号は、 k=1,2,…,Kk=1,2,\ldots,K を順番に代入して足すことを表す。

最後に、 EE が起きたとわかった後の HjH_j の確率を求める。条件付き確率の定義から出発して、分子を積の法則で書き換える。

Pr⁡(Hj∣E)=Pr⁡(Hj∩E)Pr⁡(E)=Pr⁡(Hj)Pr⁡(E∣Hj)Pr⁡(E)=Pr⁡(Hj)Pr⁡(E∣Hj)∑k=1KPr⁡(Hk)Pr⁡(E∣Hk).\begin{aligned} \Pr(H_j\mid E) &=\frac{\Pr(H_j\cap E)}{\Pr(E)}\\ &=\frac{\Pr(H_j)\Pr(E\mid H_j)}{\Pr(E)}\\ &=\frac{\Pr(H_j)\Pr(E\mid H_j)} {\sum_{k=1}^K\Pr(H_k)\Pr(E\mid H_k)}. \end{aligned}

分子は一つのグループの寄与、分母はすべてのグループの寄与の合計である。このため、事後確率を全グループについて足せば1になる。ここでは条件付き確率を使う各グループの確率と、観測する事象 EE の確率が正であるとする。

例

ベイズルールの分子は「仮説 HjH_j が真であり、かつ結果 EE が起きる」確率である。分母は「仮説を問わず結果 EE が起きる」確率である。つまり、 結果 EE が起きた世界だけを残し、その中で仮説の割合を数え直す 計算である。分母が正であることを仮定する。

なお、一般的な用語では Pr⁡(E)=∑kPr⁡(E∣Hk)Pr⁡(Hk)\Pr(E)=\sum_k\Pr(E\mid H_k)\Pr(H_k) を「全確率の法則」と呼ぶことが多い。本節では教科書の見出しを残したが、呼び名より「場合分けして足し合わせる」操作を押さえるとよい。

1996年の総合的社会調査(General Social Survey)の一部には、30歳以上の男性の学歴と収入に関するデータが含まれている。 {H1,H2,H3,H4}\{H_1,H_2,H_3,H_4\} を、この調査でランダムに選ばれた人が、収入に関して、それぞれ下位25%分位点、2番目の25%分位点、3番目の25%分位点、および上位25%分位点に入る事象とする。定義により、

{Pr⁡(H1),Pr⁡(H2),Pr⁡(H3),Pr⁡(H4)}={0.25,0.25,0.25,0.25}\{\Pr(H_1),\Pr(H_2),\Pr(H_3),\Pr(H_4)\}=\{0.25,0.25,0.25,0.25\}

となる。 {H1,H2,H3,H4}\{H_1,H_2,H_3,H_4\} は分割となっており、それらの事象の確率の和は1になっていることに注意する。 EE をこの調査でランダムに抽出された人が大学卒であるという事象とする。調査データをもとに、以下のように定める。

{Pr⁡(E∣H1),Pr⁡(E∣H2),Pr⁡(E∣H3),Pr⁡(E∣H4)}={0.11,0.19,0.31,0.53}.\{\Pr(E\mid H_1),\Pr(E\mid H_2),\Pr(E\mid H_3),\Pr(E\mid H_4)\} =\{0.11,0.19,0.31,0.53\}.

これらの確率の合計は1ではない。これらは、四つの異なる所得の部分母集団 H1,H2,H3,H4H_1,H_2,H_3,H_4 における学士号をもつ人の割合を表している。大学教育を受けた母集団の所得分布について考えてみよう。ベイズルールを用いると

{Pr⁡(H1∣E),Pr⁡(H2∣E),Pr⁡(H3∣E),Pr⁡(H4∣E)}={0.09,0.17,0.27,0.47}\{\Pr(H_1\mid E),\Pr(H_2\mid E),\Pr(H_3\mid E),\Pr(H_4\mid E)\} =\{0.09,0.17,0.27,0.47\}

となり、大学教育を受けた母集団の所得分布は、一般の母集団である {0.25,0.25,0.25,0.25}\{0.25,0.25,0.25,0.25\} とは著しく異なることがわかる。これらの確率の合計は1になることに注意する。つまり、これらは EE が与えられた場合の分割における事象の条件付き確率である。

数値例:1,000人の名簿を使ってベイズルールを計算する

上の割合を満たす1,000人の仮想的な名簿を考える。これは実際の調査人数を復元したものではなく、教科書の割合を人数に置き換えた説明用の集団である。

所得階層 全体の人数 大学卒の割合 大学卒の人数 大学卒285人中の割合
H1H_1 :下位25% 250 0.11 27.5 0.09649
H2H_2 250 0.19 47.5 0.16667
H3H_3 250 0.31 77.5 0.27193
H4H_4 :上位25% 250 0.53 132.5 0.46491
合計 1,000 — 285 1

小数の人数は、割合から換算した期待人数である。整数だけで考えたければ全人数を2倍にするとよい。大学卒の確率は、

Pr⁡(E)=0.25(0.11+0.19+0.31+0.53)=0.285.\Pr(E)=0.25(0.11+0.19+0.31+0.53)=0.285.

したがって、上位25%に属する事後確率は、

Pr⁡(H4∣E)=0.53×0.250.285=132.5285≈0.46491.\Pr(H_4\mid E)=\frac{0.53\times0.25}{0.285} =\frac{132.5}{285}\approx0.46491.

Pr⁡(E∣H4)=0.53\Pr(E\mid H_4)=0.53 は「上位層250人の中で大学卒は何割か」、 Pr⁡(H4∣E)≈0.465\Pr(H_4\mid E)\approx0.465 は「大学卒285人の中で上位層は何割か」である。 条件の向きを逆にすると、分母となる集団が変わる。

掲載値 (0.11,0.19,0.31,0.53)(0.11,0.19,0.31,0.53) から直接計算した値と、教科書の事後確率 (0.09,0.17,0.27,0.47)(0.09,0.17,0.27,0.47) には小さな差がある。後者を掲載値として残したが、掲載された入力から小数第2位に丸めると (0.10,0.17,0.27,0.46)(0.10,0.17,0.27,0.46) となる。未丸めの調査値が手元にないため原因は断定せず、本ノートの計算と図は上表の再計算値に統一する。

次の図では、全体の所得構成と大学卒に限定した所得構成を同じ縦軸で比べる。

補助図:大学卒という情報で対象集団を絞ると、所得階層の構成が変わる。

大学卒の集団では上位層の割合が増えている。ただし、これは条件付き分布の比較であり、大学教育の因果効果をこの計算だけで示したものではない。

import numpy as np

prior = np.full(4, 0.25)
likelihood = np.array([0.11, 0.19, 0.31, 0.53])
joint = prior * likelihood
posterior = joint / joint.sum()
print(joint.sum())   # 0.285
print(posterior)     # [0.09649123 0.16666667 0.27192982 0.46491228]

ベイズ推測では、 {H1,…,HK}\{H_1,\ldots,H_K\} は多くの場合、互いに排反な仮説または自然状態を表し、 EE は調査、研究、または実験の結果を表す。実験後に仮説を比較するために、次の比率を計算することがよくある。

Pr⁡(Hi∣E)Pr⁡(Hj∣E)=Pr⁡(E∣Hi)Pr⁡(Hi)/Pr⁡(E)Pr⁡(E∣Hj)Pr⁡(Hj)/Pr⁡(E)=Pr⁡(E∣Hi)Pr⁡(Hi)Pr⁡(E∣Hj)Pr⁡(Hj)=Pr⁡(E∣Hi)Pr⁡(E∣Hj)×Pr⁡(Hi)Pr⁡(Hj)=[ベイズファクター]×[事前オッズ].\begin{aligned} \frac{\Pr(H_i\mid E)}{\Pr(H_j\mid E)} &=\frac{\Pr(E\mid H_i)\Pr(H_i)/\Pr(E)}{\Pr(E\mid H_j)\Pr(H_j)/\Pr(E)}\\ &=\frac{\Pr(E\mid H_i)\Pr(H_i)}{\Pr(E\mid H_j)\Pr(H_j)}\\ &=\frac{\Pr(E\mid H_i)}{\Pr(E\mid H_j)}\times\frac{\Pr(H_i)}{\Pr(H_j)}\\ &=[\text{ベイズファクター}]\times[\text{事前オッズ}]. \end{aligned}

最初の行から次の行へ進むときは、上下に共通する 1/Pr⁡(E)1/\Pr(E) を約分している。その次の行では、観測に関する比と、仮説の事前確率の比に分けている。これらの比を使う際は、分母となる確率が正であるとする。

この式が教えるのは、観測によって二つの仮説の相対評価が何倍になるかである。データだけで事後の評価が決まるわけではなく、出発点である事前オッズも必要になる。 事前分布と観測モデルを決めれば、ベイズルールによって事後分布が決まる。

ベイズファクターは「何倍、相対評価を変えるか」である

上位層 H4H_4 と下位層 H1H_1 の事前オッズは 0.25/0.25=10.25/0.25=1 である。一方、大学卒という結果のベイズファクターは、

BF41=0.530.11≈4.818.\mathrm{BF}_{41}=\frac{0.53}{0.11}\approx4.818.

よって事後オッズは 4.818×1=4.8184.818\times1=4.818 となる。ここでオッズは二つの仮説の確率の 比 であり、確率そのものではない。今回は他に H2,H3H_2,H_3 もあるので、この比だけを 4.818/(1+4.818)4.818/(1+4.818) に変換しても、全4仮説の中での Pr⁡(H4∣E)\Pr(H_4\mid E) は求められない。その値は「 H1H_1 か H4H_4 のどちらかに限る」という追加条件のもとでの確率となる。

二者だけで尽くされる別の仮想例なら、事前オッズが 1:91:9 、ベイズファクターが3であるとき、事後オッズは 1:31:3 、事後確率は 1/(1+3)=0.251/(1+3)=0.25 となる。データが一方を3倍支持しても、事前の評価によっては事後確率が半分を超えないことがわかる。

例

公職のある特定の候補者に対する支持率に関心があるとする。いま、

H={候補者Aの支持率のとりうるすべての値},H1={有権者の半数以上が候補者Aを支持},H2={有権者の半数未満が候補者Aを支持},E={調査した100人中54人が候補者Aを支持すると答えた}\begin{aligned} \mathcal H &= \{\text{候補者Aの支持率のとりうるすべての値}\},\\ H_1 &= \{\text{有権者の半数以上が候補者Aを支持}\},\\ H_2 &= \{\text{有権者の半数未満が候補者Aを支持}\},\\ E &= \{\text{調査した100人中54人が候補者Aを支持すると答えた}\} \end{aligned}

とする。このとき、 {H1,H2}\{H_1,H_2\} は H\mathcal H の分割である。関心があるのは、 Pr⁡(H1∣E)\Pr(H_1\mid E) 、または Pr⁡(H1∣E)/Pr⁡(H2∣E)\Pr(H_1\mid E)/\Pr(H_2\mid E) である。これらの量をどのように求めるかについては、次章で扱う。

ここでは、提供本文の「半数以上/半数以下」を「半数以上/半数未満」に修正した。元の表現では支持率がちょうど50%のときに両方の仮説が成立し、分割にならないためである。

また、54人が支持したという観測から、支持率が54%だと確定するわけではない。支持率が50%でも、無作為抽出した100人中54人が支持することはある。どの支持率をどの程度もっともらしいと考えるかを表すのが、後で導入する事後分布である。

2.3 独立性

定義2(独立性)。 二つの事象 FF と GG が HH が与えられたもとで条件付き独立であるとは、

Pr⁡(F∩G∣H)=Pr⁡(F∣H)Pr⁡(G∣H)\Pr(F\cap G\mid H)=\Pr(F\mid H)\Pr(G\mid H)

が成り立つことをいう。

条件付き独立性をどのように解釈したらよいだろうか。公理P3より、次の等式が常に成り立つ。

Pr⁡(F∩G∣H)=Pr⁡(G∣H)Pr⁡(F∣H∩G).\Pr(F\cap G\mid H)=\Pr(G\mid H)\Pr(F\mid H\cap G).

条件付き独立を仮定すると、同じ左辺を別の積でも表せる。二つの表し方を等しいと置けば、

Pr⁡(G∣H)Pr⁡(F∣H∩G)=Pr⁡(F∣H)Pr⁡(G∣H)\Pr(G\mid H)\Pr(F\mid H\cap G)=\Pr(F\mid H)\Pr(G\mid H)

となる。ここで Pr⁡(G∣H)>0\Pr(G\mid H)>0 なら、両辺をその値で割ることができる。

Pr⁡(G∣H)Pr⁡(F∣H∩G)Pr⁡(G∣H)=Pr⁡(F∣H)Pr⁡(G∣H)Pr⁡(G∣H),Pr⁡(F∣H∩G)=Pr⁡(F∣H).\begin{aligned} \frac{\Pr(G\mid H)\Pr(F\mid H\cap G)}{\Pr(G\mid H)} &=\frac{\Pr(F\mid H)\Pr(G\mid H)}{\Pr(G\mid H)},\\ \Pr(F\mid H\cap G)&=\Pr(F\mid H). \end{aligned}

右辺は「 HH だけを知ったとき」、左辺は「 HH に加えて GG も知ったとき」の FF の確率である。この二つが同じなので、 GG は FF の予測を変える追加情報にならない。これが条件付き独立の意味である。 Pr⁡(G∣H)=0\Pr(G\mid H)=0 の場合には、この割り算はできないため、独立性は最初の積の定義で判断する。

例

次の二つの状況で HH が真であると想定される場合の、 FF と GG の条件付き独立性について考えてみよう。

F={入院患者は喫煙者である},G={入院患者は肺がんである},H={喫煙は肺がんを引き起こす}.\begin{aligned} F &= \{\text{入院患者は喫煙者である}\},\\ G &= \{\text{入院患者は肺がんである}\},\\ H &= \{\text{喫煙は肺がんを引き起こす}\}. \end{aligned}
F={ハートのジャックについて考えている},G={読心術者はあなたがハートのジャックについて考えていると主張する},H={読心術者は超能力をもっている}.\begin{aligned} F &= \{\text{ハートのジャックについて考えている}\},\\ G &= \{\text{読心術者はあなたがハートのジャックについて考えていると主張する}\},\\ H &= \{\text{読心術者は超能力をもっている}\}. \end{aligned}

これらの状況の両方で、 HH が真であるということから、 FF と GG の間の関係は導かれる。それでは、 HH が真でない場合はどうだろうか。

数値例:独立と排反はまったく異なる

上の導出で Pr⁡(G∣H)\Pr(G\mid H) を約分するには、その値が正であることが必要である。独立性の要点は、追加情報 GG があっても FF の確率が変わらないことにある。

公正なサイコロについて、 FF を「偶数」、 GG を「3以上」とする。 Pr⁡(F)=3/6\Pr(F)=3/6 、 Pr⁡(G)=4/6\Pr(G)=4/6 であり、両方を満たす目は4と6なので、

Pr⁡(F∩G)=26=36×46.\Pr(F\cap G)=\frac26=\frac36\times\frac46.

したがって独立である。実際、3以上の目 {3,4,5,6}\{3,4,5,6\} に絞っても、偶数の割合は 2/4=1/22/4=1/2 である。一方、「1が出る」と「2が出る」は排反だが独立ではない。「1が出た」とわかれば、「2が出る」確率は 1/61/6 から0に変わる。

条件付き独立には、どの条件のもとかが不可欠である

説明用に、赤玉の割合が20%の袋Aと80%の袋Bを考える。まず袋を等確率で一つ選び、その同じ袋から玉を2回、毎回戻して引く。 Y(i)=1Y^{(i)}=1 は ii 回目が赤玉であることを表す。袋がわかれば2回は独立である。しかし袋を知らないと、

Pr⁡(Y(1)=1)=Pr⁡(Y(2)=1)=12(0.2+0.8)=0.5,\Pr(Y^{(1)}=1)=\Pr(Y^{(2)}=1)=\tfrac12(0.2+0.8)=0.5,
Pr⁡(Y(1)=1,Y(2)=1)=12(0.22+0.82)=0.34≠0.5×0.5=0.25.\Pr(Y^{(1)}=1,Y^{(2)}=1)=\tfrac12(0.2^2+0.8^2)=0.34 \ne0.5\times0.5=0.25.

さらに、

Pr⁡(Y(2)=1∣Y(1)=1)=0.340.5=0.68.\Pr(Y^{(2)}=1\mid Y^{(1)}=1)=\frac{0.34}{0.5}=0.68.

1回目が赤なら、赤の多い袋Bを選んだ可能性が上がる。それによって2回目の予測も変わるのである。玉を戻したため袋の中身は変わっていない。変わったのは、選ばれた袋についての情報である。この仕組みが2.7節の中心になる。

袋の評価がどう変わるかも、ベイズルールで確かめられる。 BB を「袋Bを選んだ」という事象とすると、

Pr⁡(B∣Y(1)=1)=Pr⁡(Y(1)=1∣B)Pr⁡(B)Pr⁡(Y(1)=1)=0.8×0.50.5=0.8.\Pr(B\mid Y^{(1)}=1) =\frac{\Pr(Y^{(1)}=1\mid B)\Pr(B)}{\Pr(Y^{(1)}=1)} =\frac{0.8\times0.5}{0.5}=0.8.

袋Aの事後確率は残りの0.2である。そのため、2回目の赤玉の確率は、更新後の袋の確率で平均して、

Pr⁡(Y(2)=1∣Y(1)=1)=0.2×0.2+0.8×0.8=0.68\Pr(Y^{(2)}=1\mid Y^{(1)}=1) =0.2\times0.2+0.8\times0.8=0.68

となる。先ほどの 0.34/0.50.34/0.5 と同じ答えが、「袋について学び、その結果を次の予測に使う」という二段階の計算でも得られる。

教科書の喫煙や読心術の例も、「 HH が偽なら独立」と機械的には結論できない。たとえば超能力がなくても、相手の表情や仕込みから予測できる可能性がある。因果についての言葉だけでは、特定集団での確率的独立性まで決まらない。独立性は、具体的な同時分布について確かめる性質である。

2.4 確率変数

ベイズ推測において、確率変数は確率的な主張を行うための未知の数値として定義される。たとえば、調査、実験、または研究の定量的結果は、研究が実行される前においては確率変数である。加えて、固定されているが未知の母集団パラメータも確率変数である。

「固定されているのに確率変数」とはどういうことか

箱の中の赤玉の割合 θ\theta が実際には0.6だったとしても、箱を見ていない人にはその値がわからない。その人が θ\theta に分布を置くのは、赤玉の割合が毎秒変動するという主張ではなく、 未知の値についての不確かさを表すため である。

一方、次に引く玉の色 YY は、割合がわかっていても不確かである。このように、パラメータがわからない不確かさと、パラメータを知っていても残る観測のばらつきを区別すると、 p(θ)p(\theta) と p(y∣θ)p(y\mid\theta) の役割が見えてくる。

数学的には確率変数は結果に数値を対応させる関数である。たとえば「赤なら1、白なら0」という規則が確率変数を定める。確率変数が観測されると、その回の値は既知になるが、観測前や次回の値についての分布を考えることはできる。

2.4.1 離散型確率変数

YY を確率変数とし、 Y\mathcal Y を YY のすべてのとりうる値の集合とする。 YY が離散型であるとは、とりうる結果の集合が可算(countable)である場合をいい、 Y\mathcal Y は

Y={y1,y2,…}\mathcal Y=\{y_1,y_2,\ldots\}

として表すことができる。

例

  • Y=Y= 母集団からのランダムサンプルにおける教会に通う人の数。

  • Y=Y= ランダムに選ばれた人の子供の数。

  • Y=Y= ランダムに選ばれた人の教育年数。

確率分布と密度

調査結果 YY の値が yy である事象は、 {Y=y}\{Y=y\} として表される。各 y∈Yy\in\mathcal Y について、 Pr⁡(Y=y)\Pr(Y=y) の省略表記として p(y)p(y) を採用することにする。この yy の関数は、 YY の確率密度関数(probability density function, pdf)と呼ばれ、次の性質をもつ。

  1. すべての y∈Yy\in\mathcal Y に対して、 0≤p(y)≤10\le p(y)\le 1 。

  2. ∑y∈Yp(y)=1\displaystyle \sum_{y\in\mathcal Y}p(y)=1 。

YY に関する一般的な確率的性質は、確率密度関数から導き出すことができる。たとえば、

Pr⁡(Y∈A)=∑y∈Ap(y)\Pr(Y\in A)=\sum_{y\in A}p(y)

となる。もし、 AA と BB が Y\mathcal Y の互いに排反な部分集合であるならば、

Pr⁡(Y∈A または Y∈B)=Pr⁡(Y∈A∪B)=Pr⁡(Y∈A)+Pr⁡(Y∈B)=∑y∈Ap(y)+∑y∈Bp(y)\begin{aligned} \Pr(Y\in A\text{ または }Y\in B) &=\Pr(Y\in A\cup B)\\ &=\Pr(Y\in A)+\Pr(Y\in B)\\ &=\sum_{y\in A}p(y)+\sum_{y\in B}p(y) \end{aligned}

が成り立つ。

離散型の p(y)p(y) は、一般には 確率質量関数(pmf) と呼ぶ。本ノートでもPythonでは pmf を使い、連続型の密度を表す pdf と区別する。可算とは、すべての値を順番に列挙できることであり、有限個でも、 0,1,2,…0,1,2,\ldots のように無限個でもよい。

例:二項分布

正の整数 nn に対して、 Y={0,1,2,…,n}\mathcal Y=\{0,1,2,\ldots,n\} とする。確率変数 Y∈YY\in\mathcal Y が確率 θ\theta の二項分布(binomial distribution with probability θ\theta )をもつとは、

Pr⁡(Y=y∣θ)=(ny)θy(1−θ)n−y\Pr(Y=y\mid\theta) =\binom{n}{y}\theta^y(1-\theta)^{n-y}

となることをいう。たとえば、 θ=0.25\theta=0.25 および n=4n=4 の場合、次のようになる。

Pr⁡(Y=0∣θ=0.25)=(40)(0.25)0(0.75)4=0.316,\Pr(Y=0\mid\theta=0.25)=\binom{4}{0}(0.25)^0(0.75)^4=0.316,
Pr⁡(Y=1∣θ=0.25)=(41)(0.25)1(0.75)3=0.422,\Pr(Y=1\mid\theta=0.25)=\binom{4}{1}(0.25)^1(0.75)^3=0.422,
Pr⁡(Y=2∣θ=0.25)=(42)(0.25)2(0.75)2=0.211,\Pr(Y=2\mid\theta=0.25)=\binom{4}{2}(0.25)^2(0.75)^2=0.211,
Pr⁡(Y=3∣θ=0.25)=(43)(0.25)3(0.75)1=0.047,\Pr(Y=3\mid\theta=0.25)=\binom{4}{3}(0.25)^3(0.75)^1=0.047,
Pr⁡(Y=4∣θ=0.25)=(44)(0.25)4(0.75)0=0.004.\Pr(Y=4\mid\theta=0.25)=\binom{4}{4}(0.25)^4(0.75)^0=0.004.

なぜ二項係数を掛けるのか

二項分布は、成功確率 θ\theta の独立な試行を nn 回繰り返したときの成功回数を表す。 n=4,θ=0.25n=4,\theta=0.25 のとき、特定の並び「成功・失敗・失敗・失敗」の確率は、

0.25×0.75×0.75×0.75=0.10546875.0.25\times0.75\times0.75\times0.75=0.10546875.

ただし「成功が1回」という事象には、成功の位置が違う4通りが含まれる。そのため、

Pr⁡(Y=1)=(41)0.25(0.75)3=4×0.10546875=0.421875.\Pr(Y=1)=\binom41 0.25(0.75)^3 =4\times0.10546875=0.421875.

同様に成功2回なら、成功位置の選び方が (42)=4!/(2!2!)=6\binom42=4!/(2!2!)=6 通りある。したがって 6(0.25)2(0.75)2=0.21093756(0.25)^2(0.75)^2=0.2109375 となる。 一つの並びの確率と、成功回数の確率は区別する。

ここで 4!=4×3×2×1=244!=4\times3\times2\times1=24 のように、 !! は1までの整数を掛ける「階乗」を表す。 0!=10!=1 と定める。成功する位置を二つ順番に選ぶなら 4×3=124\times3=12 通りだが、「1番目と3番目」と「3番目と1番目」は同じ成功位置なので、 2!=22!=2 で割って6通りとなる。

一般に、 nn 個の位置から成功位置を yy 個選ぶ方法の数が、

(ny)=n!y!(n−y)!\binom ny=\frac{n!}{y!(n-y)!}

である。確率の式では、 θy\theta^y が成功 yy 回分、 (1−θ)n−y(1-\theta)^{n-y} が失敗 n−yn-y 回分、二項係数が並び方の数を受け持つ。また、二項定理から、すべての成功回数の確率の和も確認できる。

∑y=0n(ny)θy(1−θ)n−y={θ+(1−θ)}n=1.\sum_{y=0}^n\binom ny\theta^y(1-\theta)^{n-y} =\{\theta+(1-\theta)\}^n=1.

図では、横軸の整数ごとに確率が置かれる。連続型の密度と違い、この棒の高さ自体が確率である。

補助図:成功確率0.25の試行を4回行ったときの成功回数。5本の確率の和は1となる。

最も起きやすいのは1回成功だが、0回成功も約31.6%ある。期待値が1回だからといって、毎回ちょうど1回成功するわけではない。

import numpy as np
from scipy.stats import binom

p = binom.pmf(np.arange(5), n=4, p=0.25)
print(p)       # [0.31640625 0.421875 0.2109375 0.046875 0.00390625]
print(p.sum()) # 約1

例:ポアソン分布

確率変数 Y∈YY\in\mathcal Y が平均 θ\theta のポアソン分布(Poisson distribution with mean θ\theta )をもつとは、

Pr⁡(Y=y∣θ)=θye−θ/y!,y=0,1,2,…,θ>0.\Pr(Y=y\mid\theta)=\theta^y e^{-\theta}/y!,\qquad y=0,1,2,\ldots,\quad\theta>0.

となることをいう。たとえば、 θ=2.1\theta=2.1 (2006年の米国の出生率)の場合、次のようになる。

Pr⁡(Y=0∣θ=2.1)=(2.1)0e−2.1/(0!)=0.12,\Pr(Y=0\mid\theta=2.1)=(2.1)^0e^{-2.1}/(0!)=0.12,
Pr⁡(Y=1∣θ=2.1)=(2.1)1e−2.1/(1!)=0.26,\Pr(Y=1\mid\theta=2.1)=(2.1)^1e^{-2.1}/(1!)=0.26,
Pr⁡(Y=2∣θ=2.1)=(2.1)2e−2.1/(2!)=0.27,\Pr(Y=2\mid\theta=2.1)=(2.1)^2e^{-2.1}/(2!)=0.27,
Pr⁡(Y=3∣θ=2.1)=(2.1)3e−2.1/(3!)=0.19,\Pr(Y=3\mid\theta=2.1)=(2.1)^3e^{-2.1}/(3!)=0.19,
⋮\vdots

図2.1 平均が2.1(左)と21(右)のポアソン分布。

次の図では、それぞれの平均の近くで、どの回数が起きやすいかを見る。各整数に立つ棒の高さが、その回数の確率である。小さな確率の棒も読み取れるよう、左右で横軸・縦軸の範囲を変えているため、棒の高さや分布の幅は目盛りと合わせて読む。

図2.1:平均2.1と21のポアソン分布。横軸は左0〜8、右5〜40に拡大し、棒幅を調整した。縦軸も左右で異なる。

左は2回の確率が最も高く、右は20回と21回の確率が同じで最も高い。表示範囲には、左で約99.966%、右で約99.992%の確率が含まれる。著者コードの横軸は0〜10と0〜100だが、ここでは分布が見やすい範囲に拡大した。範囲外にも小さな確率が残り、棒の確率は元の値のままで、表示範囲内の合計を1にし直してはいない。

ポアソン分布の取りうる値は 0,1,2,…0,1,2,\ldots であり、理論上は上限がない。二項分布が「決まった試行回数のうちの成功数」であるのに対し、ポアソン分布は「一定の時間・空間などに生じる回数」を表す代表的なモデルである。

平均が θ\theta のポアソン分布では、分散も θ\theta 、標準偏差は θ\sqrt{\theta} である。平均2.1なら標準偏差は約1.45、平均21なら約4.58となる。絶対的な幅は大きくなるが、平均に対する標準偏差の比は 1/θ1/\sqrt{\theta} なので、相対的には集中する。

ポアソン分布の式も、各部分を分けると計算しやすい。まず e−2.1≈0.122456e^{-2.1}\approx0.122456 を求めると、これが0回の確率である。1回、2回の確率は、次の関係で順に求められる。

p(y+1)p(y)=θy+1e−θ(y+1)!y!θye−θ=θy+1.\frac{p(y+1)}{p(y)} =\frac{\theta^{y+1}e^{-\theta}}{(y+1)!} \frac{y!}{\theta^ye^{-\theta}} =\frac{\theta}{y+1}.

したがって、 p(1)=2.1p(0)≈0.257159p(1)=2.1p(0)\approx0.257159 、 p(2)=(2.1/2)p(1)≈0.270016p(2)=(2.1/2)p(1)\approx0.270016 となる。毎回階乗を最初から計算する必要はない。また、 eθ=∑y=0∞θy/y!e^\theta=\sum_{y=0}^{\infty}\theta^y/y! という指数関数の展開を使えば、全確率が1になる理由もわかる。

∑y=0∞p(y)=e−θ∑y=0∞θyy!=e−θeθ=1.\sum_{y=0}^{\infty}p(y) =e^{-\theta}\sum_{y=0}^{\infty}\frac{\theta^y}{y!} =e^{-\theta}e^\theta=1.

指数関数の展開をまだ学んでいなければ、ここでは「 e−θe^{-\theta} は、すべての回数の確率を足したときに1にする係数」と押さえればよい。平均と分散の意味は2.4.3節で扱う。

ここでの2.1は教科書の歴史的な数値であり、現在の出生率ではない。また、平均だけが2.1だからといって、実際の子供の人数が必ずポアソン分布になるわけではない。分布の仮定には、平均以外の形やばらつきについての仮定も含まれる。

from scipy.stats import poisson

print(poisson.pmf([0, 1, 2, 3], mu=2.1))
# 約 [0.122456, 0.257159, 0.270016, 0.189011]

2.4.2 連続型確率変数

次に、時間や所得のように、区間内のどの実数値も候補となる量を考える。離散型では「0回、1回、2回、……」と値を列挙して確率を足せた。しかし、実数値をすべてそのように列挙することはできない。また、密度をもつ連続分布では、一つ一つの点の確率は0である。そこで、点の確率を並べる代わりに、「ある境界以下に入る確率」を使う。

その境界を yy としたときの確率が、累積分布関数(cumulative distribution function, cdf)である。大文字の YY はまだわからない値、小文字の yy は確率を調べるために指定した境界である。

F(y)=Pr⁡(Y≤y).F(y)=\Pr(Y\le y).

ここで、 F(∞)=1F(\infty)=1 、 F(−∞)=0F(-\infty)=0 であり、 b<ab<a なら F(b)≤F(a)F(b)\le F(a) が成り立つことに注意する。様々な事象の確率は、累積分布関数から導出できる。

  • Pr⁡(Y>a)=1−F(a)\Pr(Y>a)=1-F(a) 。

  • Pr⁡(a<Y≤b)=F(b)−F(a)\Pr(a<Y\le b)=F(b)-F(a) 。

二つ目の式では a<ba<b とする。「 bb 以下」から「 aa 以下」を除くと、「 aa より大きく bb 以下」の部分が残る。たとえば F(a)=0.2F(a)=0.2 、 F(b)=0.7F(b)=0.7 なら、その間に入る確率は 0.7−0.2=0.50.7-0.2=0.5 である。積分を計算するときも、この引き算が区間確率を求める基本になる。

FF が連続である(つまり、「ジャンプ」がない)場合、 YY は連続型確率変数であるという。ここでは、さらに FF が絶対連続である、すなわち密度の積分で表せる場合を扱う。この条件のもとで、

F(a)=∫−∞ap(y) dyF(a)=\int_{-\infty}^{a}p(y)\,dy

を満たす非負値関数 p(y)p(y) が存在することが示せる。この関数は YY の確率密度関数と呼ばれ、その性質は離散型確率変数に対する確率密度関数の性質と似ている。

提供本文の「すべての連続な累積分布関数に密度が存在する」という記述には、上の条件を補った。累積分布関数にジャンプがないだけでは、密度の存在までは保証されない。本章の正規分布などは密度をもつため、以降の計算には問題がない。また、累積分布関数自体は離散型にも定義でき、その場合は各値の確率に応じて階段状に跳び上がる。

  1. すべての y∈Yy\in\mathcal Y に対して、 0≤p(y)0\le p(y) 。

  2. ∫y∈Rp(y) dy=1\displaystyle \int_{y\in\mathbb R}p(y)\,dy=1 。

離散型の場合と同様に、 YY についての確率的な性質は確率密度関数から導くことができる。つまり、

Pr⁡(Y∈A)=∫y∈Ap(y) dy\Pr(Y\in A)=\int_{y\in A}p(y)\,dy

であり、もし AA と BB が Y\mathcal Y の互いに排反な部分集合であるとすると、

Pr⁡(Y∈A または Y∈B)=Pr⁡(Y∈A∪B)=Pr⁡(Y∈A)+Pr⁡(Y∈B)=∫y∈Ap(y) dy+∫y∈Bp(y) dy\begin{aligned} \Pr(Y\in A\text{ または }Y\in B) &=\Pr(Y\in A\cup B)\\ &=\Pr(Y\in A)+\Pr(Y\in B)\\ &=\int_{y\in A}p(y)\,dy+\int_{y\in B}p(y)\,dy \end{aligned}

となる。これらの性質を離散型の場合の類似の性質と比較すると、連続型分布の積分は離散型分布の和に対応していることがわかる。実際、積分は標本空間が可算でない状況の和の一般化と考えることができる。しかし、離散型の場合の確率密度関数とは異なり、連続型確率変数の確率密度関数の値は必ずしも1より小さいわけではなく、 p(y)p(y) は「 Y=yY=y の確率」ではない。しかし、 p(y1)>p(y2)p(y_1)>p(y_2) ならば、 y1y_1 は y2y_2 よりも「確率が高い」と形式的にいうことはある。

数値例:密度が5でも、確率が5になるわけではない

YY が区間 [0,0.2][0,0.2] の一様分布に従うとする。このとき、密度は区間内で p(y)=5p(y)=5 、外側で0である。全体の面積は、

∫00.25 dy=5×0.2=1.\int_0^{0.2}5\,dy=5\times0.2=1.

区間 [0.05,0.10][0.05,0.10] に入る確率は、

Pr⁡(0.05≤Y≤0.10)=5(0.10−0.05)=0.25.\Pr(0.05\le Y\le0.10)=5(0.10-0.05)=0.25.

一方、ちょうど Y=0.10Y=0.10 になる確率は0である。点には幅がないからである。確率0は、この連続モデルで絶対に実現しないという意味ではない。いずれかの実数値は実現するが、あらかじめ指定した一つの値に正の確率を割り当てていないのである。

現実の測定で「0.10」と表示された場合は、通常は丸められた区間を意味する。たとえば小数第2位への丸めなら 0.095≤Y<0.1050.095\le Y<0.105 に対応し、この確率は 5×0.01=0.055\times0.01=0.05 である。

密度の高さを比べる意味は、同じ小さな幅 Δ\Delta の区間を比べると見えやすい。密度が滑らかなら、

Pr⁡(y−Δ/2<Y<y+Δ/2)≈p(y)Δ.\Pr(y-\Delta/2<Y<y+\Delta/2)\approx p(y)\Delta.

したがって p(y1)>p(y2)p(y_1)>p(y_2) は、同じ幅の小区間なら y1y_1 の周辺に入りやすいことを意味する。密度の単位は、 YY の単位の逆数であり、幅を掛けて初めて単位のない確率になる。

例:正規分布

正規分布は、中心付近の値が出やすく、中心から離れるほど出にくい、左右対称の釣鐘型の分布である。中心を表す平均が μ\mu 、ばらつきの大きさを表す標準偏差が σ>0\sigma>0 であり、分散はその二乗 σ2\sigma^2 である。 normal⁡(μ,σ2)\operatorname{normal}(\mu,\sigma^2) と書き、その累積分布関数は次の積分で与えられる。

Pr⁡(Y≤y∣μ,σ2)=F(y)=∫−∞y12πσexp⁡{−12(u−μσ)2} du\Pr(Y\le y\mid\mu,\sigma^2)=F(y) =\int_{-\infty}^{y}\frac{1}{\sqrt{2\pi}\sigma} \exp\left\{-\frac12\left(\frac{u-\mu}{\sigma}\right)^2\right\}\,du

積分の中の uu は、左端から境界 yy まで動かして足し合わせるための変数である。積分されている関数が密度なので、その変数を yy と書き直すと、

p(y∣μ,σ2)=12πσexp⁡{−12(y−μσ)2}p(y\mid\mu,\sigma^2) =\frac{1}{\sqrt{2\pi}\sigma} \exp\left\{-\frac12\left(\frac{y-\mu}{\sigma}\right)^2\right\}

となる。式の中の (y−μ)/σ(y-\mu)/\sigma は、「平均から、標準偏差何個分だけ離れているか」を表す。平均上ではこれが0となり、指数関数の部分は exp⁡(0)=1\exp(0)=1 となる。そこから離れるほど二乗が大きくなり、負の符号によって密度が小さくなる。前の係数 1/(2πσ)1/(\sqrt{2\pi}\sigma) は、曲線の下の面積を1に揃える。

μ=10.75\mu=10.75 および σ=0.8\sigma=0.8 ( σ2=0.64\sigma^2=0.64 )とすると、図2.2の累積分布関数と密度関数が得られる。この平均と標準偏差により、 eYe^Y の中央値は約46,630に等しくなり、これは2005年の米国の世帯収入の中央値である。さらに、

Pr⁡(eY>100000)=Pr⁡(Y>log⁡100000)=0.17\Pr(e^Y>100000)=\Pr(Y>\log 100000)=0.17

であり、これは2005年において収入が10万ドルを超える世帯の割合におおよそ一致する。

図2.2 平均が10.75、標準偏差が0.8の正規分布の累積分布関数(左)と確率密度関数(右)。

図2.2再現:同じ正規分布を、左は累積確率、右は密度で表している。

左では平均10.75のところで累積確率が0.5となる。右では同じ場所で密度が最大になり、その高さは約0.49868である。両方とも約0.5に見えるが、左は確率、右は密度であり、意味が異なる。

二つの曲線は、積分と微分の関係にある。密度が連続な点では F′(y)=p(y)F'(y)=p(y) となるため、右の密度が高い場所ほど、左の累積分布関数は急に増える。逆に、右の密度がほぼ0の裾では、左の曲線はほとんど平らになる。

正規分布の式を実際に使う

Y∼normal⁡(10.75,0.64)Y\sim\operatorname{normal}(10.75,0.64) の場合、標準偏差は σ=0.64=0.8\sigma=\sqrt{0.64}=0.8 である。平均から標準偏差一つ分だけ離れた点は 10.75±0.810.75\pm0.8 、つまり9.95と11.55となる。標準化すると、

Z=Y−10.750.8,Pr⁡(9.95<Y<11.55)=Pr⁡(−1<Z<1)≈0.68269.Z=\frac{Y-10.75}{0.8},\qquad \Pr(9.95<Y<11.55)=\Pr(-1<Z<1)\approx0.68269.

下図の色を塗った部分は、この確率に対応する面積である。横軸上の区間と、曲線の下の面積を対応させて読む。

補助図:平均±標準偏差の区間に含まれる面積は約68.27%である。

確率を求めるには、区間の端での密度を引くのではなく、累積分布関数を引く。Pythonでは次のように計算できる。

import numpy as np
from scipy.stats import norm

normal = norm(loc=10.75, scale=0.8)
print(normal.cdf(11.55) - normal.cdf(9.95))  # 0.6826894921
print(normal.sf(np.log(100000)))            # 0.1701286892

scale に渡すのは分散0.64ではなく標準偏差0.8である。sf(a) は 1−F(a)1-F(a) 、すなわち右側の裾の確率を直接求める関数である。この引数の対応は SciPyの正規分布の公式資料 に従う。

所得の例では X=eYX=e^Y と置いているため、 YY は所得そのものではなく、自然対数を取った所得である。指数関数は単調増加なので、 X>100000X>100000 と Y>log⁡100000Y>\log100000 は同じ事象である。

10万ドルの境界も、標準化すれば同じ方法で計算できる。 log⁡\log は自然対数、 Φ\Phi は平均0・標準偏差1の正規分布の累積分布関数とする。

Pr⁡(X>100000)=Pr⁡(Y>log⁡100000)=Pr⁡(Z>log⁡100000−10.750.8)≈Pr⁡(Z>0.953657)=1−Φ(0.953657)≈0.17013.\begin{aligned} \Pr(X>100000) &=\Pr(Y>\log100000)\\ &=\Pr\left(Z>\frac{\log100000-10.75}{0.8}\right)\\ &\approx\Pr(Z>0.953657)\\ &=1-\Phi(0.953657)\approx0.17013. \end{aligned}

教科書では、正規分布のもう一つの特徴として、平均と分散を固定した連続分布の中で「微分エントロピー」が最大になることも紹介している。これは、不確かさを測る特定の尺度についての性質であり、正規分布を扱うための前提知識ではない。分散を固定して比較しているため、「他の分布より分散が大きい」という意味ではない。また、平均と分散を知っているだけで、実際の母集団が正規分布だと決まるわけでもない。

2.4.3 分布の特徴づけ

確率変数 YY の平均(mean)または期待値(expectation)は

E[Y]=∑y∈Yyp(y)(Y が離散型の場合)、\mathrm E[Y]=\sum_{y\in\mathcal Y}yp(y)\qquad(Y\text{ が離散型の場合})、
E[Y]=∫y∈Yyp(y) dy(Y が連続型の場合)\mathrm E[Y]=\int_{y\in\mathcal Y}yp(y)\,dy\qquad(Y\text{ が連続型の場合})

で与えられる。平均は分布の重心のことであるが、一般には平均は次のどちらとも等しくはない。

モード(最頻値) :「最も頻繁に起こる YY の値」。

メディアン(中央値) :「分布の中央の YY の値」。

特に、所得分布のような歪んだ分布の場合、平均は「代表的な」サンプルの値から遠く離れている可能性がある(たとえば、図2.3を参照)。それでも、平均は分布の位置を表す非常に一般的な尺度である。平均値を報告および調査する理由には、次のようなものがある。

  1. {Y(1),…,Y(n)}\{Y^{(1)},\ldots,Y^{(n)}\} の平均は和をスケール化したものであり、和は多くの場合、関心のある量である。

  2. YY の値が何であるかを推測することを余儀なくされ、量 (Y−yguess)2(Y-y_{\mathrm{guess}})^2 によって罰則が課せられたとする。このとき、 E[Y]\mathrm E[Y] を推測することは、罰則の期待値を最小にすることである。

  3. このあとすぐに見るいくつかの単純なモデルでは、標本平均はデータから取得できる母集団に関するすべての情報を含んでいる。

図2.3 μ=10.75\mu=10.75 、 σ=0.8\sigma=0.8 の正規分布と対数正規分布の最頻値、中央値、平均値。

次の図では、対数所得 YY と、ドル単位の所得 X=eYX=e^Y を比べる。右の縦軸は著者コードと同じく、読みやすくするため密度を100,000倍している。

図2.3再現:正規分布では三つの代表値が一致するが、対数正規分布では最頻値・中央値・平均の順に大きくなる。

正規分布は左右対称なので、最頻値・中央値・平均がすべて10.75となる。一方、所得は右に長い裾をもち、高額な所得が平均を引き上げる。右図の最頻値は、著者コードでの近似値24,600を、同じモデルの公式から求めた24,587.66に置き換えた。

指数を取った後の平均は、平均の指数ではない

Y∼normal⁡(μ,σ2)Y\sim\operatorname{normal}(\mu,\sigma^2) 、 X=eYX=e^Y のとき、 XX は対数正規分布である。三つの代表値は次のようになる。

mode⁡(X)=eμ−σ2=e10.11≈24587.66,median⁡(X)=eμ=e10.75≈46630.03,E[X]=eμ+σ2/2=e11.07≈64215.51.\begin{aligned} \operatorname{mode}(X)&=e^{\mu-\sigma^2}=e^{10.11}\approx24587.66,\\ \operatorname{median}(X)&=e^\mu=e^{10.75}\approx46630.03,\\ \mathrm E[X]&=e^{\mu+\sigma^2/2}=e^{11.07}\approx64215.51. \end{aligned}

中央値は単調な変換で順序が保たれるため、そのまま指数を取ればよい。平均はそうならない。たとえば二つの値0と2を同確率で取る YY なら、 eE[Y]=e≈2.718e^{\mathrm E[Y]}=e\approx2.718 だが、 E[eY]=(1+e2)/2≈4.195\mathrm E[e^Y]=(1+e^2)/2\approx4.195 である。大きな値が指数関数で大幅に拡大されるからである。

対数正規分布の密度に 1/x1/x が付く理由も、区間の幅で説明できる。 y=log⁡xy=\log x なので dy=dx/xdy=dx/x である。同じ確率を二つの尺度で表すには、

pX(x) dx=pY(log⁡x)dxx,pX(x)=1xσ2πexp⁡{−(log⁡x−μ)22σ2},x>0.p_X(x)\,dx=p_Y(\log x)\frac{dx}{x},\qquad p_X(x)=\frac{1}{x\sigma\sqrt{2\pi}} \exp\left\{-\frac{(\log x-\mu)^2}{2\sigma^2}\right\},\quad x>0.

対数正規分布の平均を、積分から導く

ここで平均の式の導出を追ってみよう。 X=eYX=e^Y の平均は、各 yy での値 eye^y を、 YY の密度で重み付けして足し合わせることで求める。

E[X]=E[eY]=∫−∞∞eypY(y) dy=1σ2π∫−∞∞exp⁡{y−(y−μ)22σ2} dy.\begin{aligned} \mathrm E[X]=\mathrm E[e^Y] &=\int_{-\infty}^{\infty}e^y p_Y(y)\,dy\\ &=\frac{1}{\sigma\sqrt{2\pi}} \int_{-\infty}^{\infty} \exp\left\{y-\frac{(y-\mu)^2}{2\sigma^2}\right\}\,dy. \end{aligned}

最後の行では、 eaeb=ea+be^a e^b=e^{a+b} を使って指数を一つにまとめた。このままでは積分しにくいので、指数を「何かの二乗+定数」に変形する。これが平方完成である。

まず v=y−μv=y-\mu と置くと、 y=v+μy=v+\mu だから、

y−(y−μ)22σ2=μ+v−v22σ2=μ−v2−2σ2v2σ2=μ−(v−σ2)2−σ42σ2=−{y−(μ+σ2)}22σ2+μ+σ22.\begin{aligned} y-\frac{(y-\mu)^2}{2\sigma^2} &=\mu+v-\frac{v^2}{2\sigma^2}\\ &=\mu-\frac{v^2-2\sigma^2v}{2\sigma^2}\\ &=\mu-\frac{(v-\sigma^2)^2-\sigma^4}{2\sigma^2}\\ &=-\frac{\{y-(\mu+\sigma^2)\}^2}{2\sigma^2} +\mu+\frac{\sigma^2}{2}. \end{aligned}

三行目では、 (v−σ2)2=v2−2σ2v+σ4(v-\sigma^2)^2=v^2-2\sigma^2v+\sigma^4 なので、余分に足した σ4\sigma^4 を引いている。ここでの σ4\sigma^4 は (σ2)2(\sigma^2)^2 である。この結果を先ほどの積分に戻すと、

E[eY]=eμ+σ2/2∫−∞∞1σ2πexp⁡{−{y−(μ+σ2)}22σ2} dy=eμ+σ2/2×1.\begin{aligned} \mathrm E[e^Y] &=e^{\mu+\sigma^2/2} \int_{-\infty}^{\infty}\frac{1}{\sigma\sqrt{2\pi}} \exp\left\{-\frac{\{y-(\mu+\sigma^2)\}^2}{2\sigma^2}\right\}\,dy\\ &=e^{\mu+\sigma^2/2}\times1. \end{aligned}

外に出した eμ+σ2/2e^{\mu+\sigma^2/2} は yy によらない定数である。残った積分は、平均 μ+σ2\mu+\sigma^2 、分散 σ2\sigma^2 の正規密度の全面積なので1となる。数値を入れると、指数は 10.75+0.64/2=11.0710.75+0.64/2=11.07 となり、平均所得は約64,215.51ドルと求まる。

中央値と最頻値の式も確かめる

中央値の式は、確率をそのまま変換するとわかる。正規分布は平均 μ\mu の左右に確率が半分ずつある。また、指数関数は大小関係を変えないので、

Pr⁡(X≤eμ)=Pr⁡(eY≤eμ)=Pr⁡(Y≤μ)=12.\Pr(X\le e^\mu)=\Pr(e^Y\le e^\mu)=\Pr(Y\le\mu)=\frac12.

したがって XX の中央値は eμe^\mu である。

最頻値は、 XX の密度が最も高くなる xx を探して求める。密度が正の範囲では、対数を取っても大小関係は変わらないため、対数密度を最大にすればよい。 v=log⁡xv=\log x と置くと、

log⁡pX(ev)=−v−log⁡(σ2π)−(v−μ)22σ2.\log p_X(e^v) =-v-\log(\sigma\sqrt{2\pi})-\frac{(v-\mu)^2}{2\sigma^2}.

vv について微分し、傾きが0になる点を探す。

ddvlog⁡pX(ev)=−1−v−μσ2=0⟹v=μ−σ2.\frac{d}{dv}\log p_X(e^v) =-1-\frac{v-\mu}{\sigma^2}=0 \quad\Longrightarrow\quad v=\mu-\sigma^2.

二階微分は −1/σ2<0-1/\sigma^2<0 なので、この点は山の頂点である。 x=evx=e^v に戻すと最頻値は eμ−σ2e^{\mu-\sigma^2} となる。ここでは XX の密度の高さを調べており、 YY の密度の頂点をそのまま指数変換しているのではない。変数変換で付いた 1/x1/x により、頂点の位置も変わる。

import numpy as np
from scipy.stats import lognorm

income = lognorm(s=0.8, scale=np.exp(10.75))
print(income.median(), income.mean())  # 約46630.03、64215.51

ここで s は対数を取った変数の標準偏差、scale は eμe^\mu である。所得そのものの標準偏差を s に入れるわけではない。この対応は SciPyの対数正規分布の公式資料 による。

平均が二乗誤差を最小にする理由

推測値を aa 、平均を m=E[Y]m=\mathrm E[Y] とする。二乗を展開すると、

E[(Y−a)2]=E[{(Y−m)+(m−a)}2]=E[(Y−m)2+2(Y−m)(m−a)+(m−a)2]=E[(Y−m)2]+2(m−a)E[Y−m]+(m−a)2=Var⁡(Y)+2(m−a)×0+(m−a)2=Var⁡(Y)+(m−a)2.\begin{aligned} \mathrm E[(Y-a)^2] &=\mathrm E[\{(Y-m)+(m-a)\}^2]\\ &=\mathrm E[(Y-m)^2+2(Y-m)(m-a)+(m-a)^2]\\ &=\mathrm E[(Y-m)^2]+2(m-a)\mathrm E[Y-m]+(m-a)^2\\ &=\operatorname{Var}(Y)+2(m-a)\times0+(m-a)^2\\ &=\operatorname{Var}(Y)+(m-a)^2. \end{aligned}

ここでは、期待値には「和の期待値は期待値の和」「定数は外へ出せる」という性質を使っている。 mm と aa は定数なので、途中の項は 2(m−a)E[Y−m]2(m-a)\mathrm E[Y-m] となる。そして E[Y−m]=E[Y]−m=m−m=0\mathrm E[Y-m]=\mathrm E[Y]-m=m-m=0 なので消える。

最後の式のうち、分散は推測値 aa を変えても動かない。一方、 (m−a)2(m-a)^2 は必ず0以上であり、 a=ma=m のときだけ0になる。したがって、平均を推測値に選ぶと、二乗誤差の期待値が最小になる。たとえば成功回数 Y∼binomial⁡(4,0.25)Y\sim\operatorname{binomial}(4,0.25) は平均1、分散0.75なので、 a=1a=1 の期待損失は0.75、 a=0a=0 や a=2a=2 なら 0.75+1=1.750.75+1=1.75 である。この説明では E[Y2]<∞\mathrm E[Y^2]<\infty 、つまり二乗した値の平均が有限であると仮定する。

また、「標本平均がすべての情報を含む」という教科書の記述は、特定のモデルの特定のパラメータについての話である。たとえば二項モデルで試行数が既知なら、成功総数と標本平均は同じ情報を表す。一方、平均と分散の両方が未知の正規モデルでは、標本平均だけで分散についての情報まで保持することはできない。

分布の位置に加えて、分布がどれほど広がっているかについても関心があることが多い。分布の広がりに関して最もよく用いられる尺度は、分散(variance)である。

Var⁡[Y]=E[(Y−E[Y])2]=E[Y2−2YE[Y]+E[Y]2]=E[Y2]−2E[Y]2+E[Y]2=E[Y2]−E[Y]2.\begin{aligned} \operatorname{Var}[Y] &=\mathrm E[(Y-\mathrm E[Y])^2]\\ &=\mathrm E[Y^2-2Y\mathrm E[Y]+\mathrm E[Y]^2]\\ &=\mathrm E[Y^2]-2\mathrm E[Y]^2+\mathrm E[Y]^2\\ &=\mathrm E[Y^2]-\mathrm E[Y]^2. \end{aligned}

分散は、確率変数 YY と母平均 E[Y]\mathrm E[Y] の平均二乗距離である。標準偏差(standard deviation)は分散の平方根であり、 YY と同じ単位をもつ。

分布の広がりの他の尺度は分位数(quantiles)に基づくものである。連続かつ狭義増加な累積分布関数 FF に対して、 α\alpha 分位点は

F(yα)=Pr⁡(Y≤yα)=αF(y_\alpha)=\Pr(Y\le y_\alpha)=\alpha

となる値 yαy_\alpha のことである。中央50%の区間は (y0.25,y0.75)(y_{0.25},y_{0.75}) であり、そこには分布の質量の50%が含まれている。通常、四分位範囲(interquartile range, IQR)はこの区間の幅 y0.75−y0.25y_{0.75}-y_{0.25} を指す。同様に、区間 (y0.025,y0.975)(y_{0.025},y_{0.975}) には、分布の質量の95%が含まれている。

期待値と分散を、5個の値から確かめる

先ほどの二項分布の確率を使うと、

E[Y]=0(0.31640625)+1(0.421875)+2(0.2109375)+3(0.046875)+4(0.00390625)=1,E[Y2]=1(0.421875)+4(0.2109375)+9(0.046875)+16(0.00390625)=1.75,Var⁡(Y)=1.75−12=0.75.\begin{aligned} \mathrm E[Y] &=0(0.31640625)+1(0.421875)+2(0.2109375)\\ &\quad+3(0.046875)+4(0.00390625)=1,\\ \mathrm E[Y^2] &=1(0.421875)+4(0.2109375)+9(0.046875)+16(0.00390625)=1.75,\\ \operatorname{Var}(Y)&=1.75-1^2=0.75. \end{aligned}

標準偏差は 0.75≈0.866\sqrt{0.75}\approx0.866 回である。分散の単位は「回の二乗」だが、標準偏差は元の「回」に戻る。

分位点は累積確率から値を逆算する

標準正規分布の α\alpha 分位点を zαz_\alpha とする。標準化の式 Z=(Y−μ)/σZ=(Y-\mu)/\sigma を Y=μ+σZY=\mu+\sigma Z と解き直せば、元の尺度の分位点も、

yα=μ+σzαy_\alpha=\mu+\sigma z_\alpha

と戻せる。たとえば標準正規分布の25%分位点は約 −0.67449-0.67449 なので、 y0.25=10.75+0.8(−0.67449)≈10.2104y_{0.25}=10.75+0.8(-0.67449)\approx10.2104 となる。

正規分布 normal⁡(10.75,0.64)\operatorname{normal}(10.75,0.64) の場合、

(y0.25,y0.75)≈(10.2104,11.2896),IQR≈1.0792,(y_{0.25},y_{0.75})\approx(10.2104,11.2896),\qquad \mathrm{IQR}\approx1.0792,
(y0.025,y0.975)≈(9.1820,12.3180).(y_{0.025},y_{0.975})\approx(9.1820,12.3180).

normal.ppf([0.025, 0.975]) は、累積確率が2.5%と97.5%となる境界を求める。cdf が「値から確率」、ppf が「確率から値」である。

離散型では、 F(y)=αF(y)=\alpha を満たす値が存在しないこともある。その場合も使える定義が yα=inf⁡{y:F(y)≥α}y_\alpha=\inf\{y:F(y)\ge\alpha\} である。 inf⁡\inf は下限を表す記号だが、ここでの整数値の例では「小さい値から順に見て、累積確率が初めて α\alpha 以上になる値」と読めばよい。先ほどの二項分布では F(0)=0.31640625<0.5F(0)=0.31640625<0.5 、 F(1)=0.73828125≥0.5F(1)=0.73828125\ge0.5 なので、中央値は1である。0から1へ進んだところで累積確率が50%を飛び越えるため、中央値の左右にちょうど50%ずつが入るとは限らない。

2.5 同時分布

離散型分布

まず、

  • Y1,Y2\mathcal Y_1,\mathcal Y_2 を二つの可算な標本空間、

  • Y1,Y2Y_1,Y_2 をそれぞれ Y1,Y2\mathcal Y_1,\mathcal Y_2 に値をとる二つの確率変数

とする。 Y1Y_1 と Y2Y_2 に関する同時信念は、確率により表現される。たとえば、部分集合 A⊂Y1A\subset\mathcal Y_1 および B⊂Y2B\subset\mathcal Y_2 に対して、 Pr⁡({Y1∈A}∩{Y2∈B})\Pr(\{Y_1\in A\}\cap\{Y_2\in B\}) は、 Y1Y_1 が AA に入っていて、 Y2Y_2 が BB に入っているという信念を表す。 Y1Y_1 と Y2Y_2 の同時密度(joint pdf または joint density)は

pY1Y2(y1,y2)=Pr⁡({Y1=y1}∩{Y2=y2})(y1∈Y1, y2∈Y2)p_{Y_1Y_2}(y_1,y_2) =\Pr(\{Y_1=y_1\}\cap\{Y_2=y_2\}) \qquad(y_1\in\mathcal Y_1,\ y_2\in\mathcal Y_2)

により定義される。 Y1Y_1 の周辺密度(marginal density)は同時密度から計算することができる。

pY1(y1)≡Pr⁡(Y1=y1)=∑y2∈Y2Pr⁡({Y1=y1}∩{Y2=y2})≡∑y2∈Y2pY1Y2(y1,y2).\begin{aligned} p_{Y_1}(y_1) &\equiv\Pr(Y_1=y_1)\\ &=\sum_{y_2\in\mathcal Y_2}\Pr(\{Y_1=y_1\}\cap\{Y_2=y_2\})\\ &\equiv\sum_{y_2\in\mathcal Y_2}p_{Y_1Y_2}(y_1,y_2). \end{aligned}

{Y1=y1}\{Y_1=y_1\} を与えたもとでの Y2Y_2 の条件付き密度(conditional density)は同時密度と周辺密度から計算できる。

pY2∣Y1(y2∣y1)=Pr⁡({Y1=y1}∩{Y2=y2})Pr⁡(Y1=y1)=pY1Y2(y1,y2)pY1(y1).\begin{aligned} p_{Y_2\mid Y_1}(y_2\mid y_1) &=\frac{\Pr(\{Y_1=y_1\}\cap\{Y_2=y_2\})}{\Pr(Y_1=y_1)}\\ &=\frac{p_{Y_1Y_2}(y_1,y_2)}{p_{Y_1}(y_1)}. \end{aligned}

読者は次が成り立つことも確認されたい。

  • {pY1,pY2∣Y1}\{p_{Y_1},p_{Y_2\mid Y_1}\} は pY1Y2p_{Y_1Y_2} から計算可能。

  • {pY2,pY1∣Y2}\{p_{Y_2},p_{Y_1\mid Y_2}\} は pY1Y2p_{Y_1Y_2} から計算可能。

  • pY1Y2p_{Y_1Y_2} は {pY1,pY2∣Y1}\{p_{Y_1},p_{Y_2\mid Y_1}\} から計算可能。

  • pY1Y2p_{Y_1Y_2} は {pY2,pY1∣Y2}\{p_{Y_2},p_{Y_1\mid Y_2}\} から計算可能。

であるが、

  • pY1Y2p_{Y_1Y_2} は {pY1,pY2}\{p_{Y_1},p_{Y_2}\} からは計算することができない。

密度関数の添字は省略されることがよくある。その場合、どの分布の密度関数であるかは関数の引数から決定される、つまり、 pY1(y1)p_{Y_1}(y_1) を p(y1)p(y_1) と書き、 pY1Y2(y1,y2)p_{Y_1Y_2}(y_1,y_2) を p(y1,y2)p(y_1,y_2) と書き、 pY1∣Y2(y1∣y2)p_{Y_1\mid Y_2}(y_1\mid y_2) を p(y1∣y2)p(y_1\mid y_2) などと表記することがある。

周辺分布だけでは「組み合わせ方」がわからない

Y1,Y2Y_1,Y_2 がそれぞれ0と1を半々の確率で取るとする。次の二つは同じ周辺分布をもつが、同時分布は異なる。

(Y1,Y2)(Y_1,Y_2) 独立なモデル 必ず一致するモデル
(0,0)(0,0) 0.25 0.50
(0,1)(0,1) 0.25 0
(1,0)(1,0) 0.25 0
(1,1)(1,1) 0.25 0.50

どちらも Pr⁡(Y1=1)=Pr⁡(Y2=1)=0.5\Pr(Y_1=1)=\Pr(Y_2=1)=0.5 である。しかし Pr⁡(Y2=1∣Y1=1)\Pr(Y_2=1\mid Y_1=1) は、左なら0.5、右なら1となる。つまり、各変数を別々に見るだけでは、二つがどのように結び付いているかは復元できない。

独立性を追加で仮定すれば p(y1,y2)=p(y1)p(y2)p(y_1,y_2)=p(y_1)p(y_2) と決まるが、それは周辺分布から自動的に出る結論ではない。また、 p(y1,y2)=p(y1)p(y2∣y1)p(y_1,y_2)=p(y_1)p(y_2\mid y_1) は独立性がなくても使える。条件付き分布が、結び付き方についての不足していた情報を担うからである。

例:社会流動性

Logan (1983) は、父親と息子の職業区分について表2.1の同時分布を報告している。

表2.1 職業区分についての同時分布

父親の職業  息子の職業 農家 製造業 職工 営業職 大学教授
農家 0.018 0.035 0.031 0.008 0.018
製造業 0.002 0.112 0.064 0.032 0.069
職工 0.001 0.066 0.094 0.032 0.084
営業職 0.001 0.018 0.019 0.010 0.051
大学教授 0.001 0.029 0.032 0.043 0.130

この母集団から父親と息子の組をサンプリングするとしよう。 Y1Y_1 を父親の職業、 Y2Y_2 を息子の職業とする。このとき、

Pr⁡(Y2=大学教授∣Y1=農家)=Pr⁡(Y2=大学教授∩Y1=農家)Pr⁡(Y1=農家)=0.0180.018+0.035+0.031+0.008+0.018=0.164\begin{aligned} \Pr(Y_2=\text{大学教授}\mid Y_1=\text{農家}) &=\frac{\Pr(Y_2=\text{大学教授}\cap Y_1=\text{農家})}{\Pr(Y_1=\text{農家})}\\ &=\frac{0.018}{0.018+0.035+0.031+0.008+0.018}\\ &=0.164 \end{aligned}

となる。

同じセルでも、割る合計が違うと答えが変わる

表2.1の25個の確率を足すと1になる。父親の分布は各行の合計、息子の分布は各列の合計である。

職業 父親の周辺確率 息子の周辺確率
農家 0.110 0.023
製造業 0.279 0.260
職工 0.277 0.240
営業職 0.099 0.125
大学教授 0.235 0.352

父親が農家という条件では、農家の行全体を1にし直す。したがって、息子の職業分布は、

(0.018,0.035,0.031,0.008,0.018)0.110≈(0.1636,0.3182,0.2818,0.0727,0.1636).\frac{(0.018,0.035,0.031,0.008,0.018)}{0.110} \approx(0.1636,0.3182,0.2818,0.0727,0.1636).

逆向きに「息子が大学教授なら、父親が農家である確率」を求める場合、分子は同じ0.018だが分母は大学教授の列の合計0.352となる。

Pr⁡(Y1=農家∣Y2=大学教授)=0.0180.352≈0.05114.\Pr(Y_1=\text{農家}\mid Y_2=\text{大学教授}) =\frac{0.018}{0.352}\approx0.05114.

0.1636と0.05114は異なる問いの答えである。条件付き確率では、何を既知として対象を絞ったのかを毎回確認するとよい。

下図は各行をそれぞれ1に正規化したものである。セルは確率が高いほど青が濃くなり、数値も直接表示している。表2.1の同時確率とは異なり、図全体ではなく 一つの行の合計が1 になる。

補助図:父親の職業を条件とした息子の職業分布。各行の合計は1である。

たとえば、父親が大学教授の行では息子も大学教授である確率が 0.130/0.235≈0.55320.130/0.235\approx0.5532 となる。息子全体での確率0.352と違うため、この表では父親と息子の職業は独立ではない。職業名は提供本文の表記を踏襲している。

連続型分布

まず、 Y1Y_1 と Y2Y_2 が連続型であるときの累積分布関数を定義する。連続型同時累積分布関数

FY1Y2(a,b)=Pr⁡({Y1≤a}∩{Y2≤b})F_{Y_1Y_2}(a,b)=\Pr(\{Y_1\le a\}\cap\{Y_2\le b\})

が与えられ、同時分布が密度をもつと仮定したとき、

FY1Y2(a,b)=∫−∞a∫−∞bpY1Y2(y1,y2) dy2dy1F_{Y_1Y_2}(a,b) =\int_{-\infty}^{a}\int_{-\infty}^{b}p_{Y_1Y_2}(y_1,y_2)\,dy_2dy_1

を満たすような関数 pY1Y2p_{Y_1Y_2} が存在する。この関数 pY1Y2p_{Y_1Y_2} は Y1Y_1 と Y2Y_2 の同時密度である。離散型の場合と同じように、

  • pY1(y1)=∫−∞∞pY1Y2(y1,y2) dy2\displaystyle p_{Y_1}(y_1)=\int_{-\infty}^{\infty}p_{Y_1Y_2}(y_1,y_2)\,dy_2 。

  • pY2∣Y1(y2∣y1)=pY1Y2(y1,y2)/pY1(y1)\displaystyle p_{Y_2\mid Y_1}(y_2\mid y_1)=p_{Y_1Y_2}(y_1,y_2)/p_{Y_1}(y_1) 。

が成り立つ。二重積分では、まず y1y_1 を固定して y2y_2 方向に積分し、次に y1y_1 方向に積分する。離散型の表で「各行のセルを足し、その行合計をさらに足す」操作に対応する。

条件付き密度の面積が1になることも確かめよう。 pY1(y1)>0p_{Y_1}(y_1)>0 となる y1y_1 を一つ固定する。この分母は積分変数 y2y_2 によらないため、積分の外に出せる。

∫−∞∞pY2∣Y1(y2∣y1) dy2=1pY1(y1)∫−∞∞pY1Y2(y1,y2) dy2=pY1(y1)pY1(y1)=1.\begin{aligned} \int_{-\infty}^{\infty}p_{Y_2\mid Y_1}(y_2\mid y_1)\,dy_2 &=\frac{1}{p_{Y_1}(y_1)} \int_{-\infty}^{\infty}p_{Y_1Y_2}(y_1,y_2)\,dy_2\\ &=\frac{p_{Y_1}(y_1)}{p_{Y_1}(y_1)}=1. \end{aligned}

分子の積分が周辺密度そのものなので、最後は同じ値どうしの割り算になる。密度は非負でもあるため、条件付き密度として必要な性質が確認できた。

数値例:積分で一方の変数を消し、残ったものを正規化する

説明用に、三角形 0<y2<y1<10<y_2<y_1<1 の中で同時密度が2、それ以外で0の分布を考える。三角形の面積は 1/21/2 なので、全確率は 2×1/2=12\times1/2=1 となる。

y1y_1 を固定すると、 y2y_2 の範囲は0から y1y_1 である。したがって、

pY1(y1)=∫0y12 dy2=2y1,0<y1<1.p_{Y_1}(y_1)=\int_0^{y_1}2\,dy_2=2y_1,\qquad0<y_1<1.

Y1=0.8Y_1=0.8 のときの条件付き密度は、

p(y2∣Y1=0.8)=22×0.8=1.25,0<y2<0.8.p(y_2\mid Y_1=0.8)=\frac{2}{2\times0.8}=1.25,\qquad0<y_2<0.8.

実際に ∫00.81.25 dy2=1\int_0^{0.8}1.25\,dy_2=1 なので、正しく正規化された密度である。また、

Pr⁡(Y2<0.2∣Y1=0.8)=1.25×0.2=0.25.\Pr(Y_2<0.2\mid Y_1=0.8)=1.25\times0.2=0.25.

逆に y2y_2 を固定すると、条件 y2<y1<1y_2<y_1<1 より、 y1y_1 の積分範囲は y2y_2 から1となる。したがって、

pY2(y2)=∫y212 dy1=[2y1]y21=2−2y2=2(1−y2),0<y2<1.p_{Y_2}(y_2)=\int_{y_2}^1 2\,dy_1 =\left[2y_1\right]_{y_2}^1=2-2y_2=2(1-y_2),\quad0<y_2<1.

角括弧 [g(t)]ab[g(t)]_a^b は、上端での値から下端での値を引く g(b)−g(a)g(b)-g(a) という記法である。これを使うと、条件を付けない確率は、

Pr⁡(Y2<0.2)=∫00.2(2−2y2) dy2=[2y2−y22]00.2=(0.4−0.04)−(0−0)=0.36.\begin{aligned} \Pr(Y_2<0.2) &=\int_0^{0.2}(2-2y_2)\,dy_2\\ &=\left[2y_2-y_2^2\right]_0^{0.2}\\ &=(0.4-0.04)-(0-0)=0.36. \end{aligned}

先ほどの条件付き確率0.25と異なるため、この二つの変数は独立ではない。

連続型では Pr⁡(Y1=0.8)=0\Pr(Y_1=0.8)=0 だが、上の条件付き密度は意味をもつ。これは点の確率同士を割った 0/00/0 ではなく、同時 密度 を周辺 密度 で割ったものである。滑らかな場合には、 Y1Y_1 を0.8の周辺の狭い区間に限定し、その幅を小さくする操作として理解できる。比を使う場所では周辺密度が正であることを仮定する。

なお、各変数が連続型だからといって必ず同時密度があるわけではない。たとえば Y2=Y1Y_2=Y_1 なら、二変数の分布は平面上の一本の対角線に集中する。そのため、本節の積分表示には「同時密度が存在する」という前提を明示した。

連続型確率変数と離散型確率変数の混合

Y1Y_1 を離散型確率変数、 Y2Y_2 を連続型確率変数とする。たとえば、 Y1Y_1 は職業区分であり、 Y2Y_2 は個人所得である場合などがそうである。以下を定義する。

  • われわれの信念 Pr⁡(Y1=y1)\Pr(Y_1=y_1) に対する、周辺密度 pY1p_{Y_1} 。

  • 上と同様、 Pr⁡(Y2≤y2∣Y1=y1)≡FY2∣Y1(y2∣y1)\Pr(Y_2\le y_2\mid Y_1=y_1)\equiv F_{Y_2\mid Y_1}(y_2\mid y_1) に対する、条件付き密度 pY2∣Y1(y2∣y1)p_{Y_2\mid Y_1}(y_2\mid y_1) 。

Y1Y_1 と Y2Y_2 の同時密度は

pY1Y2(y1,y2)=pY1(y1)×pY2∣Y1(y2∣y1)p_{Y_1Y_2}(y_1,y_2)=p_{Y_1}(y_1)\times p_{Y_2\mid Y_1}(y_2\mid y_1)

となり、これは次の性質をもつ。

Pr⁡(Y1∈A,Y2∈B)=∫y2∈B{∑y1∈ApY1Y2(y1,y2)} dy2.\Pr(Y_1\in A,Y_2\in B) =\int_{y_2\in B}\left\{\sum_{y_1\in A}p_{Y_1Y_2}(y_1,y_2)\right\}\,dy_2.

離散と連続の混合では、和と積分を役割で使い分ける

仮想的な職業区分A、Bがあり、その割合が0.4、0.6とする。職業Aの所得が300万円を超える確率を0.2、職業Bでは0.7とすると、

Pr⁡(Aかつ所得>300)=0.4×0.2=0.08,\Pr(\text{Aかつ所得}>300)=0.4\times0.2=0.08,
Pr⁡(所得>300)=0.4×0.2+0.6×0.7=0.50.\Pr(\text{所得}>300)=0.4\times0.2+0.6\times0.7=0.50.

よって、所得が300万円を超えるという条件のもとでAである確率は 0.08/0.50=0.160.08/0.50=0.16 となる。職業については二つの区分を足し、所得については300より大きい範囲の密度を積分する。上の0.2と0.7は、その積分を計算済みの値である。

これから扱う「連続な成功率 θ\theta と離散な成功回数 YY 」も同じ構造である。

ベイズルールとパラメータ推定

θ=大都市に住む、ある特徴をもっている人々の割合,\theta=\text{大都市に住む、ある特徴をもっている人々の割合},
Y=母集団からの少数のランダムサンプルの中でその特徴をもっている人の数.Y=\text{母集団からの少数のランダムサンプルの中でその特徴をもっている人の数}.

θ\theta を連続型として扱い、 YY を離散型として扱うことにしよう。 θ\theta のベイズ推定は、 p(θ∣y)p(\theta\mid y) の計算をすることにより導かれる。ここで、 yy は YY の観測値であるとする。この計算を始めるには、 θ\theta と調査結果 YY に関する信念を表す同時密度 p(y,θ)p(y,\theta) が必要である。この同時密度は

  • p(θ)p(\theta) ( θ\theta に関する信念)、

  • p(y∣θ)p(y\mid\theta) ( θ\theta の各値に対しての YY に関する信念)

から構築するのが自然であることが多い。 {Y=y}\{Y=y\} を観測したら、 θ\theta に関して更新された信念を計算する必要がある。

p(θ∣y)=p(θ,y)/p(y)=p(θ)p(y∣θ)/p(y).p(\theta\mid y)=p(\theta,y)/p(y)=p(\theta)p(y\mid\theta)/p(y).

この条件付き密度を θ\theta の事後密度(posterior density)という。たとえば θa=0.6\theta_a=0.6 と θb=0.3\theta_b=0.3 のように、成功率の候補を二つ選び、観測後の密度の高さを比べたいとする。分母の密度が正なら、その比は、

p(θa∣y)p(θb∣y)=p(θa)p(y∣θa)/p(y)p(θb)p(y∣θb)/p(y)=p(θa)p(y∣θa)p(θb)p(y∣θb)\begin{aligned} \frac{p(\theta_a\mid y)}{p(\theta_b\mid y)} &=\frac{p(\theta_a)p(y\mid\theta_a)/p(y)}{p(\theta_b)p(y\mid\theta_b)/p(y)}\\ &=\frac{p(\theta_a)p(y\mid\theta_a)}{p(\theta_b)p(y\mid\theta_b)} \end{aligned}

で与えられる。共通の p(y)p(y) が約分されるので、二つの候補の事後密度の比だけなら、 p(y)p(y) を計算しなくても求まる。同じことを比例記号 ∝\propto で書くと、

p(θ∣y)∝p(θ)p(y∣θ)p(\theta\mid y)\propto p(\theta)p(y\mid\theta)

とすることである。上の式の比例定数は 1/p(y)1/p(y) であり、これは

p(y)=∫Θp(y,θ) dθ=∫Θp(y∣θ)p(θ) dθp(y)=\int_{\Theta}p(y,\theta)\,d\theta =\int_{\Theta}p(y\mid\theta)p(\theta)\,d\theta

により計算でき、事後分布は

p(θ∣y)=p(θ)p(y∣θ)∫Θp(t)p(y∣t) dtp(\theta\mid y) =\frac{p(\theta)p(y\mid\theta)}{\int_{\Theta}p(t)p(y\mid t)\,dt}

となる。 Θ\Theta はパラメータの候補全体であり、割合なら [0,1][0,1] である。最後の式では、分母の積分変数を tt に変えた。分子の θ\theta は「いま密度を評価したい一つの候補」、分母の tt は「すべての候補を順に調べて足し合わせるための変数」と区別するためである。積分を終えた分母には tt も θ\theta も残らず、観測値 yy に対する一つの数が得られる。

分母を CC と書けば、事後密度の面積は次のように1になる。

∫Θp(θ∣y) dθ=1C∫Θp(θ)p(y∣θ) dθ=CC=1.\int_\Theta p(\theta\mid y)\,d\theta =\frac{1}{C}\int_\Theta p(\theta)p(y\mid\theta)\,d\theta =\frac{C}{C}=1.

つまり、ベイズ更新は「各候補の事前密度に、データの起きやすさを掛ける」「できた曲線の全面積で割る」という二つの操作である。ここでは 0<C<∞0<C<\infty を仮定している。

一つずつ計算する:4回中3回成功した後の成功率

計算を始める前に、同じ式に登場する四つの役割を整理しておく。

記号 名前 問い
p(θ)p(\theta) 事前分布 観測前に、どの割合をどの程度もっともらしいと考えるか
p(y∣θ)p(y\mid\theta) 標本モデル、観測後に θ\theta の関数として見ると尤度 その割合なら、今回の観測はどれほど起きやすいか
p(y)p(y) 周辺尤度、観測の周辺確率 割合の不確かさを含めると、今回の観測はどれほど起きやすいか
p(θ∣y)p(\theta\mid y) 事後分布 観測後に、どの割合をどの程度もっともらしいと考えるか

未知の成功率を 0<θ<10<\theta<1 とし、最初は p(θ)=1p(\theta)=1 という一様な事前密度を置く。これは各点に確率1を与えるのではなく、長さ0.1の区間なら確率0.1を与えるという意味である。

次に、 θ\theta を固定したもとで独立な試行を4回行い、3回成功したとする。観測モデルは二項分布であり、

p(Y=3∣θ)=(43)θ3(1−θ)=4θ3(1−θ).p(Y=3\mid\theta)=\binom43\theta^3(1-\theta)=4\theta^3(1-\theta).

この式を θ\theta の関数として見ると 尤度 と呼ぶ。「データを固定して、どのパラメータのもとでそのデータが起きやすいか」を表す。 YY の全候補については和が1になるが、 θ\theta について積分して1になるとは限らない。

実際、観測の周辺確率は、

p(Y=3)=∫014θ3(1−θ) dθ=4∫01(θ3−θ4) dθ=4[θ44−θ55]01=4(14−15)=15=0.2.\begin{aligned} p(Y=3) &=\int_0^1 4\theta^3(1-\theta)\,d\theta\\ &=4\int_0^1(\theta^3-\theta^4)\,d\theta\\ &=4\left[\frac{\theta^4}{4}-\frac{\theta^5}{5}\right]_0^1\\ &=4\left(\frac14-\frac15\right)=\frac15=0.2. \end{aligned}

この計算では、 ∫θr dθ=θr+1/(r+1)\int\theta^r\,d\theta=\theta^{r+1}/(r+1) を使った。たとえば θ4/4\theta^4/4 を微分すると θ3\theta^3 に戻る。下端0では両項が0となるため、上端1での 1/4−1/51/4-1/5 だけが残る。

そこで、事後密度は、

p(θ∣Y=3)=1×4θ3(1−θ)0.2=20θ3(1−θ),0<θ<1.p(\theta\mid Y=3) =\frac{1\times4\theta^3(1-\theta)}{0.2} =20\theta^3(1-\theta),\quad0<\theta<1.

∫0120θ3(1−θ) dθ=1\int_0^1 20\theta^3(1-\theta)\,d\theta=1 なので、確率密度になっている。たとえば θ=0.6\theta=0.6 では密度が 20(0.6)3(0.4)=1.72820(0.6)^3(0.4)=1.728 となるが、1を超えてよい。確率は面積で求める。

Pr⁡(θ>0.5∣Y=3)=∫0.5120(θ3−θ4) dθ=[5θ4−4θ5]0.51=1−0.1875=0.8125.\begin{aligned} \Pr(\theta>0.5\mid Y=3) &=\int_{0.5}^1 20(\theta^3-\theta^4)\,d\theta\\ &=\left[5\theta^4-4\theta^5\right]_{0.5}^1 =1-0.1875=0.8125. \end{aligned}

事後平均も直接計算できる。

E[θ∣Y=3]=20∫01(θ4−θ5) dθ=20(15−16)=23.\mathrm E[\theta\mid Y=3] =20\int_0^1(\theta^4-\theta^5)\,d\theta =20\left(\frac15-\frac16\right)=\frac23.

3/4という観測割合と事後平均2/3は、違う計算である。3/4はデータ中の成功割合であり、この例では尤度が最大になる成功率でもある。一方、事後平均は0から1までのすべての成功率を、事後密度で重み付けして平均した値である。一様な事前分布を使っても、観測割合だけに確率を集中させるわけではない。この事後分布はベータ分布 Beta⁡(4,2)\operatorname{Beta}(4,2) と呼ばれる。

ベータ分布の二つの数と指数の対応も確認しておこう。正の数 a,ba,b に対して、ベータ分布の密度は、

p(θ)=θa−1(1−θ)b−1B(a,b),B(a,b)=∫01ta−1(1−t)b−1 dtp(\theta)=\frac{\theta^{a-1}(1-\theta)^{b-1}}{B(a,b)},\qquad B(a,b)=\int_0^1 t^{a-1}(1-t)^{b-1}\,dt

である。 B(a,b)B(a,b) は、分子の全面積を表す記号であり、これで割ることで面積を1にしている。今回の指数は3と1なので、 a−1=3a-1=3 、 b−1=1b-1=1 、すなわち a=4,b=2a=4,b=2 となる。また B(4,2)=1/4−1/5=1/20B(4,2)=1/4-1/5=1/20 なので、先ほどの密度の係数20とも一致する。

次の図は、尤度と正規化された事後密度を別の縦軸で示している。形が同じでも、縦軸の意味と面積が違う点を見る。

補助図:一様事前のもとでは、尤度の面積0.2で割ることで、面積1の事後密度が得られる。

一様事前では尤度と事後密度の形が比例するが、一般の事前分布では、まず尤度に事前密度を掛けてから正規化する。

from scipy.stats import beta

post = beta(4, 2)
print(post.mean())             # 0.6666666667
print(post.sf(0.5))             # 0.8125
print(post.pdf(0.6))            # 1.728
print(post.ppf([0.025, 0.975]))  # 約 [0.283582, 0.947255]

ベータ分布の密度と各関数の定義は SciPyの公式資料 による。ここで95%区間は、 採用した事前分布と観測モデルのもとで、成功率の事後確率95%を含む区間 である。

比例記号で落としてよいものは何か

観測済みの yy を固定すると、分母 p(y)p(y) は θ\theta によらない。したがって、 θ\theta の相対的な評価には不要であり、 p(θ∣y)∝p(θ)p(y∣θ)p(\theta\mid y)\propto p(\theta)p(y\mid\theta) と書ける。ただし、区間の確率や期待値を求めるには、密度の面積を1に揃える必要がある。

また、連続パラメータの p(θa∣y)/p(θb∣y)p(\theta_a\mid y)/p(\theta_b\mid y) は 密度比 であって、点の事後確率の比ではない。両方の点確率は0である。密度比は、同じ十分小さな幅の区間の確率比として読むとよい。分母の密度が正であることも前提となる。

100人中54人という例への接続

同じ一様事前を用い、100人を条件付き独立な二項標本としてモデル化すれば、

p(θ∣Y=54)∝p(θ)p(Y=54∣θ)=1×(10054)θ54(1−θ)100−54∝θ54(1−θ)46.\begin{aligned} p(\theta\mid Y=54) &\propto p(\theta)p(Y=54\mid\theta)\\ &=1\times\binom{100}{54}\theta^{54}(1-\theta)^{100-54}\\ &\propto\theta^{54}(1-\theta)^{46}. \end{aligned}

最後の行では、二項係数が θ\theta によらないので、比例関係の中では省略した。ベータ密度の指数と照合すると、 a−1=54a-1=54 、 b−1=46b-1=46 なので、

θ∣Y=54∼Beta⁡(55,47)\theta\mid Y=54\sim\operatorname{Beta}(55,47)

とわかる。ベータ分布の平均は a/(a+b)a/(a+b) なので、この場合は 55/(55+47)=55/102≈0.5392255/(55+47)=55/102\approx0.53922 となる。この平均の公式は、定義から E[θ]=B(a+1,b)/B(a,b)\mathrm E[\theta]=B(a+1,b)/B(a,b) と書き、ベータ関数の比を整理したものである。正の整数 a,ba,b なら、2.7節で導く階乗の公式から、

B(a+1,b)B(a,b)=a!(b−1)!(a+b)!(a+b−1)!(a−1)!(b−1)!=aa+b\frac{B(a+1,b)}{B(a,b)} =\frac{a!(b-1)!}{(a+b)!} \frac{(a+b-1)!}{(a-1)!(b-1)!} =\frac{a}{a+b}

と確かめられる。

Pr⁡(θ≥0.5∣Y=54)\Pr(\theta\ge0.5\mid Y=54) は、この事後密度を0.5から1まで積分して求める。中央95%区間は、累積確率が0.025と0.975になる境界である。

post54 = beta(55, 47)
print(post54.sf(0.5))             # 約0.78692
print(post54.mean())              # 約0.53922
print(post54.ppf([0.025, 0.975]))  # 約 [0.44243, 0.63455]

これは2.2節で保留した問いを、 一様事前と二項モデルを追加した場合 に解いた値である。54という観測値だけから一意に決まる確率ではない。

2.6 独立な確率変数

Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} を確率変数とし、これらの確率変数が生成される条件を表すパラメータを θ\theta とする。 Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} が θ\theta が与えられたもとで条件付き独立であるとは、 nn 個の集合からなる任意の集合族 {A1,…,An}\{A_1,\ldots,A_n\} に対して、

Pr⁡(Y(1)∈A1,…,Y(n)∈An∣θ)=Pr⁡(Y(1)∈A1∣θ)×⋯×Pr⁡(Y(n)∈An∣θ)\Pr(Y^{(1)}\in A_1,\ldots,Y^{(n)}\in A_n\mid\theta) =\Pr(Y^{(1)}\in A_1\mid\theta)\times\cdots\times\Pr(Y^{(n)}\in A_n\mid\theta)

が成り立つことをいう。この独立な確率変数の定義は、前に述べた独立な事象の定義に基づいていることに注意する。つまり、ここでは各 {Y(j)∈Aj}\{Y^{(j)}\in A_j\} が事象となっている。先の計算から、もし独立性が成り立っていれば

Pr⁡(Y(i)∈Ai∣θ,Y(j)∈Aj)=Pr⁡(Y(i)∈Ai∣θ)\Pr(Y^{(i)}\in A_i\mid\theta,Y^{(j)}\in A_j)=\Pr(Y^{(i)}\in A_i\mid\theta)

となり、条件付き独立性は θ\theta を知っている場合は、 Y(j)Y^{(j)} は Y(i)Y^{(i)} に関する追加情報を与えないことを意味していると解釈できる。さらに、独立性のもとでは、同時密度は

p(y(1),…,y(n)∣θ)=pY(1)(y(1)∣θ)×⋯×pY(n)(y(n)∣θ)=∏i=1npY(i)(y(i)∣θ)p(y^{(1)},\ldots,y^{(n)}\mid\theta) =p_{Y^{(1)}}(y^{(1)}\mid\theta)\times\cdots\times p_{Y^{(n)}}(y^{(n)}\mid\theta) =\prod_{i=1}^{n}p_{Y^{(i)}}(y^{(i)}\mid\theta)

のように周辺密度の積の形で与えられる。

Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} は、同一のデータ生成過程から同様に生成されたとする。たとえば、それらがすべて同じ母集団からのサンプル、または同様の条件下で実行された実験の結果である場合などがそうである。これは、次で与えられるように、周辺密度がある共通の密度にすべて等しいことを意味している。

p(y(1),…,y(n)∣θ)=∏i=1np(y(i)∣θ).p(y^{(1)},\ldots,y^{(n)}\mid\theta)=\prod_{i=1}^{n}p(y^{(i)}\mid\theta).

この場合、 Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} は条件付き独立であり、同一分布に従う(conditionally independent and identically distributed, i.i.d.)という。数学的な略記として

Y(1),…,Y(n)∣θ∼i.i.d. p(y∣θ)Y^{(1)},\ldots,Y^{(n)}\mid\theta\sim \text{i.i.d. }p(y\mid\theta)

を採用することにする。

「独立」と「同一分布」は別々の仮定である

独立性は「他の結果を知っても分布が変わらない」という関係の性質である。同一分布は「各変数の分布が同じ」という性質である。たとえば、成功率0.2のコインと0.8のコインを独立に投げれば、独立だが同一分布ではない。一方、一つのコインの結果を2か所に同じ値として記録すれば、二つの記録は同一分布だが独立ではない。

Y(1),…,Y(4)∣θY^{(1)},\ldots,Y^{(4)}\mid\theta が成功確率 θ\theta の独立同一なベルヌーイ変数なら、特定の観測列 (1,0,1,1)(1,0,1,1) について、

p(1,0,1,1∣θ)=θ(1−θ)θθ=θ3(1−θ).p(1,0,1,1\mid\theta) =\theta(1-\theta)\theta\theta =\theta^3(1-\theta).

θ=0.6\theta=0.6 を入れると 0.63×0.4=0.08640.6^3\times0.4=0.0864 となる。成功が3回という 個数だけ の確率は、4通りの位置を足すため 4×0.0864=0.34564\times0.0864=0.3456 である。

ベルヌーイ変数が0か1なので、 θy(i)(1−θ)1−y(i)\theta^{y^{(i)}}(1-\theta)^{1-y^{(i)}} は、 y(i)=1y^{(i)}=1 のとき θ\theta 、 y(i)=0y^{(i)}=0 のとき 1−θ1-\theta を選ぶ便利な書き方である。積を取ると指数が加わり、成功総数 s=∑iy(i)s=\sum_i y^{(i)} によって θs(1−θ)n−s\theta^s(1-\theta)^{n-s} にまとまる。

途中式を書くと、次のようになる。記号 ∏i=1n\prod_{i=1}^n は、 i=1i=1 から nn までの項をすべて掛けることを表す。

∏i=1nθy(i)(1−θ)1−y(i)=(∏i=1nθy(i))(∏i=1n(1−θ)1−y(i))=θy(1)+⋯+y(n)(1−θ)(1−y(1))+⋯+(1−y(n))=θ∑i=1ny(i)(1−θ)n−∑i=1ny(i)=θs(1−θ)n−s.\begin{aligned} \prod_{i=1}^n\theta^{y^{(i)}}(1-\theta)^{1-y^{(i)}} &=\left(\prod_{i=1}^n\theta^{y^{(i)}}\right) \left(\prod_{i=1}^n(1-\theta)^{1-y^{(i)}}\right)\\ &=\theta^{y^{(1)}+\cdots+y^{(n)}} (1-\theta)^{(1-y^{(1)})+\cdots+(1-y^{(n)})}\\ &=\theta^{\sum_{i=1}^n y^{(i)}}(1-\theta)^{n-\sum_{i=1}^n y^{(i)}}\\ &=\theta^s(1-\theta)^{n-s}. \end{aligned}

最初の行では同じ底をもつ因子を集め、次の行では arat=ar+ta^r a^t=a^{r+t} を使った。失敗側の指数では1を nn 回足すので、合計が n−sn-s になる。

「同じ母集団から採った」という説明だけで、独立性まで自動的に保証されるわけではない。非復元抽出、同じ家族内の回答、時系列で近い観測などでは依存が残りうる。どの情報を θ\theta に含め、何を条件にすれば独立と考えられるのかを明示する必要がある。

さらに、 nn 個の独立性は、すべての組に対する二変数の独立性より強い。説明用に独立な公正コイン A,BA,B を用意し、 CC を「 A,BA,B が異なれば1、同じなら0」とする。任意の二つは独立だが、三つのうち二つが決まると残りが決まる。たとえば Pr⁡(A=0,B=0,C=0)=1/4\Pr(A=0,B=0,C=0)=1/4 であり、三つの周辺確率の積 1/81/8 とは一致しない。本節の積の式は、全体としての独立性を仮定している。

2.7 交換可能性

例:幸福度

1998年の統合的社会調査の参加者に総じて幸せであるかどうかを尋ねた。 Y(i)Y^{(i)} をこの質問に関する確率変数とすると、

Y(i)={1(参加者 i が総じて幸せと答えた),0(その他)Y^{(i)}=\begin{cases} 1 & (\text{参加者 }i\text{ が総じて幸せと答えた}),\\ 0 & (\text{その他}) \end{cases}

と表される。本節では、ランダムに選ばれた調査対象者の最初の10人の回答 Y(1),…,Y(10)Y^{(1)},\ldots,Y^{(10)} についての同時信念の構造について考えていく。先の通り、 Pr⁡(Y(1)=y(1),…,Y(10)=y(10))\Pr(Y^{(1)}=y^{(1)},\ldots,Y^{(10)}=y^{(10)}) の代わりに p(y(1),…,y(10))p(y^{(1)},\ldots,y^{(10)}) と表記することにする。ただし、各 y(i)y^{(i)} は0か1のどちらかの値をとるとする。

交換可能性

三つの異なる調査結果に確率を割り当てるよう求められたとする。

p(1,0,0,1,0,1,1,0,1,1)=?p(1,0,0,1,0,1,1,0,1,1)=?
p(1,0,1,0,1,1,0,1,1,0)=?p(1,0,1,0,1,1,0,1,1,0)=?
p(1,1,0,0,1,1,0,0,1,1)=?p(1,1,0,0,1,1,0,0,1,1)=?

それらに同じ数値を割り当てることについて議論の余地はあるだろうか。各数列には六つの1と四つの0が含まれていることに注意する。

定義3(交換可能性)。 p(y(1),…,y(n))p(y^{(1)},\ldots,y^{(n)}) を Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} の同時密度とする。もし、 {1,…,n}\{1,\ldots,n\} の任意の置換 π\pi に対して

p(y(1),…,y(n))=p(y(π1),…,y(πn))p(y^{(1)},\ldots,y^{(n)})=p(y^{(\pi_1)},\ldots,y^{(\pi_n)})

が成り立つならば、 Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} は交換可能(exchangeable)であるという。

ここで「置換」は、位置の番号1から nn を並べ替えることである。たとえば n=3n=3 、 (π1,π2,π3)=(3,1,2)(\pi_1,\pi_2,\pi_3)=(3,1,2) なら、右辺は p(y(3),y(1),y(2))p(y^{(3)},y^{(1)},y^{(2)}) となる。定義が要求するのは、一つの並べ替えだけでなく、どの値の組についても、どの並べ替えについても確率が変わらないことである。大まかには「何番目かというラベルを、予測の手がかりにしない」と読める。

交換可能性は、観測列への確率の付け方についての性質である

理解のため、まず4人に減らして考える。下図のA〜Dは説明用の人物ID、1と0は回答を表す。左右で回答を変えず、位置だけを入れ替える。人物の個性やIDを予測情報として使わないモデルを考えている。

元の順序
A1
B0
C1
D1
1が3個、0が1個
位置を入れ替え
D1
A1
B0
C1
1が3個、0が1個
概念図:説明用の4人。人物IDと回答を保ったまま位置を変える。添字が情報をもたないモデルでは、二つの並びに同じ確率を与える。

同じ値の組を並べ替えても確率が変わらないことが、交換可能性である。実際に人を並べ替える操作は、この数学的な対称性を想像するための表現である。特定の標本を並べ替えられるという事実だけで、確率モデルが交換可能だと証明したことにはならない。

たとえば、添字が「若年者、壮年者、高齢者」を区別し、その属性で幸福度が変わると考えているなら、添字は情報をもつ。同様に、時系列の最初と最後で成功確率が変化する場合、順番を無視した交換可能性は適切でないことがある。交換可能性は、どの情報を使ったモデルなのかに依存する。

独立性と従属性

次の二つの確率の割り当てを考えよう。

Pr⁡(Y(10)=1)=a,\Pr(Y^{(10)}=1)=a,
Pr⁡(Y(10)=1∣Y(1)=Y(2)=⋯=Y(8)=Y(9)=1)=b.\Pr(Y^{(10)}=1\mid Y^{(1)}=Y^{(2)}=\cdots=Y^{(8)}=Y^{(9)}=1)=b.

このとき、 a<ba<b 、 a=ba=b あるいは a>ba>b は成り立つだろうか。もし、 a≠ba\ne b なら、 Y(10)Y^{(10)} は Y(1),…,Y(9)Y^{(1)},\ldots,Y^{(9)} とは独立ではない。

未知の幸福割合を全員が共有するモデルなら、9人続けて幸福と答えることは、その割合が高そうだという情報になる。そのため b>ab>a と考えることが自然である。たとえば一様事前を使う場合には、後で計算するように a=1/2a=1/2 、 b=10/11b=10/11 となる。

ただし、交換可能性だけで必ず b>ab>a になるわけではない。既知の割合から復元抽出する独立モデルなら a=ba=b となる。有限集団から非復元抽出する場合には、幸福な人を先に多く引くと残りが減り、 b<ab<a になることもある。

条件付き独立

誰かから、この調査の1,272人の回答をもとにした幸福度 θ\theta を聞いたとしよう。次のような確率の割り当ては妥当だろうか。

Pr⁡(Y(10)=1∣θ)≈?θ,\Pr(Y^{(10)}=1\mid\theta)\overset{?}{\approx}\theta,
Pr⁡(Y(10)=1∣Y(1)=y(1),…,Y(9)=y(9),θ)≈?θ,\Pr(Y^{(10)}=1\mid Y^{(1)}=y^{(1)},\ldots,Y^{(9)}=y^{(9)},\theta)\overset{?}{\approx}\theta,
Pr⁡(Y(9)=1∣Y(1)=y(1),…,Y(8)=y(8),Y(10)=y(10),θ)≈?θ.\Pr(Y^{(9)}=1\mid Y^{(1)}=y^{(1)},\ldots,Y^{(8)}=y^{(8)},Y^{(10)}=y^{(10)},\theta)\overset{?}{\approx}\theta.

もし、これらの確率の割り当てが妥当ならば、 Y(i)Y^{(i)} は θ\theta を与えたとき条件付き独立で、同一分布に従うと考えることができる。母集団のサイズ1,272はサンプルサイズ10に比べるととても大きい。このとき、重複を許さないサンプリングは重複を許したときのサンプリングと近似的に同じになる。条件付き独立性を仮定すると

Pr⁡(Y(i)=y(i)∣θ,Y(j)=y(j),j≠i)=θy(i)(1−θ)1−y(i),\Pr(Y^{(i)}=y^{(i)}\mid\theta,Y^{(j)}=y^{(j)},j\ne i)=\theta^{y^{(i)}}(1-\theta)^{1-y^{(i)}},
Pr⁡(Y(1)=y(1),…,Y(10)=y(10)∣θ)=∏i=110θy(i)(1−θ)1−y(i)=θ∑y(i)(1−θ)10−∑y(i)\begin{aligned} \Pr(Y^{(1)}=y^{(1)},\ldots,Y^{(10)}=y^{(10)}\mid\theta) &=\prod_{i=1}^{10}\theta^{y^{(i)}}(1-\theta)^{1-y^{(i)}}\\ &=\theta^{\sum y^{(i)}}(1-\theta)^{10-\sum y^{(i)}} \end{aligned}

という積の式が得られる。ここでの独立なベルヌーイ試行は、有限集団からの非復元抽出を近似するモデルである。著者のRコードでは四つのカテゴリーの人数が (467,667,113,25)(467,667,113,25) で、最初の二つを1にまとめている。そのため、

N=467+667+113+25=1272,M=467+667=1134,N=467+667+113+25=1272,\qquad M=467+667=1134,
θ=MN=11341272≈0.891509.\theta=\frac{M}{N}=\frac{1134}{1272}\approx0.891509.

この集団の人数が既知で、戻さずに9人抽出し全員が1だったとすると、次の1の確率は厳密には、

M−9N−9=11251263≈0.890736.\frac{M-9}{N-9}=\frac{1125}{1263}\approx0.890736.

θ≈0.891509\theta\approx0.891509 より少し小さい。違いは約0.000773である。既知の有限集団で「1の人が残りから減る」作用と、未知の割合を「観測から高そうだと学ぶ」作用は区別する必要がある。

import numpy as np

counts = np.array([467, 667, 113, 25])
happy = counts[:2].sum()
n = counts.sum()
print(happy / n)                # 0.89150943396
print((happy - 9) / (n - 9))     # 0.89073634204

以下では、条件付き独立なモデルを採用したうえで、割合の不確かさを考える。 θ\theta の不確かさを導入するには、事前分布 p(θ)p(\theta) を用いて信念を反映させる。このとき、 Y(1),…,Y(10)Y^{(1)},\ldots,Y^{(10)} の周辺同時分布は

p(y(1),…,y(10))=∫01p(y(1),…,y(10)∣θ)p(θ) dθ=∫01θ∑y(i)(1−θ)10−∑y(i)p(θ) dθ\begin{aligned} p(y^{(1)},\ldots,y^{(10)}) &=\int_0^1 p(y^{(1)},\ldots,y^{(10)}\mid\theta)p(\theta)\,d\theta\\ &=\int_0^1\theta^{\sum y^{(i)}}(1-\theta)^{10-\sum y^{(i)}}p(\theta)\,d\theta \end{aligned}

となる。さて、先に与えた、三つの二値の観測列の話に戻ると、

p(1,0,0,1,0,1,1,0,1,1)=∫θ6(1−θ)4p(θ) dθ,p(1,0,0,1,0,1,1,0,1,1)=\int\theta^6(1-\theta)^4p(\theta)\,d\theta,
p(1,0,1,0,1,1,0,1,1,0)=∫θ6(1−θ)4p(θ) dθ,p(1,0,1,0,1,1,0,1,1,0)=\int\theta^6(1-\theta)^4p(\theta)\,d\theta,
p(1,1,0,0,1,1,0,0,1,1)=∫θ6(1−θ)4p(θ) dθp(1,1,0,0,1,1,0,0,1,1)=\int\theta^6(1-\theta)^4p(\theta)\,d\theta

となる。三つの列で積分の中身も事前分布も同じなので、積分した結果も等しい。ほかの回答列でも、並べ替えによって1と0の個数は変わらないため、同じ議論ができる。したがって、このモデルでは Y(1),…,Y(10)Y^{(1)},\ldots,Y^{(10)} は交換可能である。

周辺化するのは、全員が共有する一つの割合である

先ほどの袋の例を一般化して、 θ\theta は0から1の間の未知の割合だと考える。図では、この割合をもつ母集団を「袋」で表す。袋そのものの材質や玉の総数をモデル化しているわけではない。

同じ袋を1個だけ選ぶ
赤玉の割合 θ は未知
1回目の玉 → 袋に戻す
2回目の玉 → 袋に戻す
2回とも、同じ未知の割合を共有する。
1回目が赤だとわかった後
観測:1回目は赤
赤の多い袋だという評価が上がる
2回目も赤という予測が上がる
袋の中身は同じ。変わるのは袋についての情報である。
概念図:未知の割合の共有が、観測どうしを情報の面で結び付ける。左の矢印は抽出、右の矢印は推論の順序を表す。袋は母集団の比喩である。

同時分布の式では、 θ\theta は積の外で一度だけ積分される。

p(y(1),…,y(n))=∫{∏i=1np(y(i)∣θ)}p(θ) dθ.p(y^{(1)},\ldots,y^{(n)}) =\int\left\{\prod_{i=1}^n p(y^{(i)}\mid\theta)\right\}p(\theta)\,d\theta.

これを次の式と取り違えてはいけない。

∏i=1n{∫p(y(i)∣θ)p(θ) dθ}.\prod_{i=1}^n\left\{\int p(y^{(i)}\mid\theta)p(\theta)\,d\theta\right\}.

後者は各観測の周辺確率を掛けており、各回で袋を独立に選び直すモデルに対応する。共通の一つの袋について学習する前者とは、違うモデルである。

一様事前で「交換可能だが独立ではない」を計算する

θ∼Uniform⁡(0,1)\theta\sim\operatorname{Uniform}(0,1) 、 Y(i)∣θ∼Bernoulli⁡(θ)Y^{(i)}\mid\theta\sim\operatorname{Bernoulli}(\theta) とする。まず一人だけなら、

Pr⁡(Y(i)=1)=∫01θ dθ=12.\Pr(Y^{(i)}=1)=\int_0^1\theta\,d\theta=\frac12.

二人とも1の確率は、

Pr⁡(Y(1)=1,Y(2)=1)=∫01θ2 dθ=13.\Pr(Y^{(1)}=1,Y^{(2)}=1)=\int_0^1\theta^2\,d\theta=\frac13.

一方、独立なら 1/2×1/2=1/41/2\times1/2=1/4 になるはずなので、周辺的には独立でない。条件付き確率も、

Pr⁡(Y(2)=1∣Y(1)=1)=1/31/2=23\Pr(Y^{(2)}=1\mid Y^{(1)}=1)=\frac{1/3}{1/2}=\frac23

に変わる。観測が他人の回答を物理的に変えたのではなく、共有する θ\theta について知ったことで予測が変わったのである。

共分散が、成功率の分散に等しくなる理由

二つの変数が一緒に大きくなりやすいかを測る量が、共分散 Cov⁡(Y(i),Y(j))\operatorname{Cov}(Y^{(i)},Y^{(j)}) である。それぞれの平均からのずれを掛け、その平均を取る。正なら同じ向きにずれやすく、負なら逆向きにずれやすい。式を展開すると、次の形になる。

Cov⁡(Y(i),Y(j))=E[(Y(i)−E[Y(i)])(Y(j)−E[Y(j)])]=E[Y(i)Y(j)]−E[Y(i)]E[Y(j)].\begin{aligned} \operatorname{Cov}(Y^{(i)},Y^{(j)}) &=\mathrm E[(Y^{(i)}-\mathrm E[Y^{(i)}])(Y^{(j)}-\mathrm E[Y^{(j)}])]\\ &=\mathrm E[Y^{(i)}Y^{(j)}]-\mathrm E[Y^{(i)}]\mathrm E[Y^{(j)}]. \end{aligned}

ここでは0と1だけを取るので、 E[Y(i)]=Pr⁡(Y(i)=1)\mathrm E[Y^{(i)}]=\Pr(Y^{(i)}=1) である。また、積 Y(i)Y(j)Y^{(i)}Y^{(j)} が1になるのは両方が1のときだけなので、 E[Y(i)Y(j)]=Pr⁡(Y(i)=1,Y(j)=1)\mathrm E[Y^{(i)}Y^{(j)}]=\Pr(Y^{(i)}=1,Y^{(j)}=1) である。これらの確率を、共有する θ\theta について平均すればよい。

E[Y(i)]=∫01Pr⁡(Y(i)=1∣θ)p(θ) dθ=∫01θp(θ) dθ=E[θ],E[Y(i)Y(j)]=∫01Pr⁡(Y(i)=1,Y(j)=1∣θ)p(θ) dθ=∫01θ2p(θ) dθ=E[θ2].\begin{aligned} \mathrm E[Y^{(i)}] &=\int_0^1\Pr(Y^{(i)}=1\mid\theta)p(\theta)\,d\theta =\int_0^1\theta p(\theta)\,d\theta=\mathrm E[\theta],\\ \mathrm E[Y^{(i)}Y^{(j)}] &=\int_0^1\Pr(Y^{(i)}=1,Y^{(j)}=1\mid\theta)p(\theta)\,d\theta\\ &=\int_0^1\theta^2p(\theta)\,d\theta=\mathrm E[\theta^2]. \end{aligned}

二つ目の計算で θ2\theta^2 とできるのは、 θ\theta を固定したもとで二つの観測が独立だからである。事前分布が離散的なら積分を重み付き和に置き換え、同じ結果を得る。したがって、このモデルでは i≠ji\ne j について、

Cov⁡(Y(i),Y(j))=E[Y(i)Y(j)]−E[Y(i)]E[Y(j)]=E[θ2]−E[θ]2=Var⁡(θ)≥0.\begin{aligned} \operatorname{Cov}(Y^{(i)},Y^{(j)}) &=\mathrm E[Y^{(i)}Y^{(j)}]-\mathrm E[Y^{(i)}]\mathrm E[Y^{(j)}]\\ &=\mathrm E[\theta^2]-\mathrm E[\theta]^2 =\operatorname{Var}(\theta)\ge0. \end{aligned}

となる。一様事前なら、 E[θ]=1/2\mathrm E[\theta]=1/2 、 E[θ2]=1/3\mathrm E[\theta^2]=1/3 より、 Var⁡(θ)=1/3−1/4=1/12\operatorname{Var}(\theta)=1/3-1/4=1/12 である。一方、 (Y(i))2=Y(i)(Y^{(i)})^2=Y^{(i)} なので、 Var⁡(Y(i))=1/2−(1/2)2=1/4\operatorname{Var}(Y^{(i)})=1/2-(1/2)^2=1/4 となる。共分散を二つの標準偏差の積で割ると、相関係数が得られる。

Corr⁡(Y(i),Y(j))=Cov⁡(Y(i),Y(j))Var⁡(Y(i))Var⁡(Y(j))=1/121/41/4=13.\operatorname{Corr}(Y^{(i)},Y^{(j)}) =\frac{\operatorname{Cov}(Y^{(i)},Y^{(j)})} {\sqrt{\operatorname{Var}(Y^{(i)})}\sqrt{\operatorname{Var}(Y^{(j)})}} =\frac{1/12}{\sqrt{1/4}\sqrt{1/4}}=\frac13.

このように、共有する成功率が未知であるため、条件を外すと観測どうしに正の関係が生まれる。成功率が一つの値に確定していれば Var⁡(θ)=0\operatorname{Var}(\theta)=0 となり、このモデルの観測は条件を外しても独立となる。

9人全員が1だった後、10人目をどう予測するか

一様事前のもとで、最初の kk 人が全員1だったとする。その観測の確率は ∫01θk dθ=1/(k+1)\int_0^1\theta^k\,d\theta=1/(k+1) 、次の一人も1となる同時確率は 1/(k+2)1/(k+2) なので、

Pr⁡(Y(k+1)=1∣Y(1)=⋯=Y(k)=1)=1/(k+2)1/(k+1)=k+1k+2.\Pr(Y^{(k+1)}=1\mid Y^{(1)}=\cdots=Y^{(k)}=1) =\frac{1/(k+2)}{1/(k+1)}=\frac{k+1}{k+2}.

同じ答えを、事後分布から求めることもできる。全員1という観測の尤度は θk\theta^k 、その面積は 1/(k+1)1/(k+1) なので、

p(θ∣Y(1)=⋯=Y(k)=1)=(k+1)θk,0<θ<1.p(\theta\mid Y^{(1)}=\cdots=Y^{(k)}=1)=(k+1)\theta^k,\quad0<\theta<1.

ある θ\theta のもとで次の一人が1となる確率は θ\theta である。そこで、この確率を事後分布で平均すると、次の予測が得られる。

Pr⁡(Y(k+1)=1∣Y(1)=⋯=Y(k)=1)=∫01θ (k+1)θk dθ=(k+1)[θk+2k+2]01=k+1k+2.\begin{aligned} \Pr(Y^{(k+1)}=1\mid Y^{(1)}=\cdots=Y^{(k)}=1) &=\int_0^1\theta\,(k+1)\theta^k\,d\theta\\ &=(k+1)\left[\frac{\theta^{k+2}}{k+2}\right]_0^1 =\frac{k+1}{k+2}. \end{aligned}

ここでも「成功率について学び、その不確かさを含めて次の回答を予測する」という流れになっている。よって k=9k=9 なら 10/11≈0.9090910/11\approx0.90909 となる。対して、共通の割合が本当に θ=0.5\theta=0.5 とわかっている独立モデルなら、過去に何人続けて1でも次は0.5である。下図では、この二つの情報条件を比べる。

補助図:共通の割合が未知なら、連続した1の観測から次の回答を学習する。割合が0.5と既知の独立モデルでは予測は変わらない。

二つの線は初めにどちらも0.5だが、未知の割合を学べるかどうかが異なる。上がる曲線は、教科書の1,272人の実データを推定した結果ではなく、一様事前を置いた説明用モデルの計算である。

特定の並びと「1が6個」をもう一度区別する

教科書の三つの列はいずれも1が6個、0が4個である。一様事前なら、一つの特定の列の確率は、

∫01θ6(1−θ)4 dθ=6!4!11!=12310≈0.0004329004.\int_0^1\theta^6(1-\theta)^4\,d\theta =\frac{6!4!}{11!}=\frac{1}{2310}\approx0.0004329004.

ここでは、非負整数 a,ba,b に対する積分の公式 ∫01ta(1−t)b dt=a!b!/(a+b+1)!\int_0^1t^a(1-t)^b\,dt=a!b!/(a+b+1)! を使った。この公式の導出は、この図の後で確認する。一方、「10人中6人が1」という事象には (106)=210\binom{10}{6}=210 通りがあるので、

Pr⁡(∑i=110Y(i)=6)=210×12310=111≈0.090909.\Pr\left(\sum_{i=1}^{10}Y^{(i)}=6\right) =210\times\frac1{2310}=\frac1{11}\approx0.090909.

同じ計算を一般の成功数 ss に適用すると、

Pr⁡(S=s)=(10s)s!(10−s)!11!=10!s!(10−s)!s!(10−s)!11!=10!11!=10!11×10!=111,s=0,…,10.\begin{aligned} \Pr(S=s) &=\binom{10}{s}\frac{s!(10-s)!}{11!}\\ &=\frac{10!}{s!(10-s)!}\frac{s!(10-s)!}{11!}\\ &=\frac{10!}{11!}=\frac{10!}{11\times10!}=\frac1{11}, \qquad s=0,\ldots,10. \end{aligned}

このように階乗を約分すると、成功数 ss が式から消える。候補は0から10の11個なので、それぞれが 1/111/11 なら合計も1である。

これを、 θ=0.5\theta=0.5 が既知の二項分布と比べると、共有する割合の不確かさが成功総数の分布をどう変えるかがわかる。

補助図:一様な未知割合を共有するモデルでは成功総数0〜10が等確率になる。割合0.5が既知なら5付近に集中する。

一様事前モデルでは「ほとんど全員が1の母集団」も「ほとんど全員が0の母集団」も考慮するので、総数の両端にも確率が残る。同じ周辺成功確率0.5をもっていても、観測間の依存によって総数の分布は大きく異なる。

ただし、 成功総数が一様でも、1,024通りの回答列すべてが等確率ではない。 たとえば全員1の列は ∫01θ10 dθ=1/11\int_0^1\theta^{10}\,d\theta=1/11 だが、1が6個の特定の列は 1/23101/2310 である。交換可能性が求めるのは、同じ値の組を並べ替えた列どうしが同じ確率になることである。

積分が階乗の式になるまでを追う

先ほど使った積分を I(a,b)I(a,b) と名付ける。

I(a,b)=∫01ta(1−t)b dt.I(a,b)=\int_0^1t^a(1-t)^b\,dt.

まず b=0b=0 なら、 I(a,0)=∫01ta dt=1/(a+1)I(a,0)=\int_0^1t^a\,dt=1/(a+1) である。そこで b≥1b\ge1 のとき、 bb を一つ減らす式を作り、最後にこの簡単な積分に帰着させる。

使うのは、積の微分を積分し直した「部分積分」 ∫u dv=uv−∫v du\int u\,dv=uv-\int v\,du である。 u=(1−t)bu=(1-t)^b 、 dv=ta dtdv=t^a\,dt と選ぶと、 du=−b(1−t)b−1 dtdu=-b(1-t)^{b-1}\,dt 、 v=ta+1/(a+1)v=t^{a+1}/(a+1) なので、

I(a,b)=[ta+1(1−t)ba+1]01+ba+1∫01ta+1(1−t)b−1 dt=ba+1I(a+1,b−1).\begin{aligned} I(a,b) &=\left[\frac{t^{a+1}(1-t)^b}{a+1}\right]_0^1 +\frac{b}{a+1}\int_0^1t^{a+1}(1-t)^{b-1}\,dt\\ &=\frac{b}{a+1}I(a+1,b-1). \end{aligned}

角括弧の項は、 t=0t=0 では ta+1=0t^{a+1}=0 、 t=1t=1 では (1−t)b=0(1-t)^b=0 なので消える。同じ操作を bb 回繰り返すと、

I(a,b)=ba+1b−1a+2⋯1a+bI(a+b,0)=b!(a+1)(a+2)⋯(a+b)1a+b+1=a!b!(a+b+1)!.\begin{aligned} I(a,b) &=\frac{b}{a+1}\frac{b-1}{a+2}\cdots \frac{1}{a+b}I(a+b,0)\\ &=\frac{b!}{(a+1)(a+2)\cdots(a+b)}\frac{1}{a+b+1}\\ &=\frac{a!b!}{(a+b+1)!}. \end{aligned}

最後の行では、分母の連続する積に a!a! を補い、階乗にまとめた。 a=6,b=4a=6,b=4 なら、

I(6,4)=473829110111=2455440=12310.I(6,4)=\frac47\frac38\frac29\frac1{10}\frac1{11} =\frac{24}{55440}=\frac1{2310}.

これで、一つの回答列の確率を途中の積分から計算できた。また、ベータ関数との対応は B(a,b)=I(a−1,b−1)B(a,b)=I(a-1,b-1) である。したがって正の整数 a,ba,b では B(a,b)=(a−1)!(b−1)!/(a+b−1)!B(a,b)=(a-1)!(b-1)!/(a+b-1)! となり、2.5節で使った式も確認できる。

命題

θ∼p(θ)\theta\sim p(\theta) で、 Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} を θ\theta が与えられたもと、条件付きで独立同一標本とする。このとき、周辺的に(つまり、 θ\theta の条件付きなしで) Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} は交換可能である。

証明

Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} はある未知母数 θ\theta が与えられたとき、条件付きで独立同一標本であると仮定する。このとき、 {1,…,n}\{1,\ldots,n\} の任意の置換 π\pi と任意の (y(1),…,y(n))∈Yn(y^{(1)},\ldots,y^{(n)})\in\mathcal Y^n に対して、

p(y(1),…,y(n))=∫p(y(1),…,y(n)∣θ)p(θ) dθ(周辺確率の定義)=∫{∏i=1np(y(i)∣θ)}p(θ) dθ(条件付き独立同一性)=∫{∏i=1np(y(πi)∣θ)}p(θ) dθ(積は順序によらない)=p(y(π1),…,y(πn))(周辺確率の定義)\begin{aligned} p(y^{(1)},\ldots,y^{(n)}) &=\int p(y^{(1)},\ldots,y^{(n)}\mid\theta)p(\theta)\,d\theta &&(\text{周辺確率の定義})\\ &=\int\left\{\prod_{i=1}^{n}p(y^{(i)}\mid\theta)\right\}p(\theta)\,d\theta &&(\text{条件付き独立同一性})\\ &=\int\left\{\prod_{i=1}^{n}p(y^{(\pi_i)}\mid\theta)\right\}p(\theta)\,d\theta &&(\text{積は順序によらない})\\ &=p(y^{(\pi_1)},\ldots,y^{(\pi_n)}) &&(\text{周辺確率の定義}) \end{aligned}

となる。よって、 Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} は交換可能である。

証明で順序を入れ替えられるのは、条件付き密度が共通の関数 p(⋅∣θ)p(\cdot\mid\theta) だからである。積の順序を変えても値が変わらず、その後で同じ事前分布により平均しても等しさは保たれる。条件付き独立だけで各変数の分布が違うなら、この結論は一般には成り立たない。

2.8 デ・フィネッティの定理

これまでのことより

Y(1),…,Y(n)∣θ i.i.d.θ∼p(θ)}⇒Y(1),…,Y(n) は交換可能\left. \begin{array}{l} Y^{(1)},\ldots,Y^{(n)}\mid\theta\ \text{i.i.d.}\\ \theta\sim p(\theta) \end{array} \right\} \Rightarrow Y^{(1)},\ldots,Y^{(n)}\text{ は交換可能}

であることがわかった。この逆の主張は成り立つのか、ということについて見ていく。 {Y(1),Y(2),…}\{Y^{(1)},Y^{(2)},\ldots\} をすべて共通の標本空間 Y\mathcal Y に値をとる確率変数の無限列とする。

定理1(de Finetti)。 任意の i∈{1,2,…}i\in\{1,2,\ldots\} について Y(i)∈YY^{(i)}\in\mathcal Y とする。任意の nn に対して、 Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} に対する信念のモデルは {1,…,n}\{1,\ldots,n\} の任意の置換 π\pi に対して、交換可能であるとする。つまり

p(y(1),…,y(n))=p(y(π1),…,y(πn))p(y^{(1)},\ldots,y^{(n)})=p(y^{(\pi_1)},\ldots,y^{(\pi_n)})

が成り立っているとする。このとき、パラメータ θ\theta と、 θ\theta に関する事前分布 p(θ)p(\theta) と、標本モデル p(y(i)∣θ)p(y^{(i)}\mid\theta) が存在して、モデルは次のように書ける。

p(y(1),…,y(n))=∫{∏i=1np(y(i)∣θ)}p(θ) dθ.p(y^{(1)},\ldots,y^{(n)}) =\int\left\{\prod_{i=1}^{n}p(y^{(i)}\mid\theta)\right\}p(\theta)\,d\theta.

事前分布と標本モデルは信念のモデル p(y(1),…,y(n))p(y^{(1)},\ldots,y^{(n)}) に依存する。

定理の意味と、積分表記の前提

要点は、 無限に続けられる交換可能な列は、条件付き独立同一な列の混合として表せる ということである。「混合」とは、成功率などについて複数の可能性を考え、それぞれのモデルでの確率を重み付きで平均することである。二値の例では、次の二段階で同じ回答列の分布を表せる。

  1. 共通の成功率 θ\theta を、その不確かさを表す分布に従って一つ選ぶ。
  2. その θ\theta を全員で共有し、各回答を独立に確率 θ\theta で1とする。

2.7節では、この二段階のモデルから交換可能性を示した。定理は逆に、無限列の交換可能性を出発点としても、同じ確率の付け方をこの二段階で表せる、と述べている。実際の調査前に誰かが成功率を抽選したという主張ではなく、観測列への確率を表現する方法についての主張である。観測どうしが周辺的に独立だという意味でもない。一般的な表現については Aldousによる解説の第1節 も参照できる。

上の p(θ) dθp(\theta)\,d\theta という書き方は、混合分布に密度がある場合の表記である。二値の場合を一般的に書くなら、 θ∈[0,1]\theta\in[0,1] 上の確率分布 Π\Pi を使い、

p(y(1),…,y(n))=∫[0,1]θs(1−θ)n−s Π(dθ),s=∑i=1ny(i)p(y^{(1)},\ldots,y^{(n)}) =\int_{[0,1]}\theta^s(1-\theta)^{n-s}\,\Pi(d\theta), \qquad s=\sum_{i=1}^n y^{(i)}

となる。 Π\Pi は0.2と0.8だけに確率を置く離散分布でもよく、その場合の積分は 12(0.2)s(0.8)n−s+12(0.8)s(0.2)n−s\tfrac12(0.2)^s(0.8)^{n-s}+\tfrac12(0.8)^s(0.2)^{n-s} のような重み付き和になる。

実数値などを取る一般の場合には、混合される対象は一つの実数パラメータとは限らず、 確率分布そのもの になりうる。二値なら成功率一つで分布が決まるが、所得などでは中心、ばらつき、裾の形まで指定しないと分布は決まらないためである。したがって交換可能性だけから、正規分布などの特定のモデルが選ばれるわけではない。数学的には、通常の定理は「標準ボレル空間」という条件のもとで述べられるが、本章で使う実数や有限個のカテゴリーはこの条件を満たす。

確率分布 p(θ)p(\theta) は信念のモデル p(y(1),…,y(n))p(y^{(1)},\ldots,y^{(n)}) から誘導される出力 {Y(1),…,Y(n)}\{Y^{(1)},\ldots,Y^{(n)}\} についてのわれわれの信念を表す。より正確には、

  • 二値のときは、 p(θ)p(\theta) は lim⁡n→∞∑Y(i)/n\displaystyle \lim_{n\to\infty}\sum Y^{(i)}/n についての信念を表し、

  • 一般の場合には、 p(θ)p(\theta) は各 cc に対する lim⁡n→∞n−1∑i=1nI{Y(i)≤c}\displaystyle \lim_{n\to\infty}n^{-1}\sum_{i=1}^n \mathbb{I}\{Y^{(i)}\le c\} についての信念を表す。

ここで I{Y(i)≤c}\mathbb{I}\{Y^{(i)}\le c\} は、条件 Y(i)≤cY^{(i)}\le c を満たすと1、それ以外なら0となる指示関数である。合計を nn で割れば、「 cc 以下の観測の割合」が得られる。

たとえば5人の所得が万円単位で (200,250,400,300,500)(200,250,400,300,500) だったとする。境界を c=300c=300 とすると、指示関数の値は (1,1,0,1,0)(1,1,0,1,0) なので、

15∑i=15I{Y(i)≤300}=1+1+0+1+05=0.6.\frac15\sum_{i=1}^5\mathbb{I}\{Y^{(i)}\le300\} =\frac{1+1+0+1+0}{5}=0.6.

境界を400に変えれば4人が該当するので0.8になる。このように境界ごとに割合を調べると、標本から作った累積分布関数になる。一般の場合に出てくる極限の式は、この操作を観測数を増やしながら考えたものである。

二値の場合、条件付きの大数の法則により n−1∑i=1nY(i)n^{-1}\sum_{i=1}^nY^{(i)} はほとんど確実に θ\theta に収束する。「ほとんど確実に」とは、このモデルのもとで、収束する観測列の集まりに確率1を与えるという意味である。たとえば共有する θ\theta が0.8なら、長く観測を続けたときの1の割合は0.8へ近づく。事前分布は、この落ち着き先が0.8なのか0.2なのか、それとも別の値なのかについての不確かさとしても読める。これは有限個を観測しただけで真の割合が正確に判明するという意味ではない。

一般の場合には、各 cc に対する比率の極限が、条件付き分布の累積分布関数を表す。一つの数だけではなく、境界 cc を変えたときの分布全体についての信念となる。

デ・フィネッティの定理と先の主張をまとめると次のことがいえる。

Y(1),…,Y(n)∣θ i.i.d.θ∼p(θ)}⟺Y(1),…,Y(n) はすべての n に対して交換可能.\left. \begin{array}{l} Y^{(1)},\ldots,Y^{(n)}\mid\theta\ \text{i.i.d.}\\ \theta\sim p(\theta) \end{array} \right\} \Longleftrightarrow Y^{(1)},\ldots,Y^{(n)}\text{ はすべての }n\text{ に対して交換可能}.

「 Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} はすべての nn について交換可能である」という条件はどういうときに満たされるだろうか。この条件が成り立つためには、交換可能性と再現性が必要である。添字が情報をもっていない場合、交換可能性は保持される。再現性が合理的である状況には、以下の場合が含まれる。

  • Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} は繰り返し実験の出力である。

  • Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} は有限母集団からの復元抽出である。

  • Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} は無限母集団からの非復元抽出である。

Y(1),…,Y(n)Y^{(1)},\ldots,Y^{(n)} が交換可能であり、サイズ N≫nN\gg n の有限母集団からの非復元抽出であるならば、それらは近似的に条件付きで独立同一標本であるとしてモデル化できることが示されている(Diaconis and Freedman, 1980)。

なぜ「すべての nn 」が必要なのか:2枚のカードの反例

0と書いたカード1枚、1と書いたカード1枚を混ぜ、戻さずに順に引く。可能な列は (0,1)(0,1) と (1,0)(1,0) で、それぞれの確率は1/2である。順序を入れ替えても確率が変わらないため、この2変数は交換可能である。

しかし、共通の θ\theta のもとで独立同一なベルヌーイ変数を混合した表現は存在しない。もし存在するなら、

E[θ]=Pr⁡(Y(1)=1)=12,\mathrm E[\theta]=\Pr(Y^{(1)}=1)=\frac12,
E[θ2]=Pr⁡(Y(1)=1,Y(2)=1)=0\mathrm E[\theta^2]=\Pr(Y^{(1)}=1,Y^{(2)}=1)=0

となるはずである。しかし、分散は二乗したずれの平均なので必ず0以上である。したがって、

Var⁡(θ)=E[θ2]−E[θ]2≥0⟹E[θ2]≥(12)2=14.\operatorname{Var}(\theta)=\mathrm E[\theta^2]-\mathrm E[\theta]^2\ge0 \quad\Longrightarrow\quad \mathrm E[\theta^2]\ge\left(\frac12\right)^2=\frac14.

E[θ2]\mathrm E[\theta^2] が0であることと、1/4以上であることは両立しない。別の言い方をすれば、このカードの共分散は 0−(1/2)(1/2)=−1/40-(1/2)(1/2)=-1/4 であり、ベルヌーイの独立同一な混合なら共分散が非負になることと矛盾する。

この例は、有限個の交換可能性だけでは、定理の結論が出ないことを示している。必要なのは、 同じ確率モデルを保ったまま、どこまでも延長できる交換可能性 である。 nn ごとに別々の交換可能な分布を勝手に用意するのではなく、大きい nn の分布から末尾の変数を周辺化すると小さい nn の分布に戻る、整合的な無限列を考える。

再現性という仮定を、実際の調査に戻して読む

有限母集団からの復元抽出なら、同じ手順を何度でも繰り返せる。一方、非復元抽出では、すでに抽出した人が残りから減る。母集団 NN 人のうち1が MM 人いる場合、 nn 人中の1の総数 SS の厳密な分布は超幾何分布である。

Pr⁡(S=s∣M,N)=(Ms)(N−Mn−s)(Nn).\Pr(S=s\mid M,N) =\frac{\binom{M}{s}\binom{N-M}{n-s}}{\binom{N}{n}}.

分母は NN 人から nn 人を選ぶ方法の総数である。分子では、1を答える MM 人から ss 人を選び、0を答える残りの N−MN-M 人から n−sn-s 人を選んでいる。単純無作為抽出では同じ人数の組は等確率なので、「条件に合う組の数÷すべての組の数」で確率が求まる。

たとえば5人中3人が1を答える集団から2人を選ぶとき、ちょうど1人が1を答える確率は、

Pr⁡(S=1∣M=3,N=5)=(31)(21)(52)=3×210=0.6.\Pr(S=1\mid M=3,N=5) =\frac{\binom31\binom21}{\binom52} =\frac{3\times2}{10}=0.6.

一方、成功率 θ=3/5=0.6\theta=3/5=0.6 の独立な二項モデルなら、同じ確率は (21)(0.6)(0.4)=0.48\binom21(0.6)(0.4)=0.48 である。戻さずに選ぶ場合は、1人目の結果によって残りの人数構成が変わるため、二つのモデルの答えが異なる。

その分散は、 θ=M/N\theta=M/N と書くと、

Var⁡(S∣M,N)=nθ(1−θ)N−nN−1.\operatorname{Var}(S\mid M,N) =n\theta(1-\theta)\frac{N-n}{N-1}.

教科書の N=1272,n=10N=1272,n=10 なら、二項分布の分散に掛かる係数は 1262/1271≈0.992921262/1271\approx0.99292 である。この例では差が小さいため、二項モデルによる近似が理解できる。ただし、どんな母集団・どんな統計量でも N≫nN\gg n という言葉だけで十分な精度が保証されるという意味ではない。

分散に補正係数が付く理由

上の分散の式も、回答の間の共分散から導ける。 N>1N>1 とし、 M,NM,N は既知として、以下の期待値や分散はすべてこの集団のもとで考える。異なる二つの抽出位置 i,ji,j について、両方が1である確率は、

E[Y(i)Y(j)]=Pr⁡(Y(i)=1,Y(j)=1)=M(M−1)N(N−1).\mathrm E[Y^{(i)}Y^{(j)}] =\Pr(Y^{(i)}=1,Y^{(j)}=1) =\frac{M(M-1)}{N(N-1)}.

全体には異なる二人の順序付きの選び方が N(N−1)N(N-1) 通りあり、そのうち二人とも1なのは M(M−1)M(M-1) 通りだからである。各位置の周辺成功確率は M/N=θM/N=\theta なので、

Cov⁡(Y(i),Y(j))=M(M−1)N(N−1)−(MN)2=NM(M−1)−M2(N−1)N2(N−1)=−M(N−M)N2(N−1)=−θ(1−θ)N−1.\begin{aligned} \operatorname{Cov}(Y^{(i)},Y^{(j)}) &=\frac{M(M-1)}{N(N-1)}-\left(\frac MN\right)^2\\ &=\frac{NM(M-1)-M^2(N-1)}{N^2(N-1)}\\ &=\frac{-M(N-M)}{N^2(N-1)} =-\frac{\theta(1-\theta)}{N-1}. \end{aligned}

共有する未知の割合を学習するモデルでは共分散は非負だったが、人数が既知の非復元抽出では0以下となる。1を答える人を先に引くと、残りの1の割合が減るためである。

総数 S=Y(1)+⋯+Y(n)S=Y^{(1)}+\cdots+Y^{(n)} の分散は、各変数の分散と、異なる変数間の共分散を合わせたものである。中心からのずれの和を二乗すると、各ずれの二乗に加え、二つのずれの積が出てくるからである。

Var⁡(S)=∑i=1nVar⁡(Y(i))+2∑i<jCov⁡(Y(i),Y(j))=nθ(1−θ)−n(n−1)θ(1−θ)N−1=nθ(1−θ)(1−n−1N−1)=nθ(1−θ)N−nN−1.\begin{aligned} \operatorname{Var}(S) &=\sum_{i=1}^n\operatorname{Var}(Y^{(i)}) +2\sum_{i<j}\operatorname{Cov}(Y^{(i)},Y^{(j)})\\ &=n\theta(1-\theta) -n(n-1)\frac{\theta(1-\theta)}{N-1}\\ &=n\theta(1-\theta)\left(1-\frac{n-1}{N-1}\right)\\ &=n\theta(1-\theta)\frac{N-n}{N-1}. \end{aligned}

異なる二位置の組は (n2)=n(n−1)/2\binom n2=n(n-1)/2 個なので、前の係数2と合わせて n(n−1)n(n-1) になっている。先ほどの N=5,M=3,n=2N=5,M=3,n=2 なら、二項分散は 2(0.6)(0.4)=0.482(0.6)(0.4)=0.48 、非復元抽出の分散は 0.48×(5−2)/(5−1)=0.360.48\times(5-2)/(5-1)=0.36 となる。さらに全員を選ぶ n=Nn=N では、総数は必ず MM なので分散は0となり、補正係数とも一致する。

「無限母集団からの非復元抽出」は理想化として読む。たとえば非原子的な母集団分布からの独立抽出では、同一の個体を再び引く確率は0である。一方、数えられる無限人数から全員等確率で一人を選ぶ一様分布は定義できないため、実際にはどの母集団分布から抽出するかを定める必要がある。

時系列で環境が変わる、同じ家族をまとめて調べる、属性ごとに成功率が違うといった場面では、観測全体の交換可能性をそのまま仮定するより、時間や集団、属性をモデルに含めるほうが自然である。定理は、どんなデータにも独立モデルを当てはめてよいという許可ではなく、交換可能性という信念を置いた場合のモデルの構造を示している。

2.9 補足と文献案内

コヒーレントなギャンブル戦略に関する主観的確率の概念は、デ・フィネッティの定理にも名をもつデ・フィネッティによって生み出された(de Finetti, 1931, 1937)。これらの話題は両方とも、サヴェッジを含む他の多くの人々によってさらに研究された(Savage, 1954; Hewitt and Savage, 1955)。交換可能性の概念は、デ・フィネッティの定理で考慮されている無限に交換可能な確率変数列の概念を超えている。Diaconis and Freedman (1980) は、有限の母集団または確率変数列の交換可能性を検討し、Diaconis (1988) は、他のバージョンの交換可能性を議論している。Bernardo and Smith (1994) の第4章は、様々なタイプの交換可能性に基づいて統計モデルを構築するためのガイドを与えている。交換可能性の非常に包括的で数学的なレビューが Aldous (1985) に記載されており、特にランダム行列に適用される交換可能性の優れたサーベイを与えている。

文献案内を読むための補足

「コヒーレント」とは、ここでは確率や賭けの評価が互いに矛盾しないことを指す。たとえば、同じ事象に対する評価が組み合わせ方によって食い違い、確実な損失を引き受けるような評価体系を避けたい、という問題意識である。交換可能性は、それとは別に、観測の順序やラベルにどのような対称性を仮定するかという問題である。この章では両者が、確率による信念の表現とベイズモデルの構成という流れで結び付いている。

最初の学習では、文献をすべて読む前に、「条件付きの向きを逆にすると分母が変わる」「密度は幅を掛けて確率になる」「未知の割合の共有によって観測間に依存が生まれる」の三点を、自分で計算できることを目標にするとよい。

付録A Pythonで計算と図を再生成する

計算は output/ch2_examples.py、作図は output/ch2_plots.py にまとめた。両スクリプトはPEP 723の依存指定を含み、必要な環境を uv が用意する。作図スクリプトは分析関数を読み込み、同じ数値から図を生成する。グラフのためだけに数値を転記したり、別の乱数標本を作ったりはしていない。

プロジェクトのルートから次を実行する。

uv run output/ch2_examples.py
uv run output/ch2_plots.py
uv run python build.py
ファイル 内容
output/ch2_beliefs_probability_exchangeability.md 本ノート
output/ch2_examples.py 分布・条件付き確率・事後分布などの計算と整合性確認
output/ch2_results.json 本文に対応する計算結果
output/ch2_plots.py 教科書3図と補助7図の生成
figs/plotly/ch2_*.html 埋め込み用の10個のグラフ

教科書のRコードの主要な関数は、次のPython関数に対応する。

Rの関数 Pythonでの対応 戻り値
dbinom(y,n,theta) binom.pmf(y, n=n, p=theta) 二項確率
dpois(y,theta) poisson.pmf(y, mu=theta) ポアソン確率
pnorm(y,mu,sig) norm.cdf(y, loc=mu, scale=sig) 正規累積確率
dnorm(y,mu,sig) norm.pdf(y, loc=mu, scale=sig) 正規密度
dlnorm(x,mu,sig) lognorm.pdf(x, s=sig, scale=np.exp(mu)) 対数正規密度
qlnorm(q,mu,sig) lognorm.ppf(q, s=sig, scale=np.exp(mu)) 対数正規分位点

第2章は、分布の定義をそのまま計算できる例が中心である。PyMCを使った標本抽出も可能だが、ここではSciPyによる直接計算を採用し、モンテカルロ誤差を持ち込まずに本文の数値と照合できるようにした。

グラフは著者コードと同じモデルを描いたものであり、元の個票データから新たに推定した結果ではない。社会流動性の計算は提供本文の表2.1、幸福度の集計は chapter2.R にある人数を用いた。追加の袋・カード・三角領域・一様事前の例は説明用である。Plotly本体をCDNから読み込むため、グラフの表示にはネット接続が必要である。

付録B 手を動かす確認問題と解答

問題1:条件を逆にする

仮想的な1,000人の集団で、グループAが200人、Bが800人である。ある回答をする割合はAで0.6、Bで0.1だった。この回答をした人がAに属する確率はいくつか。

解答。 回答者はAから 200×0.6=120200\times0.6=120 人、Bから 800×0.1=80800\times0.1=80 人なので、求める確率は 120/(120+80)=0.6120/(120+80)=0.6 である。事前割合0.2が、回答を知った後には0.6に変わる。

問題2:密度の高さから区間確率を求める

[0,0.2][0,0.2] 上の一様分布で、 0.02<Y<0.080.02<Y<0.08 の確率はいくつか。また、 Y=0.05Y=0.05 の確率はいくつか。

解答。 密度は5なので、区間確率は 5(0.08−0.02)=0.305(0.08-0.02)=0.30 である。点の確率は0である。

問題3:同時確率と条件付き確率を区別する

表2.1で、父親と息子が両方大学教授である確率はいくつか。父親が大学教授とわかった場合に息子も大学教授である確率はいくつか。

解答。 前者はセルに書かれた0.130である。後者は 0.130/0.235≈0.553190.130/0.235\approx0.55319 である。前者は全体を分母にし、後者は父親が大学教授の集団を分母にする。

問題4:交換可能でも同じ確率にならない列を挙げる

一様事前のベルヌーイ混合モデルで、 (1,1,0)(1,1,0) と (0,1,1)(0,1,1) 、 (1,1,1)(1,1,1) の確率を求める。

解答。 最初の二つはともに ∫01θ2(1−θ) dθ=1/12\int_0^1\theta^2(1-\theta)\,d\theta=1/12 である。最後は ∫01θ3 dθ=1/4\int_0^1\theta^3\,d\theta=1/4 である。交換可能性は、成功数まで変えた列に同じ確率を要求しない。

問題5:有限交換可能性と独立同一な混合を区別する

0と1のカードを1枚ずつ、戻さず引く場合、 Pr⁡(Y(2)=1)\Pr(Y^{(2)}=1) と Pr⁡(Y(2)=1∣Y(1)=1)\Pr(Y^{(2)}=1\mid Y^{(1)}=1) はいくつか。

解答。 前者は1/2、後者は0である。二つの順序の確率は同じなので交換可能だが、独立ではない。さらに負の共分散をもつため、共通の成功率を条件とする独立同一なベルヌーイ試行の混合でも表せない。