ベイズ統計学のメモ2

　標本数が無限大のとき、すなわち大標本のとき、最尤法とベイズの事後分布の関係について。

　最尤法は、サンプルを所与として、likelihoodが最大になるようなパラメータを求める。そのとき、推定量の分布（母数＝真のパラメータは定数であって、推定量が確率変数なだけ）は正規分布で近似できる。

　一方で、ベイズの事後分布はというと、まだ理解してない。ただ、最尤法との関係性についていうと、最尤法はlikehoodの頂点だけに着目しているのに対して、ベイズは全体を扱っている。つまり、最尤法は頂点（と頂点＝推定量の分布）を見ているのに対して、ベイズは分布（の変化）を見ている。

　また、古典論では推定量の分布を扱っている。大標本になれば、一致性から真のパラメータに収束する。

　一方、ベイズ統計では、大標本になると母数の分布がある分布に収束する（はず）。この場合、パラメータは確率変数であって、ベイズは大標本だとその分布が収束すると言っているに過ぎない。つまり、ある特定の定数に収束するとは言ってない。

　ここに、両者の本質的な違いがある。

　ここから一つステップを踏んで、「では、ベイズ統計で得られたパラメータの事後分布の平均が、最尤法における推定量に一致するか？」というquestionを立ててみる。

　おそらく、一般的にはNOだろう。事後分布が正規分布となっていれば、頂点は平均に等しいのだから一致する。でも、そうじゃない場合、必ずしも頂点と平均が一致するとは限らない。

　だとしたら、より一般的なベイズの方が妥当じゃないかって思ってしまうのだが、まだ確信を持てないのでひとまず保留にしておこう。

　てか、混乱していて、全く理解できてないな（笑）

　一つの評価方法として考えられるのは、まず、仮定として「真のパラメータ（定数）が存在する」を設ける。そのとき、最尤法を使えば、必ず（適当な仮定の下で）真のパラメータに収束する。このとき、「じゃあベイズさんはどうなりますか？事後分布の期待値が真のパラメータにちゃんと収束しますか？」という問を立てればＯＫ。

　これは古典論をまず基準として評価する方法。でも、そもそも、古典論の「母数は定数」であるって仮定がおかしい！という哲学的な立場があるとすれば、この評価方法はあまりのもバイアスがかかっている。じゃあ、これとは逆方向から評価する方法を考えるとすればどうなるか。それは、一般にはない。そもそも確率変数と定数を比較することができない。では、「古典論の推定量がベイズの事後分布の期待値に一致するか？」という問を立てるのはどうか。でもこの場合、だから何なの？ってなる。

　ようは、まずは母数が定数であるか確率変数であるか、という立場を明確にする必要がある。仮に、定数であるとする。この場合、ベイズの事後分布は分析者の予想を表しているに過ぎない。


【追記】
仮に母数が定数であるというのが真だとする。この場合、明らかに古典論は頑健。一致性などを示せているならば。