ベイズ統計学のメモ2

　標本数が無限大のとき、すなわち大標本のとき、最尤法とベイズの事後分布の関係について。

　最尤法は、サンプルを所与として、likelihoodが最大になるようなパラメータを求める。そのとき、推定量の分布（母数＝真のパラメータは定数であって、推定量が確率変数なだけ）は正規分布で近似できる。

　一方で、ベイズの事後分布はというと、まだ理解してない。ただ、最尤法との関係性についていうと、最尤法はlikehoodの頂点だけに着目しているのに対して、ベイズは全体を扱っている。つまり、最尤法は頂点（と頂点＝推定量の分布）を見ているのに対して、ベイズは分布（の変化）を見ている。

　また、古典論では推定量の分布を扱っている。大標本になれば、一致性から真のパラメータに収束する。

　一方、ベイズ統計では、大標本になると母数の分布がある分布に収束する（はず）。この場合、パラメータは確率変数であって、ベイズは大標本だとその分布が収束すると言っているに過ぎない。つまり、ある特定の定数に収束するとは言ってない。

　ここに、両者の本質的な違いがある。

　ここから一つステップを踏んで、「では、ベイズ統計で得られたパラメータの事後分布の平均が、最尤法における推定量に一致するか？」というquestionを立ててみる。

　おそらく、一般的にはNOだろう。事後分布が正規分布となっていれば、頂点は平均に等しいのだから一致する。でも、そうじゃない場合、必ずしも頂点と平均が一致するとは限らない。

　だとしたら、より一般的なベイズの方が妥当じゃないかって思ってしまうのだが、まだ確信を持てないのでひとまず保留にしておこう。

　てか、混乱していて、全く理解できてないな（笑）

　一つの評価方法として考えられるのは、まず、仮定として「真のパラメータ（定数）が存在する」を設ける。そのとき、最尤法を使えば、必ず（適当な仮定の下で）真のパラメータに収束する。このとき、「じゃあベイズさんはどうなりますか？事後分布の期待値が真のパラメータにちゃんと収束しますか？」という問を立てればＯＫ。

　これは古典論をまず基準として評価する方法。でも、そもそも、古典論の「母数は定数」であるって仮定がおかしい！という哲学的な立場があるとすれば、この評価方法はあまりのもバイアスがかかっている。じゃあ、これとは逆方向から評価する方法を考えるとすればどうなるか。それは、一般にはない。そもそも確率変数と定数を比較することができない。では、「古典論の推定量がベイズの事後分布の期待値に一致するか？」という問を立てるのはどうか。でもこの場合、だから何なの？ってなる。

　ようは、まずは母数が定数であるか確率変数であるか、という立場を明確にする必要がある。仮に、定数であるとする。この場合、ベイズの事後分布は分析者の予想を表しているに過ぎない。


【追記】
仮に母数が定数であるというのが真だとする。この場合、明らかに古典論は頑健。一致性などを示せているならば。

ベイズ統計学のメモ

　ほとんど勉強したことないから、ベイズ統計学の考え方がよくわかってない。覚書をいくつか。

（１）ベイズ統計学では母数（パラメータ）が定数である必要はない。確率変数でもOK。

（２）事前確率密度と尤度から事後確率密度を計算する。解釈としては、パラメータの分布をアップデートする。事前・事後確率密度の両者はパラメータの分布についての分析者の主観的な予想と解釈することができる。

（３）小標本においても柔軟に統計的推論ができるという点でベイズ統計学にはメリットがある。例えば、パラメータについて、どんな値をとりそうか全くわからないし、偏見も何もないという状況にあるとしたら、十分大きな閉区間上の一様分布を事前確率密度として与えるとか。

（４）重要な論点として、標本が大きくなるにつれて、ベイズ的な推論の下で真の分布に収束するのかということがある。ちゃんと真の分布に収束するなら、ベイズ統計学は古典的統計学を一般化させたものと考えることができる。一方で、収束しないなら、思想的選択を迫られる？パラメータが定数だと考えるなら古典的な統計学を使えばよい。じゃあ、その場合のベイズ的な推論って何なの？この辺が理解できていない。