小島(2004)によると、不確実性には２つのタイプがある。１つは、未来に起こることゆえの不確実性。もう１つは、すでに起こってしまったことだが、結果に対して十分な知識がないゆえの不確実性である。確率とは、この不確実性に対して「推測」という形で現われる思考だとする。
ベイズ推定は、後者のような不確実性において、条件付確率を用いる推定であるが、知識がない状態で判断される確率が、新たな情報が入手され、知識が増えるたびに変わっていくのが特徴である。いったん推測した確率が次々と変わって行くのは直観には反するかもしれない。しかし、ベイズ推計が、知識がないがゆえによくわからないという状況が、知識が増えるにしたがって、だんだんと明らかになってくるというプロセスを記述していると考えるならば納得がいくだろう。少ない情報で推測した確率がより不正確で、情報が増えるたびに、正確性が増してくるというロジックである。
ベイズ推計は、逐次合理性という優れた性質を具備していると小島は指摘する。ベイズ推計は、多数回試行を行うならば、大数の法則に基づくフィッシャーの頻度主義と変わりない結論を下せる。だが、さらに優れた点は、繰り返してベイズ推計を行う場合、何度も洗いなおして試行を繰り返す必要がなく、最新の情報だけでアップデートすれば結果的に同じ数値を導けるところにあるという。これが逐次合理性である。
