p値ハッキングとは?有意水準0.05をめぐる落とし穴【p-hacking】
研究の世界では統計的な有意性が求められます。 有意性の判定基準として通常は「P値(有意確率)」が使われており、調査・研究対象によって違いはありますが、一般的には0.05(= 5%)を有意水準として、P値が0.05以下の時に仮説が有意であるとされます。 これはつまり、この事象が起こりえる確率は95%以上であるということを示しているわけで、P値が低ければ低いほど起こりえる確率が上昇することになり、その結果、有意性の度合いが高いと評価されます。 ここで、統計的有意性「P値」について簡単に説明しておきましょう。 得られたデータ標本から計算した統計値を「統計量の実現値」と言います。「P値」は、帰無仮説(設定した仮説は成立しないという仮定)が正しいとした場合、そこで得られる統計量の実現値よりも極端な統計値が観測される確率のことです。 統計量の実現値においてP値が0.05(5%)以下ということは、「帰無仮説が正であれば(つまり仮説が成立しない)、観測されたような事象が生じる確率は5%以下と極めて珍しい。従って帰無仮説は成り立ちにくく、仮説が正である可能性が高い」ということです。少々ややこしいですが、帰無仮説を用いた検定は、逆側からの立論となっているので辛抱してください。 なお、「P値」の「P」は「Probability(蓋然性、確率)」のPです。さらに話をややこしくするのは、統計指標であるはずのP値に、誤用や誤解が付き物であるという実態です。 このため、一部の研究者や学術雑誌(ジャーナル)はP値の使用を控える動きがあることも書き添えておきます。 さて、本題に入りましょう。太郎さんと花子さんという二人の研究員の会話の形で問題を解説します。 統計的有意性の追求 太郎:やり方を間違ったかな。有意な結果が出るはずなのに、P値は約0.08。どこが間違ったのかわからないよ。 花子:手順を再確認してみた? 太郎:やったよ。手順には問題がなさそうなんだ。指導教官は高インパクトなジャーナルにこの研究成果を発表して、次の研究プロジェクトの資金を獲得したいと思っているのに、今のところ得られている実験結果は、統計的に有意とは言えないよ。やり方を変えてみようかな。 花子:どう変えるつもり?…