「再現性の危機」に対応するための「チェックリスト」
以前、本誌では、『ネイチャー』誌が2016年に研究者たちをアンケート調査したところ、回答者1576人のうち70%以上が、ほかの研究者の実験を再現しようとしたが失敗した経験がある、と答えたことを紹介しました。このように、論文に書かれている通りの方法で実験を行っても、結果を再現できないことがしばしばあるという現状は「再現性の危機(reproducibility crisis)」と呼ばれています。 今年4月18日付『ネイチャー』誌の社説は、同誌が論文原稿を投稿する著者たちに、すべての項目を満たすよう求めている「 チェックリスト (Statistical parameters)」が「正しい方向への第一歩」ではあるものの、再現性の危機に対応するためには、まだほかに行なうべきことがある、と主張しました。 また同誌は再現性とチェックリストの効果について調べるために、2016年7月から2017年3月にかけ、『ネイチャー』に投稿したことのある研究者5375人に調査票を送り、その結果のデータをそのまま公開しました。それによると、回答した研究者480人のうち49%は、チェックリストが『ネイチャー』に掲載される研究の質の改善につながっている、と答えたそうです。15%はチェックリストの有効性に同意しませんでした。 回答者の86%は、再現性が低いことを自分たちの研究分野における危機である、と認識していることもわかりました。この割合は2016年の調査と同様です。また2016年の調査では、回答者の約60%が「再現性の危機」の原因として、「選択的報告(selective reporting)」を挙げていたのですが、今回の調査でも、約3分の2が同じように「選択的報告」を指摘していました。 「選択的報告」とは、しっかりとした定義はありませんが、たくさんあるデータのなかで自分の仮説に最も都合のよい結果だけを選んで論文に書くことをいいます。いいとこ取りをするという意味で「チェリーピッキング(cherry picking)」と呼ばれることもあります。研究結果をわかりやすく見せるために多くの研究者が行なっていることであり、これを「悪いこと」とみなすかどうかは微妙なところです。しかし、選択的報告が再現性を低めていると認識している研究者が多いことは確かなようです。『ネイチャー』のチェックリストは、この選択的報告をより透明化するようにも設計されているといいます。 ではこのチェックリストは、再現性の低さという問題に対応できているのでしょうか? 「部分的にはそうであろう」と『ネイチャー』の社説は評価しています。ただしアンケート調査の回答からは、再現性の低さをもたらす要因として、著者へのトレーニングや報告の透明性、そして「研究発表せよというプレッシャー(publishing pressure)」といった微妙な問題があることも浮かび上がる、といいます。 好ましい兆候もあります。2012年、アメリカにある国立衛生研究所(NIH)のストーリー・ランディスらは、医学・生命科学分野における前臨床研究(動物実験)の透明性を高めるために、論文の著者は「無作為化(ランダム化)」、「盲検化(ブラインド化)」、「サンプルサイズの推計」、「データの調整」という4つの基準について報告すべきだと提案しました。これは「ランディス4基準(Landis 4…