「研究 再現性 の危機」 – nature、1500人を調査
研究論文に書いているものと同じ材料(研究対象)を用意し、同じ方法を試したら、同じ結果が出る。このような状態を「再現性がある」といいます。いうまでもなく、「再現性があること」は科学の条件の1つです。
ところが、研究論文に書いてある通りのことを行っても、同じ結果が出ないことがしばしばあることが、学術界では問題になっています。このことはしばしば「再現性の危機」と呼ばれます。英語では「reproducibility crisis」といい、「replication crisis」と呼ばれることもあります。
『ネイチャー』誌はこの再現性という問題について、オンライン・アンケートを実施しました。回答者は1576人。その結果は同誌5月25日付の記事で公表されました。「研究者の70%以上がほかの研究者の実験を再現しようと試みて失敗しており、半分以上が自分自身の実験を再現することに失敗している」という現状が浮かび上がりました。
実際のところ、どれだけの研究結果に再現性があるかということについては、情報が乏しいのが現状です。過去の研究では、心理学では40%、がん生物学では10%という数字が示されたこともあります(ただし心理学については反論もあります)。
「“再現性の危機”はありますか?」という質問には、52%が「はい、深刻な危機があります」と回答し、38%が「はい、若干の危機があります」と回答しています。合わせて90%の研究者が、程度は異なれど「再現性の危機」を自覚している、ということです。それに対して「いいえ、危機なんてありません」や「わかりません」と答えた人は合わせても10%にすぎませんでした。
また、「あなたはこれまでに再現を試みたことを公表(出版)したことがありますか?」という質問には、「再現に成功した」ことについては24%が「公表した」と、12%が「公表しそこなかった」と回答しました。一方、「再現しようとしたが失敗した」ことについては13%が「公表した」と、10%が「公表しそこなかった」と回答しています。「再現成功」は「再現失敗」よりも、やはり公表しやすいようです。
同誌は「研究結果の再現に失敗することは通過儀礼だ」という研究者のコメントを紹介しています。ブリストル大学の生物心理学者マーカス・ムナーフォによれば、
自分が学生だったとき、「文献でシンプルに見えたものを再現しようと試みましたが、できませんでした。そして私は信頼性について危機感を抱きましたが、その後、私の経験は決して珍しいものではないということを知りました」
とのことです。『ネイチャー』の調査に回答した研究者の大部分はある実験を再現することに失敗した経験があるのですが、ほかの研究者から研究結果を再現できなかったという連絡を受けたことがある者は20%以下でした。「そのような話をすることは難しいから」と、同誌は推測しています。
もし実験した者がもとの(研究を報告した)研究者に助けを求めて接触すれば、自分たちの無能さ、あるいは(もとの研究を報告した研究者に対する)非難の意を示すことになってしまったり、あるいは、自分たち自身のプロジェクトについて言わなくてもいいことを言ってしまったりするリスクがある。
再現実験(追試)を行って失敗した場合、その結果が公表されにくいことについても理由がありそうです。まず研究者は、他人の研究結果を再現できなくても、「完全に妥当な(そしてたぶんつまらない)理由がある」と思ってしまいがちです。またそもそも、再現実験の成功を報告する動機自体が弱いこと、そしてジャーナル(学術雑誌)は否定的な知見を公表したがらないこともあります。再現の失敗を公表(出版)したことのある複数の回答者が、出版元の編集者や査読者はもとの研究との比較を控えることを要求してきた、と言います。
ある研究者は、幹細胞にかかわるある技術がうまくいかないことを公表しようとジャーナルに原稿を投稿しました。彼は「冷たくてドライな却下」を予想していたのですが、原稿は採択されました。それはおそらく、その問題についての「次善策」を提案したからだ、と彼は推測しています。
アンケートへの回答者の3分の1が、再現性を高めるために具体的な措置を実施している、と回答しています。またある生化学分野の大学院生は、「研究を再現させる努力のために、時間と物資を倍かけている」と述べています。また、ある数理生物学者は「再現性を確かめる」ために「プロジェクト1つにつき労働時間を30%増やすことがある」と推測しています。
彼は、生データから最終的な図にいたるまですべてのステップが遡れることを確認する。しかしこうした作業はすぐに仕事の一部になった。「再現性というのは歯磨きみたいなものです」と彼は言う。「あなたにとっていいことですよ。しかし、時間と労力がかかります。そのことがいったんわかってしまえば、習慣になるのです」
では、いったい何が「 再現性 の危機」の原因なのでしょうか? 回答者の60%以上が「選択的な報告(selective reporting)」や「公表(出版)へのプレッシャー」だと答えています。「選択的な報告」というのは、たくさんあるデータの中で、自分の仮説に最も都合のよい結果だけを選んで論文に書くことです。「統計学的な能力の低さ」や「もとの研究を報告した研究室が十分に再現実験をしていなかったこと」を挙げる回答者も多くいます。しかしそれらすべての要因は「共通の力」によって増悪されている、とある研究者は指摘します。「共通の力」とは、「助成金や地位をめぐる競争」と「研究を行ったりデザインしたりするための時間を奪う官僚的作業の増大」であるとのことです。
「再現性の危機」から脱却するためにはいったい何が必要なのでしょうか? 90%近くの回答者は「統計をもっと理解すること」、「よりよい指導」、そして「より頑強な研究デザイン」だと答えています。これらは「動機づけ(資金やテニュアの保証)」よりも重要なようです。
この記事では、ほかにも多くの興味深い調査結果が紹介されています。もちろん、もともと再現性問題に関心の高い研究者に回答者が偏っている可能性もあります。しかしそのことを差し引いても、「再現性の危機」が、学術界を動揺させている深刻な問題であることがうかがえます。