Preproducibility：再現性の前提
研究における再現性（reproducibility）は、非常に重要であると同時に懸念すべき問題です。再現性または再現可能性とは、別の研究者が同じ方法、同じ条件で同じ実験を行った場合、同じ結果が得られることを意味します。結果を再現できなければ研究の結果が正しいことが立証されず、そのような状況は「再現性の危機（reproducibility crisis）」と呼ばれています。再現性は、研究の透明性が確保され、研究手法について理解を得るために必要不可欠です。
学術雑誌（ジャーナル）に発表する論文は「再現性がある」ことが前提です。しかし、多くの論文では、情報が不足しているなどの理由から、書かれている通りに実験を行っても同じ結果が再現できないということが起こっています。重要な情報が抜けていると、査読者はその研究に再現性があるかの判断ができず、研究の科学的な価値が大きく損なわれてしまいます。
Preproducibilityとは
2018年5月にカリフォルニア大学バークレー校の統計学のPhilip B. Stark教授が、Nature誌に寄稿した記事の中で「Preproducibility」という新しい用語を提唱しました。
Stark教授は、論文中に実験を再現するのに必要な情報が十分かつ正確に記載されていれば、その実験を「Preproducibilityがある」と表現したのです。Stark教授は、Reproducibility（再現性）の前提(pre-)となる情報が備っていることを、料理になぞらえて説明しています。例えば、パンを焼くためには、材料だけでなく、作り方も記したレシピが必要です。Preproducibilityは、「科学研究レシピ」にあたるもので、詳細に書かれた情報（レシピ）があれば、誰もが同じ結果を得ることができる（料理が作れる）はずだと言うのです。
Preproducibilityがないとどうなるか？
Preproducibilityがなければ、当然ですが研究が再現不可能となる可能性は高くなります。再現可能な研究論文が分野全体の25％しかないと指摘されている学術分野もあり、まさに重大な再現性の危機です。論文に必要な情報が十分書かれていないと実験を再現できず、研究者の時間と研究資金を無駄にすることになりますし、医薬研究であれば、再現性のない研究は確かめようがないため、治療への利用が遅れ、患者と医者の双方の大切な時間を奪うことになりかねません。
Preproducibilityのない論文は査読も大変です。研究の再現性の有無を確かめられない場合、査読者はどうやって論文を評価するのでしょうか？Stark教授がNature誌に書いたように、科学とは『信じてください』ではなく『証明します』であるべきなのです。Preproducibilityのない研究は、科学研究における信頼を損ないかねません。
Preproducibilityを確保するために
Preproducibilityを確保するためには、系統的にまとめた研究報告を作成する必要があります。きちんとした報告書は、査読者が研究評価を行い、他の研究者が研究を再現させるのに役立ちます。Stark教授は、可能な限り生データとデ－タ処理に使用したソフトウェアを公開していると語っています。データに関する情報を公開することから始めるのは、ひとつの策です。また、文書や論文を執筆する際に入れ込むべきポイントを挙げて確認するよう促しています。
考慮すべきポイント
- 生デ－タを論文に記したか？ デ－タの収集方法は記載したか？
- データ収集が再現できるように、研究に使用した素材や方法について詳細に記載したか？
- データの処理方法は記されているか？
- デ－タ解析が再現可能か？
- 問題に対してどのような対処をしたか？ その対処法を選択した理由は？
- データ解析方法の選定理由は？別の方法も検討したか？
- 表や数値を再現するのに必要なプログラムとデータを記載したか？
これらはPreproducibilityのある研究報告書を作成するにあたって考慮すべきポイントのほんの一部です。実際に報告書に書き込むべきことは、研究分野や研究の種類によって異なるため、適宜対応する必要があります。
再現不可能な研究を生む背景－研究者が直面するプレッシャー
研究者が、研究活動における優れた取り組み（Good Practice）の妨げとなるようなプレッシャーを感じることも多いようです。科学者の大部分は、長期的に価値のある研究成果を生み出すことを望んでいます。しかし、人目を引く「派手な」成果を求めるプレッシャーに直面することも少なくないのです。2015年9月のNatureの記事には、プレッシャーと偏見がGood Practiceの実践を妨げていることがあるとして、派手なだけでなく、堅実な研究が行える環境を提供すべく研究機関が努力する必要があるとも記しています。
学術研究におけるプレッシャーの要因はさまざまです。論文発表、昇進、受賞、研究資金獲得などに関わるすべてのチャンスが「より良い（質）」研究に携わる研究者より「より大きな（規模）」研究に携わる研究者に向けられるのは否定できません。こうした傾向が研究者に「望ましくない」実験結果を無視したり、データを改ざんしたりするなどの不正を生む原因となるのです。
では、解決策はあるのでしょうか？ 組織の中には、こうした問題への取り組みを始めているところがあります。Nature誌やScience誌などの学術雑誌は、ガイドラインを改訂してチェックリストを取り入れました。チェックリストの項目と照らし合わせることで、適切な取り組みを行ったか、つまりランダムテストやブラインドテストの実施、サンプルサイズの適性などをチェックします。アメリカの国立衛生研究所は、研究者が提示した詳細情報に実験計画が適切に基づいたものであるかどうかを、査読者に依頼して確認しています。しかし、チェックリストを作成したり査読者に依頼したりするだけでは、実際の状況を検証することまではできません。研究活動における不正行為や再現性の危機を完全に防ぐことはできないのです。
Good Institutional Practices（GIP）の検討
残念ながら再現不可能な研究を未然に防ぐためのPreproducibilityを確保できるほど強力なシステムを備えている研究機関はほとんどありません。前述のNature記事には、動物実験を行う際の規制のように、研究機関がコンプライアンスを監視する制度を考案し、研究の完全性を確保する必要があると提案しています。研究機関は、「Good Institutional Practice （GIP）」と称される再現性のある研究を促進するために必要な実施基準の導入を検討し、研究の一貫性、品質、および整合性を確保する必要があるのです。
実施基準を定めて実験を行えば、研究活動の実施方法を適正化し、再現性のない研究を防ぐことにも役立つと考えられています。実施基準が研究資金を受け取るための前提となれば、研究機関は基準に従うようになるのではないでしょうか。少なくとも、再現不可能な研究を生む要因となるプレッシャーの抑止につながれば、Preproducibilityのある研究が増えると期待できます。
こんな記事もどうぞ
エナゴ学術英語アカデミー 「再現性の危機」解決への新アプローチ
エナゴ学術英語アカデミー 「再現性の危機」に対応するための「 チェックリスト 」
