研究の事前登録は是か非か
学術、特に学術出版の世界は、この数十年の間に多くの変化に見舞われました。デジタル化の波に押され、学術雑誌(ジャーナル)の購読料問題やオープンアクセスへの流れなどが大きく取り上げられていますが、研究論文の中身についても、第三者や自分自身の研究結果を再現しようとして失敗する「再現性の危機(Replication Crisis)」や、研究結果に不都合な傾向が見られた場合に報告されない「出版バイアス(Publication Bias)」などが、対処すべき深刻な問題として挙げられています。
今、これらへの対応策として研究者の間で広がりつつあるのが、研究の 事前登録 (Pre-registration)です。事前登録とはどのようなもので、どのようなメリット・デメリットがあるのでしょうか。
■ 事前登録(Pre-registration)とは?
事前登録とは、実験、つまり実際にデータを収集し始める前に、第三者に研究の仮説とデータの収集・分析計画を提出しておくことです。論文の序論(Introduction)と手法(Method)に書かれるべき内容を事前に提出しておくことで、集めたデータから統計的に有意な結果だけを拾うのを防ぐアプローチです。
2004年にニューヨーク州当局が英国系大手製薬会社グラクソ・スミスクライン(GSK)を提訴した事件がきっかけとなり、研究者の間で臨床試験の事前登録を行うことが一般的になりました。この訴訟は、GSK社が行った研究の5つの結果のうち、4つに抗うつ剤パキシルを処方した小児や青少年に効果がないばかりか、自殺傾向を高めるリスクがあることが示されていたにもかかわらず、GSK社が隠蔽していたことに対するものでした。ニューヨーク州当局は、同社がパキシルの有効性と安全性を宣伝して販促を行ったことで不当に得た利益を、州に差し出すよう求めたのです。患者への悪影響を重くみた米国と英国は、この薬を小児や青年に投与しないように呼びかけ、同年、医学雑誌編集者国際委員会(International Committee of Medical Journal Editors)は臨床試験の事前登録を義務づけました。以降、事前登録は、心理学と政治学の分野で広く採用されるようになり、ライフサイエンスの分野でも徐々に浸透しつつあります。ちなみに、無料のオープンサービスを提供している非営利組織Center for Open Science(COS)は、2018年12月31日までに事前登録した研究が学術雑誌に採択されれば1,000ドルの賞金がもらえるキャンペーンを行い、浸透を図っています。
■ 事前登録が必要とされる理由
事前登録は、学術出版において広がる複数の問題の解決を試みるものです。GSK社が行った情報操作のように、仮説に対して否定的な結果よりも肯定的な結果のほうが発表されやすい傾向があり、概して悪い結果を招きかねません。有意差はない、または、予期していなかった結果も期待した結果と同等に蓄積・公開されるべきものです。パキシル訴訟では、GSK社とニューヨーク州当局が和解に至り、製品の臨床試験結果を公表することが求められました。事前登録は、実験結果の情報操作を防ぎつつ、すべての結果の蓄積に一役買うものです。
また、事前登録することで、データを分析した結果を見てから、それに見合った仮説をつくり、まるで意図した結果が実験から得られたかのように論文を作成するHARKing(Hypothesizing After the Results are Known)や、p-hacking(有意なp値が出るまでデータ分析を繰り返すこと)、asterisk-seeking(データを分析する際に有意な値を探すこと)などのデータの信頼性に関わる問題を防ぐことにも役立ちます。
なお、事前登録の仕組みは2つに分類できます。査読あり(Reviewed)と査読なし(Unreviewed)です。査読付きの事前登録は「登録済み報告書(Registered Report)」としても知られるもので、学術雑誌に登録され、専門家によって査読されるものを指します。登録済み報告書を認めている、または求めている学術雑誌には、Behavioral Neuroscience、Experimental Psychology、the Journal of Business and Psychologyなどがあります。こうした学術雑誌で登録済み報告書が採択されれば、結果の如何に関わらず論文は掲載されます。一方、査読なしの事前登録の場合は、公開または非公開のレポジトリに登録できます。レポジトリには、AsPredicted、Open Science Frameworkなどがあります。
■ 事前登録のメリット・デメリット
事前登録は、研究の安全性を担保するだけでなく、研究者にとってもメリットがあるものです。共著者の間でもデータの透明性を保てる点と、都合の良い検定手法で数字の有意性を作り出すp値ハッキング(p-hacking)と批判されるのを防げる点です。さらに、査読付きの事前登録を行えば、学術雑誌への掲載が約束されるばかりか、査読のフィードバックを受けられる可能性もあります。
その一方、事前登録には検討すべきデメリットもいくつかあります。1つは、少ないとは言え、査読者が研究内容をかすめ取ってしまう可能性は捨て切れません。次に、研究者によっては、事前登録によって探索的調査が制限されてしまうのではないかという懸念を持っていることもあるでしょう。実際には、事前登録は、研究のプロセス全体を明確にすることを求めているだけです。したがって、実験開始当初の仮説で「有意差は出ない」と考えていたとしても、実際の実験で異なる結果を発見したとすれば、もちろん論文に記載できます。この場合、事前登録は、有意差があるという結果が付帯的に発見された、ということを明確化するにすぎません。否定的な結果が出た研究は(肯定的な結果が得られた研究より)公表されにくいという出版バイアスが根強くとも、事前登録は、どのような結果が得られた研究も等しく出版することを促すものなのです。
これらの研究者にとってのメリット・デメリットも含め、事前登録を真剣に検討するに値する理由はいくつもあります。実際、事前登録のプロセスはさほど難しいものではありません。事前登録を率先して採用する「アーリーアダプター(初期採用者)」になっておくことで後々自分に見返りもあるかもしれません。そして、実際に事前登録をするなら、先に述べた二つの分類のうち査読付き事前登録のほうが今のところメリットは大きいと言えそうです。これを機に検討してみてはいかがでしょうか。
こんな記事もどうぞ
エナゴ学術英語アカデミー 「再現性の危機」解決への新アプローチ
https://www.enago.jp/academy/if-lose-confidence-in-your-research/