研究の透明性

研究の選択バイアスを軽減する10のヒント

学術研究では、真実を明らかにするための注意深い目と客観性を確保するための揺るぎない意思が不可欠ですが、本人も気づかないバイアスは、どのように注意すればよいのでしょうか。 成功事例だけが注目されて語られ、失敗事例は記録されずに顧みられることもない―これはsurvivorship bias(生存者バイアス、または生存バイアス)と呼ばれる選択バイアスの一種で、学術研究でも生じうるものです。生存者バイアスは、洞察力をにぶらせ、理解をゆがめてしまう恐れがあります。特定の行動において成功することが当然で、その結果が保証されているかのような思い込みを植え付け、失敗事例の有用なデータを隠してしまうのです。こうなってしまうと、誤った結論、誤った決断に至りかねません。本記事では、学術研究における生存者バイアスについて探求し、その広範囲に及ぶ意味を探り、研究に与える7つの影響と、バイアスの落とし穴をうまく切り抜けるための10のヒントを紹介します。 生存者バイアスとは 生存者バイアスとは、あるプロセスや出来事の「生存者」のみを基準に判断し、生存(成功)しなかった人や事象を無視したときに発生する選択バイアスの一種です。このバイアスの名前は、「生き残った」つまり、選択を通過できたデータだけに焦点を当て、「生き残れなかった」データを無視したときに発生するエラーに由来しています。成功事例のみに注目し、失敗事例(生存していないデータ)を顧みないことによって、不完全で歪んだ結果の考察を導き出してしまうのです。このバイアスは、ビジネス、金融、歴史、そしてもちろん学術研究など、さまざまな領域で散見されます。研究者がこの生存者バイアスの影響を軽減するためには、多様な視点やデータを積極的に分析に取り入れる必要があります。 研究における生存者バイアスの影響 生存者バイアスは、事実の認識を歪め、誤った結論を導く可能性があります。失敗例や不成功例を見落とすことで、リスクを過小評価したり、成功の可能性を過大評価したり、さらには誤った仮定や方策を採用したりすることにつながりかねません。生存者バイアスを軽減・回避するためには、生存者と非生存者の両方に目を向け、極端な事例だけでなく、結果の分布全体を分析することが極めて重要なのです。 研究における生存者バイアスの例 ヘルスケアおよび医学研究における生存者バイアスの例を見てみましょう。治療や介入に成功した患者のみに焦点を当ててしまう生存者バイアスは、その医学研究に影響を与える可能性があります。生存者バイアスは、疾病診断、その中でも特に診断後の生存率を調査する際に見られます。例えば、重篤な診断をされてからの患者の生存率を見た時、診断後まもなく患者が死亡した場合、その患者は調査対象者数に含まれないので、見かけ上、生存率は高くなります。一般的に若く、体力もあり、良好な既往歴などといった因子を持つ患者(被験者)は予後が良好で、こうした因子を持たない患者と比較すると高い生存率を示す傾向にあります。しかし、病気の診断後から一定期間のみを切り取った生存率の計算では、死亡した患者が除外されるケースが多く、結果として実際の確率より健康な人の割合が過剰になってしまうのです。 COVID-19のような世界的なパンデミック事象の場合、ウイルスの影響を正確に評価することは困難です。疫学者や医療専門家は、生存率の計算だけに頼っていては包括的な把握ができないことに注意を促しています。例えば、COVID-19の検査を受けずに死亡した人は、ウイルスに関連した公式の死亡者数に含まれません。このことがCOVID-19感染者の生存率を分析する上で偏りをもたらす可能性は捨てきれません。特に、検査能力やインフラが圧倒的に不足している国では、データが不完全になり、生存率の計算に歪みが生じる恐れがあります。 「生存者バイアス」の例として最も有名なのは、第二次世界大戦中の軍用飛行機の話 でしょう。第二次世界大戦中、コロンビア大学の統計学者アブラハム・ウォルドと彼の研究チームは、軍用飛行機の研究で生存者バイアスの興味深い例に遭遇しました。彼らの任務は、敵機に打ち落とされないように飛行機の装甲を補強することでした。その任務達成のために帰還した飛行機の損傷箇所を分析し、そのデータから機体の補強箇所を提案することがミッションでした。最も損傷を受けた箇所を補強することは、一見合理的なように見えますが、ここに生存者バイアスが潜んでいます。 ウォルドは、撃墜され、帰還できなかった飛行機を無視して、無事に帰還した飛行機の損傷部位だけを考慮したのでは生存者バイアスがかかってしまうことに気づきました。この発見は、彼らのアプローチを変えることにつながり、ウォルドは、帰還した飛行機の損傷が激しい部分は、むしろ、その箇所に被弾しても帰還が可能だったのに対し、急所となる部位を損傷した飛行機は撃墜されてしまったと気づきました。ウォルドはこのバイアスを考慮し、データで過小評価されていた部分、具体的にはモーターとコックピットの周辺を補強することを提案しました。これらの急所に被弾した飛行機は撃ち落とされて帰還できなかったので、その機体の損傷箇所のデータは含まれていなかったわけです。よって、生存者バイアスを考慮した上で必要な部位を強化することにより、本当に必要な補強を施した機体ができました。 生存者バイアスは学術研究においてもいくつかの重大な影響を及ぼし、調査結果の妥当性と信頼性を損なう可能性があります。以下は、生存者バイアスが研究に与える主な影響です。 1.結論をゆがめる:生存者バイアスは、相関関係と因果関係についての基本的な誤解から生じるものなので、生存者バイアスがかかると結論がゆがめられ、事実が誤って伝えられることになりかねません。生存者や成功事例のみに注目することで、研究者は不正確な結論を導き出したり、研究対象の集団や現象全体について不当な主張をする恐れがあります。 2.理解不足をまねく:生存者バイアスにより、研究対象に対する理解が不完全になる可能性があります。非生存者や想定範囲外の結果を除外することで、結果に変化をもたらす根本的なメカニズムや要因に関する洞察につながる重要なデータを見逃すことにつながりかねません。…

研究の再現性に影響する5つの要素

科学研究がうまくいかない時、何が原因なのか?この疑問に直面する研究者は多いことでしょう。研究室主催者(Principal Investigator: PI)と研究デザインについて話をした際、実験が再現できること、そして同じ結果が示せることがいかに重要かの説明を聞いた方も多いはずです。研究者は、実験計画を管理し、実験自体を成功させ、結果を示します。実験を繰り返して結果を分析した時に、最初の実験結果と同じ結果が再現できないとしたら・・・実験で何か間違えたのか、あるいは研究自体に何らかの問題があったのかと考えるかもしれません。ここでは、研究の再現性(Reproducibility)とは何で、研究に対してどのような影響を与えるものなのか、そして実験を繰り返し再現できるようにすることで、どのように研究の質を向上できるのかを取り上げていきます。 研究の再現性とは? 研究の再現性とは、研究の独自性を決定する大きな要素のひとつであり、ある研究と同じデータと手法を使って実験を行えば、元の研究と一致した結果が得られることを意味します。研究者は、ある結果を生み出した実験を繰り返し、同じ結果を得ることで、新しい発見の妥当性を確認します。さらに、該当分野の他の研究者も、元の結果に似た結果を生む同じ実験を繰り返すことができるのです。 有効な実験と結果を生み出すことは、科学界においてより確実で信頼できる科学的発見を構築し、該当分野の将来の調査研究のためにしっかりした文献に発展させるのに役立ちます。しかし、重要な研究結果を示すものの、結果が再現できない研究も多々あります。このような研究は、研究者たちを失望させ、その研究のリサーチクエスチョン(研究課題)や仮説は妥当なのか、そのリサーチクエスチョンに対しては別の方法を試すべきではないか、という疑問を生じさせることになります。 科学研究の再現性は、挑戦的かつ議論の的とされる課題ですが、研究機関や資金提供者も解決を試みています。米国細胞生物学会(American Society for Cell Biology:ASCB)は、基礎研究の再現性を高める方法とベストプラクティスを特定し、再現性に関するさまざまな用語を以下のように説明しています。 直接的再現 – 以前観察された結果を再現するのに、元の実験設計・条件を用いる。 分析的再現…

医学研究報告の透明性確保ガイドライン6選

2020年6月、医学雑誌に掲載された新型コロナウイルス感染症に関する論文の撤回が注目されました。その主たる理由は、データの信憑性に疑問が持たれたこと。この論文は、査読を経て発表されましたが、公開後に研究者から公開質問状が提出されて撤回に至り、世界中が新型コロナウイルス感染症の治療薬やワクチンを一刻も早く市場に出そうと研究を進める中で衝撃的なニュースとなりました。しかし、論文が撤回されても、一度公開されてしまった論文の内容がメディアなどを通じて拡散され、予期せぬ影響を及ぼす危険性は残ります。データの透明性確保は国際医学雑誌編集者委員会(ICMJE)のデータ共有ポリシーにも明記されていますし、人の命に影響することであるため、データを含む研究の透明性を確保し、関連情報の公開を徹底することが必要不可欠です。 EQUATOR Networkが主導する取り組み 医学研究の報告における説明やデータが不十分であると、研究自体への信頼性に疑問が持たれるだけでなく、再現性においても問題となります。そこで、EQUATOR Network(Enhancing the Quality and Transparency Of Health Research:健康研究の品質と透明性を強化するネットワーク)が主導して、診断、疫学研究、ランダム化比較試験、観察研究などにおける研究デザインや報告に関する多様なガイドラインの作成が推進されてきました。研究報告の透明性と正確性を高めることを目的としたそれらのガイドラインはネットワークを通して研究者に提供されています。 医学研究論文で広く使われているガイドライン 医学研究の報告に役立つガイドラインの中から、広く受け入れられている6つ(PRISMA, CONSORT,…

研究の事前登録は是か非か

学術、特に学術出版の世界は、この数十年の間に多くの変化に見舞われました。デジタル化の波に押され、学術雑誌(ジャーナル)の購読料問題やオープンアクセスへの流れなどが大きく取り上げられていますが、研究論文の中身についても、第三者や自分自身の研究結果を再現しようとして失敗する「再現性の危機(Replication Crisis)」や、研究結果に不都合な傾向が見られた場合に報告されない「出版バイアス(Publication Bias)」などが、対処すべき深刻な問題として挙げられています。 今、これらへの対応策として研究者の間で広がりつつあるのが、研究の 事前登録 (Pre-registration)です。事前登録とはどのようなもので、どのようなメリット・デメリットがあるのでしょうか。 ■ 事前登録(Pre-registration)とは? 事前登録とは、実験、つまり実際にデータを収集し始める前に、第三者に研究の仮説とデータの収集・分析計画を提出しておくことです。論文の序論(Introduction)と手法(Method)に書かれるべき内容を事前に提出しておくことで、集めたデータから統計的に有意な結果だけを拾うのを防ぐアプローチです。 2004年にニューヨーク州当局が英国系大手製薬会社グラクソ・スミスクライン(GSK)を提訴した事件がきっかけとなり、研究者の間で臨床試験の事前登録を行うことが一般的になりました。この訴訟は、GSK社が行った研究の5つの結果のうち、4つに抗うつ剤パキシルを処方した小児や青少年に効果がないばかりか、自殺傾向を高めるリスクがあることが示されていたにもかかわらず、GSK社が隠蔽していたことに対するものでした。ニューヨーク州当局は、同社がパキシルの有効性と安全性を宣伝して販促を行ったことで不当に得た利益を、州に差し出すよう求めたのです。患者への悪影響を重くみた米国と英国は、この薬を小児や青年に投与しないように呼びかけ、同年、医学雑誌編集者国際委員会(International Committee of Medical Journal Editors)は臨床試験の事前登録を義務づけました。以降、事前登録は、心理学と政治学の分野で広く採用されるようになり、ライフサイエンスの分野でも徐々に浸透しつつあります。ちなみに、無料のオープンサービスを提供している非営利組織Center for…

「再現性の危機」解決への新アプローチ

科学研究において「再現性」は、基本中の基本です。誰がその研究を試みても同様の結果を導くことができなければ、成果を信頼してもらうことは難しいでしょう。2014年に話題になったSTAP細胞。「STAP細胞はあります」との発言が記憶に新しいですが、他の研究者が論文に書かれた通りの方法で実験を行っても、STAP細胞の存在を確かめることはできず、最終的にnatureに投稿された論文も撤回された――。このように、再現性がない研究は認められないのです。 実は、別の研究者あるいは論文の著作者本人が、論文に書いてある通りの方法で実験をしても同じ結果が出ないことは、しばしば問題となり、この「再現性の危機」が、科学界の信頼性を脅かしています。 研究者自身が失敗を認めた  研究にとって重要な再現性を担保するためには、研究計画や方法の透明性、データの収集・分析・保存が不可欠です。当然、研究者は細心の注意を払って実験計画を作り、方法を熟考し、データを処理します。それでも再現できない場合があるとは、どういうことなのでしょう?  学術雑誌(ジャーナル)Natureのある調査が、驚きの結果を示しました。53の主要な癌(がん)研究のうち、再現可能であったものは6に過ぎなかったのです。要因の一つとして、情報共有の不足が考えられます。どの論文の著者も、自身の研究計画や方法、データ処理・分析の仕方であれば熟知していますが、それらの詳細情報が他の研究者や学会と共有されていない限り、他者が研究成果の価値を客観的に評価し、あるいはそれをうまく再現することは困難です。研究者が自ら好んで再現研究に関わることは稀なので、結果として再現できないという事態が生じてしまうのでしょう。 もし、自身の論文に対して誰かが疑問を呈したら、どうすべきでしょうか。自己弁護をする、というのが一般的な回答かもしれませんが、中には意外な反応を示す研究者もいます。 2010年、わざと自信があるような姿勢(パワーポーズ)をとることでなぜか自信がわくという心理現象の研究が行われました。不安な時でも自信のあるパワーポーズを2分間とるだけで、勇気を捻出するホルモン「テストステロン」が増加する、という彼女たちの研究。論文著者であるAmy Cuddy博士が、この研究の心理テクニックを『〈パワーポーズ〉が最高の自分を創る』という書籍としても出版したので話題となりましたが、2015年の追試では、同じ現象がほとんど再現されなかったため、パワーポーズの効果が疑問視されるようになりました。Cuddy博士は反論しましたが、2016年、オリジナル論文の共同研究者であったDana Carney博士が、自分たちの研究結果に対して自信が持てないことを表明。パワーポーズの信頼性は地に落ちたのです。 Loss of Confidence Project(自信喪失プロジェクト) Carney博士が勇気を出して自身の研究の不完全さを公表したことは、学術界に衝撃を与えたと同時に、新たな示唆を投げかけました。誤りや再現性のなさを隠すのではなく、公にすることが、逆に研究の透明性を確保することになるのではないか、と。 Carney博士による表明をきっかけにして、Loss…