コラム

「再現性の危機」に対応するための「チェックリスト」

以前、本誌では、『ネイチャー』誌が2016年に研究者たちをアンケート調査したところ、回答者1576人のうち70%以上が、ほかの研究者の実験を再現しようとしたが失敗した経験がある、と答えたことを紹介しました。このように、論文に書かれている通りの方法で実験を行っても、結果を再現できないことがしばしばあるという現状は「再現性の危機(reproducibility crisis)」と呼ばれています。 今年4月18日付『ネイチャー』誌の社説は、同誌が論文原稿を投稿する著者たちに、すべての項目を満たすよう求めている「 チェックリスト (Statistical parameters)」が「正しい方向への第一歩」ではあるものの、再現性の危機に対応するためには、まだほかに行なうべきことがある、と主張しました。 また同誌は再現性とチェックリストの効果について調べるために、2016年7月から2017年3月にかけ、『ネイチャー』に投稿したことのある研究者5375人に調査票を送り、その結果のデータをそのまま公開しました。それによると、回答した研究者480人のうち49%は、チェックリストが『ネイチャー』に掲載される研究の質の改善につながっている、と答えたそうです。15%はチェックリストの有効性に同意しませんでした。 回答者の86%は、再現性が低いことを自分たちの研究分野における危機である、と認識していることもわかりました。この割合は2016年の調査と同様です。また2016年の調査では、回答者の約60%が「再現性の危機」の原因として、「選択的報告(selective reporting)」を挙げていたのですが、今回の調査でも、約3分の2が同じように「選択的報告」を指摘していました。 「選択的報告」とは、しっかりとした定義はありませんが、たくさんあるデータのなかで自分の仮説に最も都合のよい結果だけを選んで論文に書くことをいいます。いいとこ取りをするという意味で「チェリーピッキング(cherry picking)」と呼ばれることもあります。研究結果をわかりやすく見せるために多くの研究者が行なっていることであり、これを「悪いこと」とみなすかどうかは微妙なところです。しかし、選択的報告が再現性を低めていると認識している研究者が多いことは確かなようです。『ネイチャー』のチェックリストは、この選択的報告をより透明化するようにも設計されているといいます。 ではこのチェックリストは、再現性の低さという問題に対応できているのでしょうか? 「部分的にはそうであろう」と『ネイチャー』の社説は評価しています。ただしアンケート調査の回答からは、再現性の低さをもたらす要因として、著者へのトレーニングや報告の透明性、そして「研究発表せよというプレッシャー(publishing pressure)」といった微妙な問題があることも浮かび上がる、といいます。 好ましい兆候もあります。2012年、アメリカにある国立衛生研究所(NIH)のストーリー・ランディスらは、医学・生命科学分野における前臨床研究(動物実験)の透明性を高めるために、論文の著者は「無作為化(ランダム化)」、「盲検化(ブラインド化)」、「サンプルサイズの推計」、「データの調整」という4つの基準について報告すべきだと提案しました。これは「ランディス4基準(Landis 4…

間違いやすい用語や表現 ー based

過去分詞「based」の誤用を度々見かけます。ここではその典型的なものを検討します。 過去分詞およびそれが導入する過去分詞句は、必ず形容詞の機能をもち、名詞とその相当語句のみを修飾しうる語句です。しかし、日本人学者による論文では過去分詞が副詞として用いられているという文法的な誤りをよく目にします。 以下を見てみましょう。 [誤] (1) We performed this experiment based on the method introduced in…

間違いやすい用語や表現 ー動詞「set」の誤用

「to be」との誤った併用 日本人学者が書いた論文において動詞「set」が誤用されていることを度々目にします。ここでは「set」の一つの典型的な誤用を考察します。 以下を見てみましょう。 [誤] (1) Here, x is set to be positive. [誤] (2)…

著者は査読者による「バイアス(偏見)」を恐れている

本誌で以前にお伝えしたように、ジャーナル(学術雑誌)で行われる 査読 には次の3種類があります。「片側盲検査読(single blind peer review)」では、査読者の側からは著者が誰かわかりますが、著者の側からは査読者は誰かわかりません。「二重盲検(double blind peer review)」では、著者も査読者もお互いが誰かわからないまま査読します。3種類目は「オープン査読(open peer review)」です。一部で試み始められているこの方法では、前回報告したように、著者も査読者もお互いが誰かをわかったうえで査読を行ないます。 学術出版大手シュプリンガー・ネイチャー社は、2015年2月、最も有名な科学雑誌である『ネイチャー』と“ネイチャー・ブランド”の月刊誌において、論文原稿を投稿する著者たちが、二重盲検による査読をオプションとして選べるよう、査読の方針を一部転換しました。 これは著者たちからの要望に応じたものだといいます。片側盲検による査読は二重盲検よりも、査読者のバイアス(偏見・偏り)の影響を受けやすいといわれているからです。実際、最近の研究でも、査読者は、片側盲検査読では二重盲検査読よりも、知名度のある著者や研究機関が投稿した原稿を採択する傾向があることがわかりました。 2017年2月6日、アラン・チューリング研究所のバーバラ・マギリブレーとシュプリンガー・ネイチャー社のエリサ・デ・ラニエリは、同社に蓄積されたデータを使って、二重盲検査読が査読における「暗黙のバイアス」を取り除き、査読の質を向上させているかどうかを検証し、その結果を、プレプリントサーバー「アーカイヴ(arXiv)」に投稿しました。 彼らは、2015年3月から2017年2月までの間にネイチャー・ブランドのジャーナル25誌が受け取った原稿12万8454件を対象として、ジャーナルの階層(影響力)、査読の方法(片側盲検か二重盲検か)、著者の特性(性別、国、所属研究機関など)、査読の結果(採択か却下か)を分析しました。…

査読結果や査読者名を公開すべきか?

ジャーナル(学術雑誌)における査読は、一般的には匿名で行われます。しかしながら本誌では以前、著者も査読者もお互いが誰であるかを明らかにして行う「オープン査読」でも、査読の質は下がらない、という研究結果を紹介したことがあります。 また現状の査読は不透明であり、バイアス(偏り)を伴いがちで、非効率であることも指摘され続けています。ある科学者が「査読を科学的なものにしよう」と提言したことを、本誌が紹介したこともあります。 査読の改善を図ろうとしばしば提言されることが「査読のオープン化」です。ただ査読のオープン化といっても、さまざまなものがあります。たとえば上述の「オープン査読」です。また、論文の公表と同時に、査読結果(査読レポート)も公表するという試みも始まっています。 ハワード・ヒューズ医療研究所などが主催し、今年2月にメリーランドで開催された「生命科学の査読における透明性・認識・改革」という会議では、100人ほどの出席者が査読のオープン化について活発に議論しました。その様子を『サイエンス』が伝えています。 それによると、出席者の多くは、査読結果を公開することに好意的なようです。しかしながら査読者の名前の公開については、コンセンサスが得られなかった、と伝えられています。 査読結果を公開することのメリットとしては、査読システムの理解につながること、特にキャリアの初期にいる若い研究者にとって役に立つことなどが指摘されています。また、査読結果に書かれている評価のなかには、研究者が自分の分野について新しい方法論で検討することに役立つ情報が含まれていることもある、という意見もあります。 デメリットも指摘されました。たとえば、訴訟や一般社会で起きている論争にかかわる臨床試験の結果をまとめた論文の査読結果に批判的なコメントが書かれていた場合などでは、誰かがそれをチェリー・ピッキング(自分の主張に都合の良い事実だけをつまみ食いすること)して、誤った認識を広めてしまうというリスクがあります。それについては、科学者の側が一般社会に対して査読の意義を説明する努力が必要だ、という意見も出ました。 会議で行われた非公式なアンケートでは、査読結果を公開し、それをオンラインで検索できるようにすることに、圧倒的な支持が集まりました。この結果は、2017年12月に『プロスワン』で公表された研究結果に一致します。この研究では、オーストリアの研究者らが、研究者ら3062人を対象にオープン査読に対する態度についてオンライン・アンケートを行ったところ、回答者の60.3%が「オープン査読は一般的な概念として、学術論文の査読方法の主流となるべき」とみなしていることなどがわかりました。 しかしながら査読結果を公表しているジャーナルはきわめて少ないのが現状です。非営利団体「RAND ヨーロッパ」が3700誌を対象に行った調査では、査読結果を公表することを認めているジャーナルは2.3%に留まりました。なお、査読結果を公開することを認めている『ネイチャー・コミュニケーションズ』では、著者の62%が公開に同意したことが、前述の「生命科学の査読における透明性・認識・改革」会議で明らかにされました。 一方、査読者の名前を公表することについては、根強い懸念があるようです。たとえば、査読者が若い研究者である場合、人事権などを握っている年長の研究者からの報復を恐れて、批判的なコメントを控えるようになってしまうかもしれません。査読への参加を完全にやめてしまう研究者もいるでしょう。 また、国立衛生研究所(NIH)はオープンアクセスになっている論文にコメントできるプラットフォーム「パブメドコモンズ(PubMed Commons)」を運営してきましたが、今月、閉鎖してしまいました。結局のところ、名前を明らかにした上でコメントする研究者はきわめて少なかったからだといいます(なお論文について匿名でコメントできる掲示板として「パブピア(PubPeer)」があります。悪名高いSTAP細胞論文の不正発覚はここから始まったといわれています)。 査読者の名前を公表することに賛成する意見もあります。査読者の名前を出すことで、たとえば、より慎重な査読を促したり、不当にネガティブなコメントを少なくしたりすることができる可能性があります。また、査読という仕事そのものが研究活動の一環として評価され、テニュア(終身在職権)や昇進などの審査対象になるようになるかもしれません。「えこひいきを排除するのにも役立つだろう」という意見もありました。ジャーナルの編集委員が、学会での有力者や知り合いなどが原稿を投稿してきた場合などに、査読を通りやすくするよう何らかの取り計らいをする、という話は筆者(粥川)も耳にしたことがあります。査読者を明らかにすることで、外部の者がそうしたバイアスを認識できるかもしれない、ということです。 しかしながら現状では、査読者の名前を明らかにすることを認めているジャーナルはごくわずかです。前述のRANDヨーロッパの調査では、3.5%でした。…

米NIH、「捕食ジャーナルで論文公表しないで」

前回記事の後半でお伝えした通り、米国の研究費の支出機関である国立衛生研究所(NIH : National Institute of Health)は、2017年11月3日、関係各所に対して同研究所の助成を受けた研究は「明確かつ厳密な査読プロセスを持たないジャーナル(学術雑誌)」での論文発表を控えるように、という通達を発行しました。要するに、本誌で何度も取り上げてきた「捕食ジャーナル(predatory journal)」では論文を発表しないでください、ということです。 通達を出した目的は「発表された論文の信頼性を守るため」であり、NIHが研究費を支出した研究については、「評判のよいジャーナル」で論文発表することを奨励する、と述べています。 NIHは、自分たちが研究費を支出した研究の結果として執筆された論文のなかで、学術機関が推進する「ベストプラクティス(最良の実践)」に従っていないジャーナルで発表されているものが増えていることに気づいている、といいます。学術情報のウェブサイト「リトラクションウォッチ」が、NIHの外部研究助成部門の担当者にインタビューし、「この通達を出すに至る問題が何か起こったのですか?」と尋ねたところ、担当者は「いくつかの最近の記事で、一部のジャーナルや出版社の行動に懸念を持つようになりました」と述べました。具体的な件数については「共有できる数字はありません」と答えています。 担当者のいう「いくつかの最近の記事」がどの記事なのかははっきりとしませんが、NIHの関連ページに書かれた文章には、ウプサラ大学の研究者らが2016年に発表した論文と、『ニューヨークタイムズ』が2017年10月に掲載した記事がリンクされています。 NIHの外部研究助成部門次長マイケル・ローワー博士は公式ブログで、このことは、NIHが研究費を支出している研究については「大きな問題ではないかもしれない」と書いています。というのは、NIHが研究費を支出した研究を報告した論文81万5000件以上のうち、90%以上は生物医学分野の論文データベース「MEDLINE」に収録されているからです。MEDLINEは、米国国立医学図書館(NLM : National Library of…

論文英語の組み立て-能動態と受動態 I

能動態と受動態I: 動詞の種類による3つのケース I. 概略 学術論文において受動態の間違った使い方が原因となっている誤りを度々目にします。ここでは、受動態文の作り方を検討します。 日本語と違って、英語では、受動態は他動詞の場合にのみ可能です。なお、他動詞にも数種類あり[1] 、受動態文の構造に関しては他動詞の種類によって3つのケースがあります。つまり、1)動詞が直接目的語しかとらない単一他動詞、2)直接目的語と間接目的語をとる二重他動詞、3)直接目的語と意味的間接目的語をとる二重他動詞となっている場合において受動態文の作り方はそれぞれ異なるわけです。以下で各ケースにおける構造を明らかにします。 II. 例文 IIa. 受動態文が能動態文と同じ状況を表す場合 まず、以下の例を見てみましょう。 1)単一他動詞 能動態: [正] (1a)…

米国の裁判所、“捕食出版社”に差し止め命令

2017年11月18日、米国の連邦取引委員会(FTC : Federal Trade Commission)は、米国の裁判所が9月に、いわゆる捕食ジャーナルの出版社に対して「予備的差し止め命令(preliminary injunction)」を出したことを発表しました。FTCは不正な取引等を取り締まる政府機関です。 本誌でも度々伝えてきたように、捕食ジャーナル(predatory journal)とは、掲載料さえ払えばきわめて甘い査読のみで、どんなひどい論文でも掲載してしまうオープンアクセスジャーナルのことです。「ハゲタカジャーナル」と訳されることもあります。そうしたジャーナル(学術雑誌)に掲載された論文は、たとえば生物医学分野であったら、同分野の論文データベース「パブメド(PubMed)」に収載されないこともあります。 捕食ジャーナルを発行する出版社は「捕食出版社(predatory publisher)」と呼ばれます。彼らは登録料さえ払えば誰でも講演できる「国際会議」と称するものを開催することもあります。 FTCは2016年8月、インドのオープンアクセスジャーナルの出版社OMICSグループや関連企業に対して訴訟を起こしました。FTCの主張は、同社らが、有名な研究者の名前をその研究者が参加することに同意しなかったにもかかわらず使用して会議の参加者を募集したこと、論文が査読されているかどうかについて読者を誤解させたこと、投稿前に掲載料に関する情報をはっきりと著者に提供していないこと、同社らが発行するジャーナルについて誤解を招く「インパクトファクター」を提示していたこと、です。 この訴訟に対し、2017年9月29日、ネバダ州連邦地方裁判所のグロリア・ナバロ裁判官は、FTCから提出された証拠は「被告がジャーナル出版に関する虚偽記載をしたという予備的な結論を支持するのに十分である」と述べ、「差止命令がなければ、被告人が依然として不正行為に従事する可能性が高い」という判決を下しました。 しかし、学術情報サイト「リトラクション・ウォッチ」などによれば、この命令は、同社がジャーナルを発行したり、国際会議を開催したりすることを止められる内容ではないようです。今回裁判所が認めたことは、あくまでも同社が研究者たちに論文や口頭発表を勧誘する方法において不正行為を行ったことであり、結果として命じたのは、誤解を招く情報をウェブサイトから削除することでした。 FTCの金融慣行課の上席弁護士グレゴリー・アッシュは「これは確かに、私たちは捕食出版社を監視し、目を光らせています、という学術界へのメッセージです」とコメントしています。それに対してOMICS社の法律顧問は「リトラクション・ウォッチ」の取材に対して、「FTCは“フェイク・ニュース”に基づいて主張したのです」と述べています。 OMICSグループはインドに本社を置く、オープンアクセスジャーナル専門の出版社で、700誌ものジャーナルを発行し、世界各地で国際会議と称する会議を主催しています。同社の名前は、捕食ジャーナルや捕食出版社のリストとして知られる「ビールズ・リスト」にも挙がっていました(同リストは閉鎖されましたが、アーカイヴが残っています)。…

論文英語の組み立て-自動詞と他動詞

I. 概要 一般的な言語学現象として、 動詞 は、表す動作や状態において異なった立場にある複数の参加者が存在するかどうかによって二種類に分かれます[1] 。動作・状態の主体である参加者のみ存在する場合に使われる動詞は「自動詞」(intransitive verb)と言い、対象(客体)も存在する場合は「他動詞」(transitive verb)と言います[2] 。他動詞はさらに「単一他動詞」(monotransitive verb)と「二重他動詞」(ditransitive verb)という二種類に区別されます [3]。統語論的には、示される動作・状態における参加者を表す項が、前者では2つ(主語と1つの目的語)、後者では3つ(主語と2つの目的語)あります。英語では、単一他動詞は1つの直接目的語をとり、二重他動詞は直接目的語に加えて間接目的語、あるいは間接目的語と同様の役割を果たす前置詞の目的語をとります[4] 。(ここでは、間接目的語と同様に機能する前置詞句の目的語を「意味的間接目的語」と呼ぶことにします。) 例文を見てみましょう。 [正]…

米国化学会、海賊版論文サイト「サイハブ」に勝訴

本連載でもお伝えしてきたように、「サイハブ(Sci-hub)」というウェブサイトでは、出版社のサイトでは有料でしか入手できない論文のPDFファイルを、誰でも簡単に無料でダウンロードすることができます。ジャーナル(学術雑誌)の購読料が高騰し、論文を手に入れにくくなったことに業を煮やした研究者アレクサンドラ・エルバキャンが2011年に開設したものです。多くの研究者に重宝されてきた反面、学術出版社などからは訴訟を起こされるなどされてきました。 世界最大の学会で、多くのジャーナルを発行する「米国化学会(ACS: American Chemical Society)」は今年6月、バージニア州の地方裁判所でサイハブを提訴しました。11月3日、バージニア州の地方裁判所はサイハブに対して、著作権侵害と商標違反の損害賠償として480万ドルを同学会に支払うよう命じました。サイバブ側はこの裁判に出廷しませんでした。 最近のある研究では、サイハブには、世界の学術論文約8160万件のうち69%、米国化学会のジャーナルのコンテンツのうち98.8%が含まれている、と推定されました。 サイハブは学術出版大手エルゼビア社に著作権侵害で訴えられて、ニューヨークの裁判所から1500万ドルを損害賠償として払うことを命令されたこともあります。 米国化学会は声明文で「この判決は著作権法と出版産業全体の勝利である」と述べたうえで、サイハブとの「アクティブな提携や参画」をしている人々には、同学会の著作権で保護されたコンテンツや商標の不正使用に対する差し止め命令が出されることをこの判決は意味する、と説明します。つまりサイハブだけでなく、検索エンジンやサービスプロバイダなどにも適用される可能性があるということです。同学会はこれが執行されるよう動き始めているといいます。 この裁判所命令に実効性はあるのでしょうか? サイハブは閉鎖されるか、あるいは誰も検索エンジンでたどり着けなくなるのでしょうか? 『ネイチャー・ニュース』では、知的財産の専門家が「アクティブな提携や参画」には解釈の余地があること、一般論としてはアメリカの裁判所は裁判に参加していない人々や団体に命令を出す権限は持っていないこと、しかし連邦規則(US federal rules)は禁止を命令された側と積極的に関係している者に対しては命令が及びうること、などを指摘しています。 『サイエンス・インサイダー』では、別の専門家が、この判決は政府による検閲に第三者が関与を求められる前例になる可能性を指摘しています。 コンピュータ通信産業協会(CCIA)は「法廷助言書」を裁判所に提出して、プロバイダと検索エンジンへの命令を、エルゼビアによる訴訟でも米国化学会による訴訟でも、その訴えから除外するよう求めていました。この意見は前者では裁判官に取り入れられましたが、後者では却下されました。 なお同学会の広報担当者は、この判決は検索エンジンには適用されず、サイハブに「積極的に参加している団体」にのみ適用される、と『サイエンス・インサイダー』にコメントしています。…