Navigate

査読の世界

オンライン査読システムが査読を変える？

ドイツのシュツットガルトに本社を置く医学・薬学・化学関連学術出版社のThieme社。彼らは化学誌Synlettの中で、査読のプロセスを早め、公平性を向上させるための「新しい査読システム」の試験運用で、好結果が得られたことを公表しました。Synlettの編集長Benjamin List氏（マックス・プランク石炭研究所）と彼の研究生Denis Höflerは、この新しい方法を「インテリジェント・クラウド」査読システムと名付けています。研究論文の査読をオンライン上で行えるようにするという試みが始まっているのです。 ■　査読を速く、より信頼できるものに 2016年にSynlettが行った新システムの試験運用では、編集委員会からの推薦と自主的に参加する研究者から100人のレビュアーが選ばれ、全員が数日間で、提出された論文にオンライン上でコメントしたり、他のレビュアーのコメントに返答したりして議論を行いました。すべてのコメントは匿名で記されるため、レビュアーによるバイアスのない率直な意見や必要な批評が提出されることにより、編集者がより速く、より公正な判断を下すことができるようになったとのことです。 List氏は従来の査読システムについて、一つの論文あたりの査読者の数が2・3人に限定され、かつ時間がかかるという問題点を指摘しています。これらへの不満が、今回の新しいシステムのアイデアを生み出すことになりました。多数の査読者がオンライン上で短期間に論文にアクセスし、匿名でコメントすることで、査読をスピーディーかつ、より信頼性の高いものにすることが期待されています。 ■　今の査読システムは限界？ そもそも従来の査読には複数のタイプがあり、学術誌によって採用しているシステムが異なります。まず大きく分けて、主として学術誌の編集者が投稿論文の査読を行うエディトリアルレビューと、選ばれたレビュアーが査読を行うピアレビューがあります。さらにピアレビューには、論文著者に査読者が誰かを知らされないブラインドレビュー（盲査読）、査読者にも著者が誰だか知らされない、つまり著者と査読者の双方がお互い誰だかわからないダブルブラインドレビュー（二重盲査読）、著者と査読者の双方がお互いの名前をわかっているオープンレビューの３つがあります。いずれの場合も、増加し続ける投稿論文数への対応や、査読におけるバイアス問題、査読者の不足、詐称査読、研究不正への対応などの問題を抱え、査読システム自体が限界を迎えているとの意見すら出てきています。 学術論文の出版後に研究仲間がオンライン上で論文の内容を査読する「出版後査読」という方法もありますが、この場合は論文が公開されているので、どんな読者でも匿名でコメントを発せるため、批判的あるいは不適切なコメントを除外することはできません。その点、インテリジェント・クラウド査読システムは公開前に行われるレビューであり、かつ編集者がレビュアーを把握しているため、無意味なコメントをあらかじめ除外できるというメリットがあります。 ■　どうなる査読の未来 今回の試験運用では10本の論文を取り上げ、そのうち9本が実際に出版されました。Synlettの編集チームは試験運用の結果を前向きに捉えており、レビュアーも著者も、その結果に満足しているそうです。今後、Synlettは取り扱うすべての論文に新しいクラウド査読システムを取り入れるだけでなく、助成金申請のように査読が必要な他のプロセスにも取り入れていくことを考えています。 List氏は、クラウド査読システムが機能することは明白になったので、今後も実験を重ねて高機能な オンライン査読システム を維持・管理すると共に、目新しさが薄れた後もどうやって査読者を確保し続けるかといった課題にも対処していく、と述べています。 この査読システムが果たして、実際に査読者の負担を軽減し、査読の質を保証できるのか。学術出版会に一石を投じることとなるでしょう。…

2017-10-24

2030年の査読はどうなるか？

研究成果を論文にして発表し、成果を示したい研究者にとって、論文の査読は避けられない関門です。しかし、査読システムはスピード（時間がかかる）、公平性（専門分野が同じ競合相手の審査へのバイアス）、信頼性（捏造や剽窃などの不正を見抜けない）などの問題を抱えています。最近ではオープンアクセスの拡大に伴い、査読前の原稿（プレプリント）を公開する研究者が増えているものの、査読の必要性は広く認識されており、査読システムの改善が求められています。実際、近年の学術出版界は大きな変革の波にさらされています。そんな中、査読システムはどのように変わっていくのか？5月にBioMed Central社とDigital Science社が発表した、将来の査読の方向性を論じた報告を紹介します。 ■　査読システムの問題 「半年近く前に投稿した論文の査読結果がやっと返ってきたと思ったら修正を求められまして、公開には至りませんでした。指摘された修正を加えている間に、競合の研究所の研究者が類似の内容を発表してしまい、よく見たらその著者は、自分の論文の査読者の一人だったのです」 査読者が、自身が執筆した論文を先に出版するために意図的に査読を長引かせた上に修正を求めたのだとしたら、研究倫理にもとる上、査読規定にも反する話です。発表前の研究論文を審査する査読には、内容を判断する専門知識とは別に、厳しい倫理感と公平性が求められるのです。 さらに、査読プロセスにも問題があるようです。人より早くよい成果を発表する必要に迫られている多くの研究者は、査読に時間がかかることを不満に思っています。また、インターネット検索が一般化し、画像も含む論文のデジタル化が進む近年は、未許可のコピー＆ペーストによる盗用・剽窃などを査読段階で見つけきれないことも問題視されています。 これらの査読システムの問題は今後どう改善されていくのか、また、研究者はどうすれば確かな公平性のもとで査読を受けることができるのかが注目されています。 ■　査読の今後を探る BioMed Central社とDigital Science社は2017年5月に、将来の査読の方向性を示した報告書「2030年の査読はどうなるか？（仮題、原題：What might peer review…

2017-06-28

編集者は同性の査読者を選びがち!?

学術界にも、残念ながら一般社会と同じく、あちこちにジェンダーバイアス（男女間の偏り）があります。もっといえば、女性差別があるといっても過言ではないでしょう。 たとえば、少し前の『ネイチャー・ニュース』（2016年10月3日付）によれば、全米科学財団の調査で、アメリカではSTEM（科学、技術、工学、数学）分野において、博士号すべてのうち41パーセントを女性が取得している一方、2012年から13年にかけて連邦予算を使う研究所や研究室にいたポスドク研究員のうち女性はわずか24パーセントであることがわかったといいます。 また、エルゼビア社が2017年に公表した報告書『世界の研究環境におけるジェンダー（原題：Gender in the Global Research Landscape）』では、女性は男性よりも論文発表が少ないこと、筆頭著者になりにくいことなどがわかりました。 最近の調査で、査読においてもジェンダーバイアスが生じていることが明らかになりました。 イェール大学の計算科学者マルクス・ヘルマーらは、オープンアクセス・ジャーナル『eLife』で公表した論文で、「査読（ピアレビュー）は学術出版の礎石であり、査読者はその専門知識のみに基づいて任命されることが不可欠である」と、査読者に求められる条件を確認しています。しかし、査読者は一般的に非公開なので、編集者による査読者の選択・任命にバイアスがないかどうかを調べることは困難でした。 興味深いことに、オープンアクセス・ジャーナルの出版社「フロンティアーズ（Frontiers）」社が発行する一連のジャーナル（学術雑誌）では、編集者と査読者の名前が公表されています。そこでヘルマーらは、同社のジャーナル142誌で、2007年から2015年にかけて公表された論文における編集者9000人以上と査読者4万3000人以上のデータを分析しました（この場合の「編集者（editor）」とは、原稿整理や校正などいわゆる編集作業のプロのことではなく、同分野の専門家としてその論文に責任を持つ立場の者のことです。日本語でいう「編集委員」に近いかもしれません）。 その結果、男性の編集者も女性の編集者も、同性の査読者を選ぶ傾向があることがわかりました。また、その傾向は男性の編集者ではより強く、その結果、女性は査読のプロセスにおいて過小評価されていることも指摘されました。著者らはそうした傾向を「同類性（homophily）」と名づけています。「類は友を呼ぶ」ということです。 ヘルマーは『ネイチャー・ニュース』（2017年3月21日付）の取材に、「科学研究の質は、性別によって決まるわけではありません」、「性別が査読者の選択に影響しているならば、それはジャーナルが最高レベルの査読者を得ていないことを意味します」とコメントしています。 ただし、この研究のデザインについては批判もあります。ヘルマーらがまとめたデータセットでは、査読を依頼された男性と女性の数ではなく、実際に論文を査読した男性と女性の数だけが示されています。以前に行われた、地球物理学分野におけるジャーナルを対象にした研究（『ネイチャー・ニュース』 2017年1月25日付）では、女性は男性よりも頻繁に、査読依頼を断っていることがわかりました。ヘルマーらの分析結果は実態を正確に反映していない可能性もあるのです。…

2017-04-28

科学を最も蝕んでいるのは「科学的詐欺」ではない!?

国内外で研究不正事件が発覚し続けています。「研究不正（研究活動における不正行為）」にもいろいろあるのですが、よく問題になるのは、存在しないデータをでっち上げる「捏造（Fabrication）」、データを都合よくねじ曲げる「改ざん（Falsification）」、他者のアイディアや文章を不適切に使用する「盗用（Plagiarism）」の３種類です。これらはその頭文字から「FFP」と呼ばれます。「科学的詐欺（scientific fraud）」と呼ばれることもあります。 しかし、研究者たちがFFP＝科学的詐欺よりももっと深刻だと考えているのは、むしろ「 お粗末な科学 （Sloppy science）」や「疑わしい研究行為（Questionable research practices: QRPs）」などと呼ばれるものであることが指摘されました。 オランダにあるアムステルダム自由大学の疫学者マックス・エム・ブターらは、「科学知識の妥当性を脅かすとともに、科学者間の信頼に損害を与え、もしメディアで暴露されれば、科学への人々の信頼にも損害を与えるかもしれない」ものとして、「お粗末な科学」やQRPに着目して、研究者たちの意識調査を実施しました。 ブターらの調査対象になったのは、2015年にリオデジャネイロで開催された「第4回国際研究公正会議（the 4th World conference on…

2017-01-24

査読 システムに限界、基準劣化のおそれ

生物医学のニュースサイト『STAT』は読者にこう問いかけます。「ゴジラと査読に共通するものは何か？ どちらも必然的に自分の体重で崩壊してしまうはずだということだ。しかしどういうわけか、どちらも立っている」。『ネイチャー』によれば、すでに2010年の研究で、「査読システムは崩壊しており、まもなく危機に陥るだろう」と指摘されていたといいます。 しかし今年11月10日に『プロスワン』で公表された新しい研究によれば、今のところ査読者の数は、生物医学分野で毎年公表される膨大な数の新しい論文に間に合っている、といいます。論文は毎年100万件以上公表されており、しかも増加しています。 フランス国立衛生医学研究所の計算物理学者ミカエル・コバニスらは、生物医学の論文データベース「メドライン（MEDLINE）」に収録された論文を調査して、査読に費やされる時間を推計したところ、2015年だけで、6340万時間だとわかりました。もしジャーナル（学術雑誌）が時給75ドルという正当な対価を査読者たちに支払うならば、45億ドルの労働になるといいます。 「活動的な」査読者は毎年平均5件の論文を査読していることもわかりました。もちろん、年間何十件もの論文を査読する者もいれば、たったの1件という者もいます。また彼らの計算では、査読の需要に応じるために、2015年には180万人の査読者が必要とされたといいます。 前述の通り、査読をできる研究者の数は常に査読の需要を上回っているといいます。しかし問題は、労働の配分がきわめて不平等であることです。全体のうち５%の査読者が、全査読時間の30％近くを担っている、ということが今回の研究でわかったのです。 膨大な数の査読を引き受けている研究者のことを「査読のヒーロー」と呼ぶことがあります。コバニスたちは「こうした“査読のヒーローたち”はおそらく過労で、査読基準の劣化を招くリスクがある」と指摘します。 そのうえで、『ネイチャー』が興味深い見解を紹介しています。ニューヨークの出版コンサルタント、フィル・デイビスによれば「いわゆる“危機”は一流のジャーナルには影響していないかもしれない。その一方で、ひどい原稿をたくさん受け取る無名のジャーナルは、査読者を見つけることに苦労しているだろう。『プロスワン』のこの論文はそれらを分析していない可能性がある」。 コバニスらの研究ではそのほかにも興味深いことがわかりました。たとえばアメリカの研究者たちは、シェアで見ると、発表している論文よりも多くの論文を査読しています。中国はその逆で、査読の「輸入国」になっている、と『STAT』は指摘します。 同誌はこう主張します。「査読はきわめて欠陥のあるシステムである。しかし破壊するのではなく、修繕する価値のあるものだ。この最新の研究には、そうした見解を変更するものは何もない」 彼らはいくつかの提案をしています。たとえば査読者たちに支払いをすることです。そうすれば、査読を行う研究者たちは余分な仕事をするために余分な時間を費やしているという感覚を持たずに済むだろう、と。 また、論文の掲載や査読の基準をリセットして、論文の数自体を減らすべき、というある生物学者の意見を同誌は紹介します。 しかし、『STAT』は「もう一つの解決法」として、「もっと多くの、形態が異なる査読に道を開くこと」を提案します。たとえば、「パブピア（PubPeer）」や「パブメドコモンズ（PubMed Commons）」といった情報交換サイトによって、 査読…

2017-01-06

査読レポート の公開に肯定的な声は多数

研究者は論文を公表したいとき、自分の研究結果を原稿にまとめ、ジャーナル（学術雑誌）に投稿します。ジャーナルの編集部はその原稿を、近い分野の専門家に送って、掲載する価値があるかどうか、「査読」を依頼します。査読を引き受けた専門家＝査読者は、その原稿を読み、データの不足など問題点をチェックし、文書にまとめて編集部に送り返します。編集者はその文書を著者に送り、修正などを求めます（査読者は通常、匿名です）。その文書のことを「査読レポート」または「査読者レポート」といいます。著者は、査読レポートに書かれた査読者の指摘をクリアし、原稿をまとめ直すことができたら、その新しい原稿は論文としてそのジャーナルに掲載されることになります。 いま学術界では、論文を公表するときにその査読レポートも同時に公開する、という実験的な試みが始まっています。たとえば最近、ノッティンガム大学のケヴィン・シンクレアたちが、有名なクローンヒツジ「ドリー」と同じ方法で誕生したクローンヒツジたちの健康状態を観察し続けた結果を『ネイチャー・コミュニケーションズ』で発表したのですが、同時に同誌編集部はその査読レポートを公開しました。 同誌は、2016年に同誌で論文を公表した著者の約60％がその 査読レポート を公開することに同意したこと、それゆえ科学者たちに査読レポートの公開をオプションとして提供し続けること、しかし義務にはしないこと、などを明らかにしています。著者の意識は専門分野によって違いがあり、生態学や進化論では70%以上の著者が同意した一方、原子核物理学や理論物理学では50%を切りました。 また、『ネイチャー』によれば、欧州委員会（EC）が実施した調査では、回答者3062人のうち半数以上が、査読レポートの公開は査読をよりよくする、と答えています。その一方で、査読者の身元を明らかにすることについては査読を悪化させる、と答えています。 学術出版大手のエルゼビア社は過去２年、『農業・森林気象学（Agricultural and Forest Meteorology）』など５誌で、査読レポートの公開を試みてきました。同社は、査読レポートを公開することについて査読者たちはどのように考えているのか、次のような数字をまとめています。 ・95％は、査読レポートの公開は（著者たちに対する）助言に影響を与えていないと答え 　た。 ・76％は、自分たちの査読レポートが一般に公開されるという事実によって言葉遣いが変わ 　ることはなかったと答えた。 ・45％は、自分たちの名前を明らかにすることに同意した。…

2016-12-09

査読の歴史 − 査読を科学的なものにしよう！

7月5日、『ネイチャー』は「査読を科学的なものにしよう！」という過激なタイトルの論評を掲載しました。そう主張するということは、査読の現状は科学的なものではない、と著者は考えているのでしょう。著者のドラムンド・レニーは「世界医学編集者連盟」の元会長で、『ニューイングランド医学雑誌』の副編集長などいわゆるトップジャーナルの要職を務めてきた人物です。 『ネイチャー』は科学の雑誌です。『ニューイングランド医学雑誌』も医学という科学の雑誌です。どちらも科学論文が載る雑誌です。その科学論文の査読が科学的ではない、というのはどういうことでしょうか？　この論評は冒頭からいささか挑発的です。 査読は、科学の自己批評的な性質の現れであると褒めちぎられている。しかし、これはヒューマン・システムである。査読にかかわる者すべては偏見を持ち、誤解をし、知識のギャップがある。そのため、査読がしばしば偏見にとらわれたり、非効率であったりしても、驚くべきではない。査読はときとして腐敗し、ときには茶番となり、盗用する者を誘惑するものでもある。ベストを尽くす意図があるとしても、査読が質の高い科学をどれくらい識別しているのかどうかはよくわからない。手短かにいえば、査読は非科学的なのだ。 レニーは30年間、査読の向上、つまり科学文献の向上に努めてきた人物です。彼は医師としてキャリアを始めた後、『ニューイングランド医学雑誌』や『アメリカ医師会雑誌（JAMA: The Journal of the American Medical Association）』で働いてきた経験をもとに、査読の30年を振り返ります。 1983年、彼が『JAMA』で働いていたときのこと、編集長が査読についての会議（カンファレンス）を開くことを提案したとき、彼はそのアイディアに飛びつきました。最終的に、初めての「査読会議（Peer Review Congress）」は1989年にシカゴで開催されました。その会議では、たとえば査読者たちについての人口統計学、査読を行う頻度、盲検などについての研究が報告され、レニーは「アクチュアルなデータ」に興奮したといいます。 そのような研究のおかげで、私たちはいま、査読について多くのことを知っているのだ。たとえば論文を評価するためにかかる時間、査読者たちの間における意見不一致の率、信頼できるジャーナルにおけるコスト、さらには査読における不正行為の発生についても。…

2016-08-23

査読は匿名かオープン、どちらが質が高い？

「片側盲検（single blind）」では、査読者の側からは著者が誰かわかりますが、著者の側からは査読者は誰かわかりません。「オープン査読（open peer review）」では、著者も査読者もお互いが誰かをわかったうえで査読が行なわれます。「二重盲検（double blind）」では、著者も査読者もお互いが誰かわからないまま査読します。 一般的に、片側査読もしくは二重査読を適用しているジャーナルがほとんどで、オープン査読が採用され始めたのは比較的最近のことです。査読者の数は通常、２～３人です。ジャーナルのなかには、採択された論文といっしょに査読者レポート（reviewer report）や著者の返信を、署名または匿名で公表するところもあります。また多くのジャーナルでは、原稿を投稿した著者が査読者になりうる人を提案することを認めています。なかには著者にそれを要求するジャーナルもあります。 査読の形式が異なることによって、査読の質も異なるのでしょうか？　オープンアクセス・ジャーナルの出版社として知られるバイオメド・セントラル（BioMed Central）の「研究公正グループ（Research Integrity Group）」と、ロンドン熱帯衛生医学大学院のフランク・ダドブリッジ教授は、合計800本もの査読者レポートを分析し、2015年９月29日にその結果を『BMJオープン』で発表しました。その結果からは、オープン査読は片側盲検よりも優れた質の査読を実施できるという可能性が示されました。 この研究では、バイオメド・セントラルが発行するなかで、採択率や扱っているテーマが似ているジャーナル２誌が比較されました。オープン査読で運営されている『BMC感染症（BMC Infectious Diseases）』と、片側盲検モデルで運営されている『BMC微生物学（BMC Microbiology）』です。また、『炎症ジャーナル（Journal…

2016-04-26

研究論文が却下される10の理由 (4)

論文が却下される10大理由を考えてきましたが、今回はその最終回。英語を母国語としない私たちにとって、最も大きな落とし穴について考えてみたいと思います。 9. 言いたいことが飛び飛びになっていて読みづらい 著者の言いたいことが飛び飛びに書かれていて、結果として読みにくい文章になってしまうことは、英語が母国語でない私たちにとっては最も厄介な問題です。日本語と英語では「論理のつなげ方」が違いますので、日本語では筋が通った明確な文章も、英語に直訳すると読みづらく感じられます。これに、略語の多用や、日本の学術界の常識と海外の学術界の常識とのくい違いなどが加わると、説明が必要なことが省略されてしまったり、逆に常識的なことがくどくどと説明されてしまったり、ということが生じます。 査読者から「unclear（不明確）」や「redundant（重複が多い）」というコメントが戻って来たら、英語の論文を書き慣れている人に校正してもらいましょう。 10. 盗用と誤用があった 他の論文の結果や表現を引用する場合は、引用先を明記する必要があります。論文を書いたことのない人にとっては、とても簡単に聞こえるルールですが、実際に論文を書き始めると、このルールには意外にもトリックがあるということがわかります。 たとえば会員限定で発行されているジャーナルに投稿された論文の結果など、引用元の論文全体を自分では確認できないことも多々あるのですが、他の論文でそれが引用されている箇所のみを読んで、全体を読まないまま、「読んだこと」にしてしまうことも技術的には不可能ではありません。しかし、その理解は不十分なままでしょう。 また、いまは多くの論文が電子化されているので、コピー＆ペーストによる盗用も簡単にできてしまいます。しかし、引用の盗用や誤用は研究者に取って命取りとなります。掲載前に見つかることは稀ですが、研究者のなかには、不採用の手紙といっしょに査読者から「私はこのようなことは言っていません」と返事が来たという人もいます。掲載後に他の読者から指摘された場合も含め、このようなことがあると、今後、あなたの名前がブラックリストに載る可能性もあります。 他の論文に引用された研究を自分が引用したい場合には必ずオリジナルを確認し、引用するときには細心の注意をもって当たりましょう。どんなに重要な研究でも、確認のできない論文に関しては引用しない、または、脚注にそのことを注記することをお勧めします。

2015-07-03

お高い掲載却下率に打ち勝つためには？(2)

お高い却下（リジェクト）率に打ち勝つための裏技の第2回です。前回は、投稿数を増やすことを目標に話をしましたが、今回は査読者の心を揺さぶる心理攻撃のお話です。「科学の世界にあるまじき……」などと固いことはいわずに、この意外に効果的な方法を有効活用してください。 1. 知り合いの輪を広げる やはり知っている人の論文を査読するときには、通常より真剣になるものです。学会に足しげく通って、いろいろな人に自分の研究について知ってもらいましょう。 「ああ、これは去年の学会で隣に座った人がやっているといっていた研究だ」。そう思ってもらうだけで、「適当に読んで適当に掲載が却下される」といったことはなくなるでしょうし、仮に却下されても、より意義のある批評をもらえるでしょう。 2. 感謝の気持ちを忘れずに 知り合いの輪を広げるといっても、悪い印象を与えては意味がありません。ちょっとした食事の席の話でも、あなたの研究に対してよいアドバイスをしてくれた人の名前はきちんと控えておき、論文を書くときには“acknowledgements”として感謝の意を表しましょう。このさい、ジャーナルの編集者や査読者、助成金を出してくれた団体への感謝も忘れないように気をつけてください。 また、“acknowledgements”には、あなたの研究結果や主張に賛同してくれた人だけでなく、有意義な批判をしてくれた人の名前も忘れないようにしてください。どちらの場合も、名前を出されたくないという人もいるかもしれませんので、論文を投稿する前に、メールなどで了解を得ることをお勧めします。 3. 偏見は現実にあるもの 日本の場合、日本人だということに対する偏見はあまりないかと思いますが、学位を取得した大学院の名前や師事した教授の評判などにもとづく多種多様な偏見は、査読ジャーナルという世界でも現実の問題としてあります。もし自分が偏見の対象となっていると感じたら、偏見を持っていないジャーナルを探すことをお勧めします。 また、偏見の対象となっていない人との共同研究を経て、自分の研究者としての評価を確立するのも効果的でしょう。同じような偏見に耐えながらも多くの論文を出版している研究者がいたら、その人に相談するのもよい方法です。「偏見など絶対にない」などと理想に捕われることなく、現実にありえる問題として、果敢に（そして器用に）立ち向かうことが大切です。

2015-07-02