【Scholarly Kitchenへのゲスト投稿】査読の変革におけるAIの役割

この記事は、英文校正・研究支援サービスを提供しているエナゴの社員Dr. Krishna Kumar Venkitachalam（クリシュナ・クマール・ヴェンキタチャラム博士）が、Scholarly Kitchenにゲスト投稿した記事の日本語訳をScholarly Kitchenの許可の下で掲載しているものです。原文はこちらをご覧ください。

懐疑主義を克服するための実験的な試み：査読の変革におけるAIの役割

人工知能（AI）はさまざまな分野で大きな進歩を遂げていますが、学術出版における重要な要素のひとつである査読への導入は依然として躊躇されています。知識の進歩に不可欠な基礎的なシステム（査読）を改善するための技術的手段の採用が遅れているのです。AIを査読に取り込むことに躊躇するのもわからなくはないのですが、AIが既存の課題にどのように対処し、プロセスを強化できるかを探るための実験を進めることが不可欠です。

現在の査読の課題

従来の査読プロセスは、いくつかの重大な問題を抱えています。最も差し迫った問題の一つは、投稿論文の数の増加です。研究論文の急激な増加は、査読に対応できる査読者のキャパシティを超え、出版プロセスの遅れにつながっています。既に、教育、研究、管理業務のバランスをやりくりしている研究者は、査読者となることで疲労や時間的制約を感じることになりがちです。このように責務が増えると、フィードバックが遅れたり、評価が甘くなったりすることになりかねません。

別の懸案事項であるバイアスは、査読の客観性と公平性に影響を与えるものです。著者の所属機関、国籍、性別、研究分野に関連する無意識のバイアスは、評価プロセスに影響を与える可能性があります。

さらに、複数の異なる分野にまたがる研究が進むと、分野の垣根を超えて必要な専門知識を持つ査読者を見つけることが難しくなり、査読の質が損なわれる可能性があります。

査読の課題に対処する非AIソリューション

査読の課題を軽減するために、いくつかの非AIソリューションも提案されています。査読を受けることにつきクレジットやインセンティブを与えることで、タイムリーで徹底した査読を行うための動機付けにするというものです。査読者トレーニングプログラムを提供することは、評価の質と一貫性を向上させ、バイアスを減らし、評価スキルを高めることにつながります。さらに、査読者が誰なのかを公開するオープン査読（Open Peer Review）を採用することで、説明責任を促進し、より建設的なフィードバックを促すことができます。

これらの解決策は改善の可能性を示唆するものですが、今日の査読システムが直面している課題の規模や複雑さには対処しきれない可能性もあります。膨大な投稿論文の数と学術研究の複雑化により、より強固な解決策が必要とされています。

査読にAIを導入するメリット

机上審査や査読プロセスにAIを組み込むことには、いくつかの魅力的なメリットがあります。AIは大量の投稿を迅速に処理することで、効率とスピードを高めることができます。またAIが関連性、ガイドラインへの準拠、剽窃の検出といった初期スクリーニングを行うことで、査読結果を出すまでに要する時間を短縮することもできます。さらに、投稿論文の内容を分析し、専門知識、研究者の都合（注：査読を引き受けられるかどうかなど）、過去の実績などに基づいて最適な査読者をペアリングすることで、査読者と原稿のマッチング（組み合わせ）を改善することができます。

実際の査読プロセスにおいても、無数の可能性があります。構造化された査読レポートを作成したり、人による査読を徹底させたりするためにAIを利用することもできますし、学術研究を評価する際には、AIツールが異なる分野の情報を統合し、人間の査読者には困難な評価を行うサポートをすることもできます。統計的なミスや方法論の不備を特定することで、発表された研究の全体的な質を向上させることも可能です。また、AIアルゴリズムは、標準化された評価基準をすべての原稿に一様に適用することで、評価に一貫性を持たせることができるため、人間の主観によって生じるバラつきを最小限に抑えることにも役立ちます。

査読にAIを導入することへの懸念

ここまでに述べたようなメリットがあるにもかかわらず、査読にAIを導入することへの懸念が残るのには理由があります。

査読におけるAIの肯定的な評価結果の多くは、データ量と技術的ソリューションに対するある種の安心感が理想的な実験場を作り出すコンピューターサイエンスの分野における研究によるものです。研究量が明らかに多いにも関わらず、保健医療や生物科学などの分野では、査読にAIのサポートを導入する可能性に対する「慎重な楽観論」が反映されていません。膨大なデータセットを迅速かつ効果的に選別できるAIによって最も大きな恩恵を得られるであろうヘルスケアのような分野は、依然としてAIの導入に躊躇しています。

現在のAIモデルでは、自由に使えるデータや情報が限られているため、特に最先端分野の複雑で高度に専門化した研究を評価するための理解は十分ではありません。また、秘匿性の高い原稿データをAIで取り扱う場合、データの安全性、機密性、プライバシー規制の遵守に関する懸念や、プライバシーの問題も生じることになります。このような懸念から、米国立衛生研究所（NIH）は査読プロセスにおける生成AI技術の使用を禁止しています。

出版社での準備も課題のひとつです。AIの導入には多額の投資と技術的な専門知識が必要であり、すべての出版社がこうした技術を効果的に導入できるとは限りません。また、アルゴリズムによるバイアス（偏見）のリスクもあります。これは、AIシステムが学習データに存在する既存のバイアスを受け継いでしまい、不公平な評価につながる可能性があるというものです。さらに、AIの意思決定プロセスに関する懐疑的な見方や透明性の欠如が、著者、査読者、編集者間の信頼を損なう恐れも捨てきれません。

懸念を乗り越えて実験を行う

こうした懸念を認識しておくことは極めて重要ですが、AIの潜在的なメリットの探求は止めるべきではありません。むしろ、慎重かつ責任ある実験の必要性が強調されています。完全にAIが主導する査読プロセス、AIが見逃してしまう部分に人間が注力して進める人間とAI協業の査読、人間の査読をAIがチェックする、あるいはAIの査読を人間がチェックするやり方など、多くの潜在的な未来を想定することができるでしょう。

試験的なプログラムを実施すれば、出版社や学術機関は、品質や安全性を損なうことなくAIをどのように査読プロセスに組み込むことができるかについて、貴重な洞察を得ることができます。提案されているシナリオには、出版社におけるAIの導入、モデルのためのデータアクセスの許可、研究者や査読者からフィードバックを得るためのAIプレイグラウンド（注：他のユーザーらと共有して書き込みなどを可能にするスペース）の設置などが含まれています。親しみを持つことは信用につながるので、リスクの少ない環境での試験的導入を経て、スムーズにAIを査読プロセスに導入することができるようになるでしょう。

AI導入を進めるための教育と協力

AIの導入には共同開発が不可欠です。AIの専門家、倫理学者、利害関係者と協力することで、倫理的配慮とデータセキュリティを優先しつつ、特定のニーズに対応するシステムを調整することができます。AIを人間の査読者の代わり（置き換え）とするのではなく、サポートツールとして位置づけることで、自動化に過度に依存することへの危惧を軽減しつつ、査読において不可欠な人間の判断を維持することができます。

匿名化された査読データを共有することで、機密性を保ちながらAIモデルを強化することは可能ですし、 こうした協業により、着実にAIツールを学術コミュニティの価値観や基準に沿った形で進化させていくことも可能です。データとリソースをプールすることで、AIツールは、特にAIに懐疑的な傾向が強い分野で、異なる学術分野の特定のニーズに対応することができるようになるでしょう。

米ペンシルバニア大学ウォートン校のイーサン・モリック（Ethan Mollick）経営学准教授のようなAI推進派は、教育や研究の実践においてAI支援をどのように考えるかを再考することを提唱しています。同じく、学術界におけるAIリテラシーの向上は、懐疑主義を克服するために不可欠です。教育プログラムやワークショップは、AIの能力と限界を研究者が理解するのに役立ち、より多くの情報に基づいた建設的な技術への取り組みを促進することになります。

結論

結論をまとめます。査読システムが直面している課題は重大です。AIに対する懸念は理解できるものの、対処が不可欠であることから、新たな解決策の実験を妨げるべきではありません。査読プロセスにAIを慎重に導入することで、査読の効率性、バイアス、投稿論文の増加といった課題に対処することが可能になります。倫理的な配慮と協力的な取り組みに基づいて進められる実験は、査読をより学術知識の発展に役立つものに変えることができるでしょう。機械に制御を委ねることではなく、学術界が調整し、改良することができるオープンで透明性の高いAIシステムを開発することにつながります。このプロセスがより包括的で協力的であればあるほど、AIの脅威は取り除かれ、価値あるツールとしてその潜在能力を発揮できる可能性が高まることになるのです。

Scholarly Kitchenについて

The Scholarly Kitchenは、「教育、協力、ネットワーキングを通じて、学術出版とコミュニケーション、そして会員の専門的な能力開発を促進すること」を目指すSociety for Scholarly Publishingが、2008年より情報発信を行っているサイトです。学術情報に関わる人々による異なる意見、論評、アイデアを出し合い、オープンに紹介する場を提供しています。

Krishna Kumar博士作成のエナゴ記事はこちら

エナゴ学術英語アカデミー：学術界・教育界のAI導入への姿勢について考える―前編

こんな記事もどうぞ

エナゴ学術英語アカデミー：【寄稿記事】生成AIがあれば、人間による英文校正は必要ないのか？