指標に関するレポート『Profiles not Metrics』
クラリベイト・アナリティクスの学術情報部門である科学情報研究所（Institute of Scientific Information：ISI）は、2019年1月30日、『Global Research Report – Profiles, not Metrics』を発表しました。
研究の影響力（インパクト）を探ることは、学術出版社だけでなく研究者自身にとってもきわめて重要です。そこで、学術雑誌（ジャーナル）または出版された研究の影響力を計測するために、定量的な指標「メトリクス」が使われます。例えば、出版された論文が他の研究に引用された回数を計測するのはメトリクスのひとつです。学術出版および研究において広く利用されているメトリクスには、学術雑誌ベースと著者ベースの2種類があります。学術雑誌ベースのメトリクスは、掲載論文の平均引用回数を長年にわたって算出しているもので、学術界における学術雑誌の影響力を計測するのに役立ちます。一方、著者ベースのメトリクスは、学術界における著者の影響力を計測するものです。しかし、学術界はこれらのメトリクスが正しく利用されているか疑問を呈しており、今回発表されたレポートには、メトリクスについての考察が記されています。
『Profiles, not Metrics』が示すメトリクスの有効性
本レポートは、学術出版におけるメトリクスの有効性を取り上げると共に、学術雑誌または著者の学術界への影響力を測定することの短所について考察しています。
このレポートの注目すべきトピックは、さまざまなデータを用いて指標（h指数、ジャーナルインパクトファクターなど）を作成する過程で、研究者／著者、学術雑誌、研究機関、大学に関する情報が抜け落ちてしまうため、完璧な分析情報が提示できていないことを示している点です。その結果、著者や機関の影響力の計測が不十分となってしまいます。レポートは、従来のメトリクスに替わる別のアプローチのほうが影響力の算出には有効だと提案しています。
研究者
レポートは、研究者を評価する指標としてh指数は一般的すぎると述べています。例えば、ｈ指数は複数の分野に及ぶ研究者の影響力を考慮することができていないとしています。代替手段として、マックス・プランク研究所のLutz BornmannとRobin Haunschildによって提唱された、個々の研究者の論文出版数と引用された回数といったビブリオメトリクス（計量書誌学）的データを視覚化する新しいアプローチ「beam-plot」があげられており、レポート内では2つの指標の比較が記されています。
学術雑誌
学術雑誌に掲載された論文が特定の年／期間内に引用された回数の平均値を示すジャーナルインパクトファクター（Journal Impact Factor：JIF）だけに絞りこまず、引用データから算出された年間統計（インパクトファクターも含まれる）を提供しているデータベースであるジャーナルサイテーションレポート（Journal Citation Reports：JCR）も参照することの重要性を強調しています。
研究機関
本レポートでは適切なデータの範囲を広げることを重視しており、全体的なインパクト分析（Impact Profiles）のほうが平均引用インパクト（Average Citation Impact）よりも明確かつ、綿密な情報を与えてくれるとしています。
大学
大学の世界ランキングは、大学の個々の活動や多様性の考慮に欠けた単なるリスト上の位置付けに過ぎないため、大学による多元的な研究の功績（Research Footprint）に注目することを提案しています。
このように、本レポートは、新しい情報、あるいは新しい研究形態について提案し、その活用を促すとともに、従来のメトリクスの必要性が薄れてきつつあることを示しています。
メトリクスの利用における注意
クラリベイト・アナリティクスの科学情報研究所ISIのディレクターであるジョナサン・アダムス（Jonathan Adams）は、メトリクスに関する研究の重要性について「必要以上に単純化された、もしくは誤用されているすべてのメトリクスの代わりとなる指標があり、それらは一般的に、正確かつ信頼のおけるデータ分析に基づいています。データをより俯瞰的に見ることで新たな特徴を見つけ、理解を深め、さらに研究活動を読み取る力を向上させることができるのです。」と述べています。ISIは、さまざまな分析手法とそれらの短所を検証し、それを補う別の方法を提案しています。そしてこの研究が、知識を広げ、さらなるイノベーションを推進する学術研究へのアクセスを可能にするのです。
学術研究の影響力の分析や評価は重要で、そのためのメトリクス（定量的な指標）は不可欠です。しかし、メトリクスの利用頻度が増し、技術的な革新が進む中で新たな手法が登場する一方、従来の手法の短所や誤用が指摘されるようになりました。メトリクスの誤用が危惧されていることに留意するとともに、Profiles not Metricsに提案されているような代替手法の利用を検討するなどが必要とされているようです。
こんな記事もどうぞ
エナゴ学術英語アカデミー Journal Citation Reports 2018年版 発表
