CiteScoreは有用な測定ツールか?

学術出版大手のエルゼビアが2016年12月、CiteScore™ (サイトスコア) という学術ジャーナルのための新たな評価指標の提供を開始し、話題となっています。これは、ジャーナルに掲載された論文がどのぐらい引用されたか(被引用件数)を示す指標で、研究者にとって自分の論文の影響力を測る目安になるだけでなく、評価にもつながる重要なものです。
ジャーナルの評価指標としてはClarivate Analyticsが提供する「インパクトファクター」が有名ですが(かつてトムソン・ロイターが運営)、そこにサイトスコアというライバルが登場し、インパクトファクターに取って代わることをめざしているのです。
■ ジャーナル評価指標はなぜ重要か
ジャーナル評価指標とは、ジャーナルに掲載された論文の一つひとつが他の論文にどれだけ引用されたかを分析した数値です。この情報は、どのジャーナルを購読するかを決める図書館司書、どのような記事が多くの読者を獲得できるかを見極めねばならないジャーナル編集者、そして論文こそが最も重要な業績となる執筆者自身にとっても、どのジャーナルに投稿するかを決める際にたいへん参考になるものです。
■ サイトスコアとインパクトファクターの違い
サイトスコアもインパクトファクターも、出版された論文の被引用数の平均値を示すのは同じですが、算出方法などに多少の違いがあります。
エルゼビアのプレスリリース によれば、サイトスコアは、世界最大級の抄録・引用文献データベースScopusに追加されたサービスで、これにより、学術コミュニティは5,000を超える出版社のジャーナルの包括的な評価指標に無料でアクセスすることが可能になりました。サイトスコア評価算出の根拠となるScopusには、あらゆる分野の出版社の2万2,000誌以上のジャーナル、5,200万件以上の文献が収録されており、各ジャーナルのサイトスコアは無料で公開されています。サイトスコアの特徴は、論文やレビューのみならず、カンファレンスペーパー、書簡、論説などジャーナル本体以外の引用もカウントすることです。サイトスコアの算出方法は、対象年において引用された回数を、その対象年に先立つ3年間に出版されScopusに収録された文献数で割るというものです。

算出方法(例)
2015年のCiteScoreは、2012、2013、2014年に出版された文献が2015年に引用された回数を、2012、2013、2014年に出版されScopusに収録されている文献数で割ったものです。
(出所:ELSEVIER: CiteScore

この計算方法では、研究論文以外(記事や社説など)も多数掲載するジャーナルの平均スコアを下げ、結果としてインパクトファクターとサイトスコアの点数に大きな違いとなって表れます。その反面、これまでインパクトファクターの計算に含まれていなかった小規模なジャーナルや、そこに寄稿している研究者にとってはメリットをもたらすものです。今までカウントされなかった小規模ジャーナルも取り込むことで、かつては得られなかった公平性を獲得できる部分もあります。
一方、インパクトファクターは、対象年における引用回数を、対象年に先立つ2年間に該当ジャーナルが掲載したソース項目の総数で割ることによって計算しています。

算出方法(例)
A=2003年、2004年に雑誌Pに掲載された論文が2005年中に引用された回数
B= 2003年、2004年に雑誌Pが掲載した論文の数
雑誌Pの2005年のインパクトファクター=A/B
(出所:Clarivate Analytics: インパクトファクターについて

■ サイトスコアの利益相反問題
ジャーナルの引用回数を分析する評価指標としてのインパクトファクターは広く認識されてきましたが、その計算方法やデータの透明性、さらにはインパクトファクターをめぐる不正疑惑まで、いろいろな批判が出ています。同様のことはサイトスコアにも言えるかもしれませんが、このところサイトスコア特有の問題も指摘されています。

分析結果の質の低下:

サイトスコアが莫大な量のジャーナルおよび収録文献を対象とするため、かえって分析結果の質を落としてしまいかねない(純粋に論文のみを対象に算出するわけではないため)。

ジャーナルによるスコアの違い:

サイトスコアの指標が、論文以外の記事を含めた掲載数から算出されるため、論文以外の記事を多く掲載するジャーナル(特にネイチャー・ファミリーのジャーナル)と研究論文だけを掲載するジャーナルではスコアに差が生じる。つまり、引用されることが少ない、研究論文以外を掲載するジャーナルに不利に働く傾向がある。

エルゼビアの優位性への疑問:

サイトスコアは出版社であるエルゼビアによって運営され、ジャーナルの指標開発を支援したとされるのも出版社エメラルド(Emerald Publishing )であり、この指標がエルゼビアと傘下にある出版社に有利になるよう設計されたのではとの疑念がある。
■ サイトスコアによる影響
サイトスコアが、インパクトファクターが現在得ているほどの認知度と評価を得られた場合、ジャーナルの中には、多くの読者に読まれているニュースや論説などの論文以外の記事の掲載を削減したり、打ち切りにしたりするものも出てくるでしょう。少なくとも誌面構成を見直す動機にはなるので、このような流れが原因で誌面の内容が萎縮・消失してしまうとしたら、それは問題です。
論文以外の内容が多いジャーナルに不利となり得る算出方法を採用していることで、データの公平性が損なわれているというのは無視できない指摘です。つまり、ここで問われているのは、サイトスコアのシステム設計においてエルゼビア(およびエメラルド)が、自社が優位となるように意図的な決定をしたか否かです。
この問題を煮詰めていくと、出版社自らが出版物の評価に関わるべきかどうかという点に行き着きます。評価指標の透明性を訴えたとしても、倫理的な問題は常に持ち上がってくるでしょう。ひいては、そうしたサービスの利用の正当性をも否定しかねません。
■ 評価指標は有用か?
では、サイトスコアは果たして評価指標として有用でしょうか?研究成果を定量的に評価する一つの方法として評価指標スコアは有用であり、投稿された論文の引用文献としての活用は、科学の発展のためにも促進されるべきことです。しかし、この指標が正しく活用されるためには、繰り返しになりますが、データおよび分析方法の透明性と同時に、指標算出アルゴリズムの設計に関する透明性も確保される必要があります。エルゼビアはサイトスコアの分析結果において、ネイチャー系ジャーナルの評価スコアがインパクトファクターのスコアと乖離する矛盾を説明しなければならないでしょう。また、そのアルゴリズムが自社の出版に有利な結果を示すと言われることについての説明義務もあります。
分野の異なる膨大な量の論文を横並びにし、引用数を比較すること自体に無理があるのかもしれません。多くの研究者などに利用されている現状を踏まえれば、評価指標は研究の影響力を図る目安として有用ではありますが、偏重しすぎると判断を誤りかねません。それが研究論文を評価するすべてではないということを、頭に入れておく必要があります。いずれの評価指標であっても、適切に利用されているかどうかを判断するために、研究者、出版者、ジャーナル編集者含むすべての学術関係者が、成熟途上の評価ツールの開発と進展に、しっかりと注意を払わねばならないのです。


こんな記事もご参考下さい。
エナゴ学術英語アカデミー 「インパクトファクター 」の問題とその行方
エナゴ学術英語アカデミー インパクトファクターのライバル – Citescore(サイトスコア)とは?
References:
Hans Zijlstra and Rachel McCullough (2016, December 8)
CiteScore: a new metric to help you track journal performance and make decisions
Carl T. Bergstrom and Jevin West (2016, December 8)
Comparing Impact Factor and Scopus CiteScore

Leave a Reply

avatar
10000
  Subscribe  
Notify of