2011年7月12日火曜日

学術雑誌評価指標の理解(1)【IF,Eigen Factor,Article Influence】

この先には、線形代数の理論を含んだ難解なお話があなたを待ち構えています。
それでも進みますか?

('A`) or 正に恐悦至極



現在JCRの発行する学術雑誌評価指標としては、Impact Factor(IF)2年分and5年分、EigenFactor(EF)、論文影響値(Article Influence:AI)があります。

この記事は特にEF、AIについて、その理論的な背景や算術方法もちゃんと理解しようという意図で(あくまで自分のためのまとめとして)作成しています。本当に正確にEFやAIを理解しようとしている人は、やっぱり自分で資料を集めて勉強するのがいいかと思います。

さて、EF、AIの説明をする前にまずIFについて簡単に。

IFとは、単純に言えばある雑誌について

A = 対象の雑誌が2008年に掲載した論文数
B = 対象の雑誌が2009年に掲載した論文数
C = 対象の雑誌が2008年・2009年に掲載した論文が、2010年に引用された延べ回数

C÷(A+B) = 2010年のIF

という計算式で表される指標です(引用1)。

IFは長年使われてきた指標ですが、雑誌の価値を客観的に表す指標としては何点か問題が挙げられてきました。

一つ目は、通常IFは2年分の論文について考慮するものですが、このような短期間だと雑誌ごとのin press期間のばらつきによってバイアスを受けるというものです。これについては、5年分の論文を考慮してIFを計算するということで改善が図られています。

二つ目は、IFでは引用の重み付けをやっていないということです。IFでは一つの引用は”それがどこからされようとも”一つの引用に変わりないという扱いですが、例えばNatureからの引用とPhycological Researchからの引用は同等でしょうか?また、自身の論文中で自身の掲載した論文の引用をすることの価値は?レビュー誌からの引用は?
これらの引用を全て同列に扱ってしまうと、例えば自身に掲載した論文を内輪で引用しまくればIFが上がるという、IFの客観性を損なう原因になりかねません。

その他、IFの計算式の性質から、あまり論文を掲載しない雑誌でも高いIFを保つことができてしまうことも考えられます。レビュー誌なんかはその典型ですね。被引用が圧倒的に多いですし。あとは分野ごとの平均引用数のばらつきも関係してきます。統計学の雑誌と生物学の雑誌では、その分野における一論文が引用する数の平均にも差があるでしょう。

ここで取り上げるEF,AIは特に2つ目(と3つ目)の問題に焦点を絞った物と捉えれば理解しやすいと思います。

EF,AIでは引用の重み付けを行うため、全ての分野の雑誌を一つの集合と考え、その中で引用被引用のネットワークモデルを構築します。IFでは引用被引用の関係を点で捉えていたのに対し、EFではそれを面で捉え、ある引用がどこからきたのかを考慮しています(引用2図1)。

 このネットワークモデルがどんなものなのかは以下のような例で説明されています(引用3)。

1. ある研究者が図書館(雑誌の集合)に行き、ある雑誌のある論文を選んで読む。
2. その論文で引用されている論文(の雑誌)をランダムに選ぶ。
3. 選んだ雑誌に掲載されている論文をランダムに選び、それを読む(以下無限に繰り返し)

実際には研究者はある目的(専門分野)のもとに探索を行う訳ですが、それを考慮してしまうと研究者の目的ごとに雑誌の評価指標が変わってしまい、客観性がなくなるので、ここではあくまでもランダムウォークの概念に沿います。

結論としては、EFとは上記試行を無限に繰り返した際「研究者が探索の中である雑誌にどれだけの時間留まったか」を表す数値です。価値の高い雑誌であればあるほど、ランダムウォークの中でも出会う可能性が高いということでもありますね。これでは並の専門誌よりも一般紙の方が価値も高くなりますが、それは僕らの主観的評価と一致していると言ってもいいと思います。

また、引用の重み付けに関してですが、EFでは引用被引用のネットワークの中で

・多くの雑誌から引用されている雑誌からの引用は重みが大きい。
・他の雑誌をあまり引用しない雑誌からの引用は重みが大きい。

一つ目は直感的に分かりやすいかと思います。二つ目については、ランダムウォークの観点から、100の雑誌を引用する論文(雑誌)より10しか雑誌を引用しない論文(雑誌)からの方がある雑誌に辿り着きやすい(両方の論文にその雑誌が引用されていたとして、1/100か1/10かの違い)ので、必然後者のような雑誌に引用してもらった方がネットワーク内での価値を上げることになるからです。

この2つの考え方を導入すれば、レビュー誌の評価が不当に高くなってしまうこともある程度防げると予想されています。実際EFはその傾向があるみたいです。

さて、それでは実際にどうやってEFを計算するかですが、長いのでここで区切ります。

引用文献

1,http://ja.wikipedia.org/wiki/%E3%82%A4%E3%83%B3%E3%83%91%E3%82%AF%E3%83%88%E3%83%95%E3%82%A1%E3%82%AF%E3%82%BF%E3%83%BC
2,http://www.nii.ac.jp/sparc/event/2008/pdf/112508/document/Jevin_West_document_jp.pdf 
3,http://www.eigenfactor.org/methods.htm

0 件のコメント: