OpenAlexは「新規性スコア」を公開すべきか？—コミュニティの意見交換
要旨
この動画では、研究論文の新規性（novelty）を評価するスコアを、オープンな学術情報基盤「OpenAlex」に導入する可能性について、提案チーム、研究評価の専門家、OpenAlexの関係者が議論しています。
中心的な結論は、新規性スコアには研究探索や文献レビューを助ける可能性がある一方、評価や資金配分などに誤用されるリスクも大きいということです。OpenAlexは導入を決定したわけではなく、対象とする論文の範囲、更新方法、再現性、バイアス、費用などをコミュニティと検討している段階です。動画を通じて繰り返し強調されたのは、採用するならば、方法とデータを公開し、検証可能で、慎重に使える形にすべきだという点でした。
1. なぜ新規性を測ろうとするのか
冒頭では、研究成果を評価する既存の方法として、主に次の3つが挙げられます。
- 人間による査読・専門家評価：重要な判断材料だが、主観や偏りがあり、膨大な論文を評価するには限界がある。
- 引用数などの書誌計量指標：OpenAlexでも扱われているが、引用の蓄積に時間がかかるほか、分野ごとの差、引用の偏り、既存の注目をさらに集める効果などの課題がある。
- 用途ごとに作る独自指標：必要な問いに合わせられる一方、指標づくり自体が専門的で、十分に検証されないまま使われる恐れがある。
そこで、新しい研究や異分野的な試みが、すぐには引用されないという理由で不当に見過ごされないよう、引用の多さとは異なる観点から研究の新しさを捉える指標が検討されています。
ただし、動画内では、新規であることと、優れた研究であることは同じではないと明確に説明されています。内容が新奇でも、価値があるとは限りません。提案された指標は、新規性を単なる「既存研究との違い」とせず、知識の進展にどれだけ価値ある貢献をするかも考慮する設計です。
新規性の指標には、研究者がリスクを取る助けとなる可能性がある一方、研究者や組織がスコアを意識して行動を変えるなど、予期しない影響もあり得ると指摘されました。
2. 提案された指標の開発と評価
この指標は、英国の研究プログラムが実施した新規性指標のコンペティションで評価され、ドイツのユーリッヒ研究センターのチームによる手法が優勝しました。同チームは、エネルギーシステムの研究などに取り組む学際的なグループです。
コンペティションの基本的な仕組みは、次の通りです。
- 多数の研究者が論文の新規性を評価し、人間による評価データを作る。
- 参加チームが、それぞれの方法で同じ論文群の新規性を算出する。
- 算出結果が人間の評価とどの程度一致するかを比較し、手法を評価する。
人間の評価データは大規模に集められ、動画では、約5万人の研究者に約5万件の論文について評価を求めた取り組みが紹介されています。また、コンペティションでは10万件の論文を対象にスコアリングする課題が説明されています。複数のランキング方法を組み合わせた評価の結果、ユーリッヒのチームが、複数の性能指標で大きく上回ったと紹介されました。
3. スコアの算出方法
提案手法は、論文の出版時点における新規性を評価することを目指しています。主な入力情報は次の通りです。
- 出版日
- 対象論文が直接参照する文献
- 論文のタイトルや要旨
- 利用できる場合は、論文の全文
処理には大規模言語モデル（LLM）を使います。全文が利用できる場合は、まず別の小規模モデルで所定の形式に要約し、評価に必要な情報を整理します。参照文献もすべて無条件に与えるのではなく、対象論文の基盤となる先行研究に絞る方針です。
モデルには、複数の観点から新規性を検討するよう指示します。例えば、理論的な新しさや実験上の新しさなどを個別に考慮しつつ、単純に平均して総合評価を決めるのではありません。ある一つの面で非常に新しい論文が、他の面が標準的だからという理由で過小評価されないようにする設計です。
出力は、次のようなものです。
- 0〜100の新規性スコア
- 「新規性が高いかどうか」の二値判定
- スコアの不確実性を表す範囲・信頼度
- 新規性を支持する理由と、反対方向の理由
- 判断が不確かな要因や、出版時点での研究分野の説明
コンペティションでは、二値判定のしきい値として60が使われ、対象論文のおよそ11％が「高い新規性」に分類されたと説明されています。スコアの分布は中間付近に集中し、約77％の論文に何らかの新規性スコアが付いたと報告されました。
なお、全文の有無や掲載誌情報の有無を調べた初期分析では、結果の差は小さかったと説明されています。全文を使った場合、スコアの変動がわずかに安定し、不確実性の範囲が少し狭くなる傾向も見られました。ただし、これらは小規模な予備検証であり、より大きなサンプルで再確認する必要があります。
4. OpenAlexに導入する場合の構想
OpenAlexが現在提供する代表的な指標は、主として引用に関するものです。新規性スコアを加えるなら、引用の多さではなく、論文の内容そのものを扱う指標を提供する第一歩になり得ると説明されました。
導入された場合には、論文レコードにスコアや不確実性の情報を付与し、APIやデータスナップショットなどから利用できる形が想定されています。例えば、利用者が次のような分析を行える可能性があります。
- 特定分野・年の新規性の高い論文を探す
- 新規性スコアを、分野補正済み引用指標などと並べて見る
- まだ引用されていないが新規性が高い研究を検索する
- 著者や機関などの研究ポートフォリオを分析する
一方、OpenAlexは導入を決定しておらず、少なくとも現時点では、研究者や機関のランキングを作ることを目指してはいないと説明しています。個々の論文にスコアを付けることと、それを集約して人や組織を評価することは別の問題です。もっとも、公開データが第三者によってランキングや評価に使われる可能性は残るため、誤用をどう抑えるかは重要な論点です。
5. コミュニティから寄せられた初期反応
動画内で紹介された初期アンケートには、65件の回答が寄せられていました。回答者の約65％は、実装された場合に利用する可能性が高いと答え、約26％は利用する可能性が低いと回答しました。また、回答者のおよそ半数が試験版を試していたとされています。なお、これは初期段階の回答であり、コミュニティ全体の意見を代表するとは限りません。
利用目的として多く挙がったのは、次の通りです。
- 新しい研究や文献の発見、文献レビュー
- 研究評価やメタサイエンス
- 研究の新規性に関する分析
資金配分や製品・サービスのポートフォリオ判断などは、比較的少ない用途として紹介されました。
信頼性を高める条件としては、特に次の点が重視されていました。
- 方法論が公開されていること
- モデルや処理がオープンで、結果を再現できること
- 専門家による検証があること
- 分野や言語による偏りが小さいこと
- 指標の使い方や限界が明示されていること
論文の対象範囲については、学術誌論文への関心が高い一方、プレプリントや会議論文にも需要がありました。データセット、ソフトウェア、書籍の章などを含めるべきかについては、対象の広さと評価性能との兼ね合いが課題です。
6. 主な懸念と議論
研究者評価への誤用
最も大きな懸念の一つは、スコアが論文検索の補助にとどまらず、研究者の採用・昇進・資金配分などに使われることです。特に、キャリア初期の研究者に不利益を与えたり、スコアを上げるための行動を促したりする危険が挙げられました。
OpenAlex側は、個人ランキングを自ら作る意図はないと述べつつも、公開すれば第三者が集計に使う可能性がある点を認めています。
「新規性」と「良い研究」は同じではない
新規性は、それ自体で研究の質や正しさを保証しません。動画では、革新的に見える主張が再現困難である場合や、単に突飛なだけの研究をどう扱うかが話題になりました。
開発側は、将来的には新規性だけでなく、再現性や正確性など、異なる研究の価値を扱う指標群が必要だという見方を示しました。ただし、それらは別の評価課題であり、新規性スコアだけで総合的な研究評価を代替することはできません。
分野・言語の偏り
分野によって論文の書き方や「新しさ」の意味が異なり、英語以外の研究が不利になる可能性も指摘されました。OpenAlexは多言語対応を重視していますが、指標が各分野・各言語で公平に機能するかは、継続的に検証する必要があります。人文学や芸術分野の成果、論文形式以外の研究成果をどう扱うかも課題です。
モデルの再現性、透明性、コスト
使用するモデルが商用か、オープンウェイトかによって、費用や再現性、性能に差が出る可能性があります。提案チームによると、コンペティション時の計算費用は論文1件あたり約1〜2セントで、より安価なオープンウェイトモデルによって削減できる見込みもあるとのことでした。
大規模なデータベース全体に適用すれば、個別の費用が小さくても、計算資源や環境負荷を無視できません。小さなモデルで候補を絞ってから詳しく評価するなど、段階的な処理の工夫も検討されます。
スコアの固定・更新と「出版時点」
指標は、論文が公表された時点で、当時の研究状況を踏まえて評価するものとして説明されました。その意味では、新規性は基本的に論文の「誕生日」時点の評価として固定する考え方があります。
しかし、その後に参照文献やOpenAlexのメタデータが改善された場合、評価を更新するべきかという問題があります。また、現在のLLMが過去の論文を評価する際に、出版後の知識を使ってしまう「後知恵」の影響をどう避けるかも論点です。更新頻度を上げれば新しい情報を反映できますが、過去のスコアとの比較可能性や計算費用に影響します。
著者による操作の可能性
プレプリントでは、公開後に要旨が複数回変更されることがあり、スコアに影響する可能性があります。要旨の書き換えによって、分類や評価を有利にしようとする行動が起こる懸念も示されました。
一方、内容がまったく無意味でも高いスコアを取れるのかという議論では、新規性だけなら奇抜さを高く評価する可能性はあるものの、論文として読まれ、理解され、引用されるためには、一定の説明可能性が必要になるという意見も出ました。とはいえ、こうした議論は、指標の悪用を防げると保証するものではありません。
7. 動画から導ける結論
- 新規性スコアは、引用指標では見つけにくい新しい研究を探すための補助ツールになり得る。 特に文献レビューや研究探索での利用に期待が示されました。
- 優勝チームの手法は、大規模な人間評価データとの一致度を競う課題で高い成績を収めた。 ただし、それだけで実社会のあらゆる評価用途に適しているとは限りません。
- OpenAlexは導入を決めていない。 対象分野・論文種別、適用する年代、再計算の頻度、モデルの公開性、費用などについて意見を募っている段階です。
- 新規性は研究の質や再現性の代替指標ではない。 人事や資金配分に直結させる使い方には、とくに慎重さが求められます。
- 公開・再現可能・検証可能な設計が不可欠。 方法論やモデルを公開し、分野・言語ごとの性能や限界を検証し、想定する用途を明示することが信頼の条件として挙げられました。
- 導入の可否だけでなく、導入後の影響も評価すべき。 指標が研究者の行動や研究環境をどう変えるかは、実際に使われるまで予測しきれないためです。
総じて、この動画は新規性スコアを「研究を順位づける万能な点数」としてではなく、研究探索を支援する、限界つきの追加情報として使えるのかを検証する取り組みとして扱っています。最終的な焦点は、スコアを公開するかどうかだけでなく、どのような用途を想定し、どんな安全策と説明責任を伴わせるかにあります。
