Unpaywall

Unpaywall Data Feed: OA datasetの取り込み用API

Unpaywall Data Feed

OAののデータセットは、様々な理由で日々変化しています。
例：
・新しい論文が出版された！
・著者が新しいOAコピーを既存の論文のリポジトリに自己アーカイブする！
・エンバーゴ期間が終了し、論文がOA化される！
・出版社がホストしている「ブロンズOA」論文（自由に読めるがオープンライセンスのないもの）が、OAから有料アクセスに移行される！

多くのユースケースでは、特に学術情報をサービス提供する企業及び組織にとっては、これらの変更に常に対応することがとても重要です。スナップショットでも入手が可能ですが、年に数回しか更新されないので、日々刻々と変わるOAの情報を的確に反映するのには、あまり適していません。同様に、既存のAPIは、DOI空間全体をスクロールして変更をポーリングするのに何ヶ月もかかるので、これには適していません。

そこで、OurResearch社ではこの問題に対処するためにUnpaywall Data Feedを構築しました。このフィードの購読者は、パスワードで保護されたサーバーにアクセスすることができ、そこでは、データベースへの変更を反映した変更ファイルが毎日、毎週投稿されます。これらの変更ファイルは、APIやスナップショットと同じデータ形式を使用しており、前回のファイルが生成されてから何らかの変更があったすべてのレコードの行を含んでいます。変更ファイルにアクセスするために、ウェブインターフェースとJSONエンドポイントの両方を提供しています。

Unpaywall Data Feedの購読は、毎日更新される現在のスナップショットへのアクセスも提供します。つまり、データフィードを購読すると、いつでもデータベースの完全で最新のイメージ（1億2000万行すべて）をダウンロードすることができるのです。

以下の手順で、スナップショットと変更ファイルを一緒に使用し、コピーを最新に保つことができます。

1. 現行のスナップショットをダウンロードし、インポートする。
2. 全ての変更ファイルをダウンロードし、スナップショットより前の更新タイムスタンプを持つ最初のファイルから始めます。
3. 各変更ファイルを一行ずつ読み、その行のDOIの前のレコードを上書きまたは更新して、インポートします。
4. 上記のように、変更ファイルがリリースされるたびに、インポートを続けます。
Unpaywall Data Feedは、私たちの製品の中でもユニークで、運用にお金がかかります。これは、他の製品よりも運用コストが高いからです。一度だけすべてを取得するのはかなり安いですが、継続的に行うのはそうではありません。いずれは透明性のある価格体系にしたいと考えていますが、今は市場の状況を見ながら、よりカスタムな方法で対応しています。非営利団体である私たちの目標は、これで大きな収益を得ることではなく、Unpaywallを長期にわたって使えるリソースとして維持するための持続可能なモデルを確保しながら、すべての人に公正な取引を提供することです。

Unpaywall Data Feedにご興味のある方は、組織の規模やデータの使用目的などをお知らせください。ご連絡をお待ちしております。

Data Feedへのアクセスは、APIキーによって提供されます。
アクセスは次の3つの方法で可能です。
1. Data Feed Snapshot – 年に2回webサイトで入手可能
2. REST API – 1日あたり最大10万回のAPIコールを提供します。
3. Dat Feedの購読 – リアルタイムの更新
毎日の変更ファイル更新
Snapshot
Reset API

データフォーマットはこちらからご覧いただけます。

database snapshot、Simple Query Tool、REST API、およびData Feed製品はすべて、JSON形式のデータを返します。このスキーマは、このページで非公式に説明されています。
ソースに関係なく、返される各レコードは、リソースのメタデータを含む1つのDOIオブジェクトで構成されています。各DOIオブジェクトには、0個以上のOA Location Objectsのリストが含まれます。
新しいフィールドはいつでも追加することができます。ほとんどの場合、フィールドは使用されなくなるので、既存のコードに問題はありませんが、フィールドの数が固定されていることに依存しないほうがよいでしょう。
(beta)とマークされたフィールドは、警告なしに動作が変更される可能性があります。他のフィールドの変更はUnpaywallメーリングリストにて発表される予定です。