arxiv miner

ArXiv マイナー

ArXiv Miner は、CS ArXiv で研究論文をマイニングするためのツールキットです。

ArXiv-Miner とは

arxiv-miner Sci-Genie の強化に役立つ迅速で便利なライブラリです [プロジェクトは現在ホストされておらず、将来的にはその一部がオープンソース化される予定です]。 Sci-Genie は、CS ArXiv 上の論文の全文を迅速に検索するための検索エンジンでした。

arxiv-miner CS ArXiv から LaTeX ドキュメントを抽出して解析するのに役立ちます。また、 Elasticsearchを使用した、解析されたドキュメントの保存と検索もサポートしています。このライブラリは、数学、物理学、生物学などの他のすべての分野に適用できます。

ドキュメント

arxiv-minerインストールおよび使用方法に関するすべてのドキュメントは、ドキュメント Web サイトまたは docs フォルダー内に提供されています。寄稿ガイドラインもそこで提供されます。

ArXiv-Miner はなぜ作成されたのですか?

ArXiv Miner は、ArXiv 上の研究コンテンツを簡単にスクレイピング、解析、検索するために作成されました。このライブラリは、arxiv-sanity、arxiv-vanity/engrafo、arxivscraper、tex2py、cso-classifier、axcell などのさまざまなツールのコードからソリューションをつなぎ合わせた後に作成されました。コンテンツの解析された構造は、検索や科学研究マイニング/AI アプリケーションでヒューリスティック ベースラインとして役立ちます。

ArXiv-Miner のコア コンポーネント

• 削る
• 解析中
• インデックス作成/ストレージ

ArXiv-Miner を使用したプロジェクトのファミリー

• arxiv-table-miner : 近日公開予定。
• arxiv-table-ml-models : 近日公開予定。
• semantic-scholar-data-pipeline : https://github.com/valayDave/semantic-scholar-data-pipeline

免責事項

このプロジェクトは、新型コロナウイルス感染症のパンデミックを乗り越えて、カウボーイのプログラマーのように開発されました。したがって、これにはバグがあり、最適化されたコードではない可能性があります。開発の主な理由は CS および機械学習/AI 研究を支援することでしたが、このツールは ArXiv 上のすべての 300 万以上のドキュメントに拡張できます。

寄稿者を募集します

プロジェクトを改善したりバグを修正したりするための貢献は大歓迎です。ドキュメント内の貢献ガイドをお読みください。

クレジットと感謝

このプロジェクトも他のプロジェクトと同様、巨人たちの肩の上に築かれています。 arxiv-minerおよびそのプロジェクトファミリーの開発を支援した以下のライブラリ/オープンソース プロジェクトの作成者に多大な感謝を申し上げます。

• arxiv-正気性
• arxiv-vanity/エングラフォ
• アークシヴスクレーパー
• tex2py
• cso 分類子
• アクセル
• 弾性検索
• Semantic Sc​​holar オープンリサーチ コーパス
• メタフロー
• 文書化する

ライセンス

マサチューセッツ工科大学