arxiv miner
v2.0.3 : Bug
ArXiv Miner ist ein Toolkit für Mining-Forschungsarbeiten zu CS ArXiv.
arxiv-miner ist eine schnelle, praktische Bibliothek, die Sci-Genie unterstützt [Das Projekt wird nicht mehr gehostet und Teile davon werden in Zukunft als Open-Source-Lösung verfügbar sein]. Sci-Genie war eine Suchmaschine zur schnellen Suche im Volltext von Artikeln zu CS ArXiv.
arxiv-miner hilft beim Extrahieren und Analysieren von LaTeX-Dokumenten aus CS ArXiv. Es unterstützt auch die Speicherung und Suche dieser analysierten Dokumente mit Elasticsearch . Die Bibliothek kann auf alle anderen Bereiche wie Mathematik, Physik, Biologie usw. angewendet werden.
Die gesamte Dokumentation zur Installation und Verwendung arxiv-miner finden Sie auf der Dokumentationswebsite oder im Ordner „docs“. Dort finden Sie auch Beitragsrichtlinien.
ArXiv Miner wurde für das einfache Scraping, Parsen und Durchsuchen von Forschungsinhalten auf ArXiv entwickelt. Diese Bibliothek wurde erstellt, nachdem Lösungen aus dem Code verschiedener Tools wie arxiv-sanity, arxiv-vanity/engrafo, arxivscraper, tex2py, cso-classifier und axcell zusammengefügt wurden. Die geparste Struktur des Inhalts kann als heuristische Grundlage für die Suche oder andere wissenschaftliche Forschungs-Mining-/KI-Anwendungen nützlich sein.
arxiv-table-miner : In Kürze erhältlich.arxiv-table-ml-models : In Kürze verfügbar.semantic-scholar-data-pipeline : https://github.com/valayDave/semantic-scholar-data-pipeline Dieses Projekt wurde wie ein Cowboy-Programmierer während der COVID-19-Pandemie entwickelt. Daher kann es sein, dass es Fehler gibt und der Code nicht optimal optimiert ist . Der Hauptgrund für die Entwicklung war die Unterstützung der CS- und maschinellen Lern-/KI-Forschung, aber dieses Tool kann auf alle 3M+-Dokumente auf ArXiv erweitert werden.
Jede Hilfe mit Beiträgen zur Verbesserung des Projekts oder zur Behebung von Fehlern ist herzlich willkommen. Bitte lesen Sie den Beitragsleitfaden in der Dokumentation.
Dieses Projekt wurde wie alle anderen auf den Schultern von Giganten aufgebaut. Ein großer Dank geht an die Ersteller der folgenden Bibliotheken/Open-Source-Projekte, die die Entwicklung von arxiv-miner und seiner Projektfamilie unterstützt haben:
MIT
