arxiv miner
v2.0.3 : Bug
ArXiv Miner es un conjunto de herramientas para trabajos de investigación minera sobre CS ArXiv.
arxiv-miner es una biblioteca rápida y práctica que ayuda a impulsar Sci-Genie [el proyecto ya no está alojado y algunas partes serán de código abierto en el futuro]. Sci-Genie era un motor de búsqueda para buscar rápidamente en el texto completo de artículos sobre CS ArXiv.
arxiv-miner ayuda a extraer y analizar documentos LaTeX de CS ArXiv. También admite el almacenamiento y la búsqueda de esos documentos analizados mediante Elasticsearch . La biblioteca puede ser aplicable a todos los demás dominios como Matemáticas, Física, Biología, etc.
Toda la documentación sobre cómo instalar y usar arxiv-miner se proporciona en el sitio web de documentación o dentro de la carpeta de documentos. Allí también se proporcionan pautas de contribución.
ArXiv Miner fue creado para extraer, analizar y buscar fácilmente contenido de investigación en ArXiv. Esta biblioteca se creó después de unir soluciones del código de varias herramientas como arxiv-sanity, arxiv-vanity/engrafo, arxivscraper, tex2py, cso-classifier y axcell. La estructura analizada del contenido puede ser útil en la búsqueda o en cualquier aplicación de minería/IA de investigación científica como base heurística.
arxiv-table-miner : Próximamente.arxiv-table-ml-models : Próximamente.semantic-scholar-data-pipeline : https://github.com/valayDave/semantic-scholar-data-pipeline Este proyecto se desarrolló como un codificador Cowboy durante la pandemia de COVID-19. Por lo tanto, esto puede tener errores y no ser el código mejor optimizado . La razón principal del desarrollo fue ayudar a la investigación de informática y aprendizaje automático/IA, pero esta herramienta se puede extender a todos los documentos de 3M+ en ArXiv.
Cualquier ayuda con aportes para mejorar el proyecto o corregir errores es completamente bienvenida. Lea la guía de contribución en la documentación.
Este proyecto, como todos los demás, se ha construido sobre hombros de gigantes. Un gran agradecimiento a los creadores de las siguientes bibliotecas/proyectos de código abierto que ayudaron al desarrollo de arxiv-miner y su familia de proyectos:
MIT
