Descargar camel_tools - camel_tools Descarga del código fuente

camel_tools

Otro código fuente

v1.5.5

Descargar

Herramientas CAMEL

Introducción

CAMeL Tools es un conjunto de herramientas de procesamiento del lenguaje natural árabe desarrollado por el Laboratorio CAMeL de la Universidad de Nueva York en Abu Dhabi.

Utilice Problemas de GitHub para informar un error o si necesita ayuda para utilizar las herramientas CAMeL.

Instalación

Necesitará Python 3.8 - 3.12 (64 bits), así como el compilador Rust instalado.

Linux/macOS

Necesitará instalar algunas dependencias adicionales en Linux y macOS. Principalmente CMake y Boost.

En Ubuntu/Debian puedes instalar estas dependencias ejecutando:

sudo apt-get install cmake libboost-all-dev

En macOS puedes instalarlos usando Homewbrew ejecutando:

brew install cmake boost

Instalar usando pip

pip install camel-tools

# or run the following if you already have camel_tools installed
pip install camel-tools --upgrade

En Macs Apple Silicon, es posible que tengas que ejecutar lo siguiente:

CMAKE_OSX_ARCHITECTURES=arm64 pip install camel-tools

# or run the following if you already have camel_tools installed
CMAKE_OSX_ARCHITECTURES=arm64 pip install camel-tools --upgrade

Instalar desde la fuente

 # Clone the repo
git clone https://github.com/CAMeL-Lab/camel_tools.git
cd camel_tools

# Install from source
pip install .

# or run the following if you already have camel_tools installed
pip install --upgrade .

Instalando datos

Para instalar los conjuntos de datos requeridos por los componentes de CAMeL Tools, ejecute uno de los siguientes:

 # To install all datasets
camel_data -i all

# or just the datasets for morphology and MLE disambiguation only
camel_data -i light

# or just the default datasets for each component
camel_data -i defaults

Consulte Paquetes disponibles para obtener una lista de todos los conjuntos de datos disponibles.

De forma predeterminada, los datos se almacenan en ~/.camel_tools . Alternativamente, si desea instalar los datos en una ubicación diferente, debe configurar la variable de entorno CAMELTOOLS_DATA en la ruta deseada.

Agregue lo siguiente a su .bashrc , .zshrc , .profile , etc.:

 export CAMELTOOLS_DATA=/path/to/camel_tools_data

ventanas

Nota: CAMeL Tools se ha probado en Windows 10. El componente de identificación de dialecto no está disponible en Windows en este momento.

Instalar usando pip

pip install camel-tools -f https://download.pytorch.org/whl/torch_stable.html

# or run the following if you already have camel_tools installed
pip install --upgrade -f https://download.pytorch.org/whl/torch_stable.html camel-tools

Instalar desde la fuente

 # Clone the repo
git clone https://github.com/CAMeL-Lab/camel_tools.git
cd camel_tools

# Install from source
pip install -f https://download.pytorch.org/whl/torch_stable.html .
pip install --upgrade -f https://download.pytorch.org/whl/torch_stable.html .

Instalando datos

Para instalar los paquetes de datos requeridos por los componentes de CAMeL Tools, ejecute uno de los siguientes comandos:

 # To install all datasets
camel_data -i all

# or just the datasets for morphology and MLE disambiguation only
camel_data -i light

# or just the default datasets for each component
camel_data -i defaults

Consulte Paquetes disponibles para obtener una lista de todos los conjuntos de datos disponibles.

De forma predeterminada, los datos se almacenan en C:Usersyour_user_nameAppDataRoamingcamel_tools . Alternativamente, si desea instalar los datos en una ubicación diferente, debe configurar la variable de entorno CAMELTOOLS_DATA en la ruta deseada. A continuación se muestran las instrucciones para hacerlo (en Windows 10):

Presione el botón de Windows y escriba env .
Haga clic en Editar las variables de entorno del sistema (Panel de control) .
Haga clic en el botón Variables de entorno....
Haga clic en el botón Nuevo... debajo del panel Variables de usuario .
Escriba CAMELTOOLS_DATA en el cuadro de entrada Nombre de variable y la ruta de datos deseada en Valor de variable . Alternativamente, puede buscar el directorio de datos haciendo clic en el botón Examinar directorio....
Haga clic en Aceptar en todas las ventanas abiertas.

Documentación

Para comenzar, puede seguir la visita guiada para obtener una descripción general rápida de los componentes proporcionados por CAMeL Tools.

Puede encontrar la documentación completa en línea aquí tanto para las herramientas de línea de comandos como para la API de Python.

Alternativamente, puede crear su propia copia local de la documentación de la siguiente manera:

 # Install dependencies
pip install sphinx myst-parser sphinx-rtd-theme

# Go to docs subdirectory
cd docs

# Build HTML docs
make html

Esto debería compilar toda la documentación HTML en docs/build/html .

Citación

Si encuentra útiles las herramientas CAMeL en su investigación, cite nuestro artículo:

 @inproceedings { obeid-etal-2020-camel ,
   title = " {CAM}e{L} Tools: An Open Source Python Toolkit for {A}rabic Natural Language Processing " ,
   author = " Obeid, Ossama  and
      Zalmout, Nasser  and
      Khalifa, Salam  and
      Taji, Dima  and
      Oudah, Mai  and
      Alhafni, Bashar  and
      Inoue, Go  and
      Eryani, Fadhl  and
      Erdmann, Alexander  and
      Habash, Nizar " ,
   booktitle = " Proceedings of the 12th Language Resources and Evaluation Conference " ,
   month = may,
   year = " 2020 " ,
   address = " Marseille, France " ,
   publisher = " European Language Resources Association " ,
   url = " https://www.aclweb.org/anthology/2020.lrec-1.868 " ,
   pages = " 7022--7032 " ,
   abstract = " We present CAMeL Tools, a collection of open-source tools for Arabic natural language processing in Python. CAMeL Tools currently provides utilities for pre-processing, morphological modeling, Dialect Identification, Named Entity Recognition and Sentiment Analysis. In this paper, we describe the design of CAMeL Tools and the functionalities it provides. " ,
   language = " English " ,
   ISBN = " 979-10-95546-34-4 " ,
}