Seq2Seq Machine Translation Model Kannada to English

Seq2seq-Machine-Translation-Model-kannada a inglés

Desarrolle la API REST para realizar la traducción automática utilizando el modelo SEQ2SEQ. La implementación del modelo se realiza utilizando la plataforma Google podría.

Kannada a inglés-traductor

TABLA DE CONTENIDO

• Objetivo
• Tecnologías
• Algoritmos
• Datos
• Implementación
• Resultados

OBJETIVO

1. Construyó una API REST para convertir las oraciones de Kannada a inglés usando Gru y Pytorch.
2. Implementar el modelo en la plataforma de Google Cloud

Tecnologías

El proyecto se crea con:

• Python - Pandas, Pytorch, Numpy, Seaborn, Sklearn, Pickle
• Plataforma en la nube de Google: funciones en la nube
• Matraz

Algoritmos

• Autoencoder - decodificador
• Unidad recurrente cerrada (Gru)
• Mecanismo de atención
• Obtener - Metodología POST

DATOS

Los datos para este proyecto están disponibles como archivo de texto en la fuente de datos, donde cada línea tiene una oración en Kannada y la traducción en inglés con delimitador de espacio. Verificamos manualmente al azar para asegurarnos de que cada ejemplo tuviera sentido.

IMPLEMENTACIÓN

Modelado

Primero construimos el modelo de decodificador del codificador, con un mecanismo de atención utilizando Gru RNN. El entrenamiento se realizó con el script de Python disponible aquí.

Desarrollo de aplicaciones

Cree una aplicación Flask que pueda ser acceso desde la máquina local en la dirección http://127.0.0.1:5000/predict.

Despliegue

• Usaremos el script para entrenar el modelo. Después de capacitar al modelo, guardaremos los pesos del modelo en un archivo .pt y almacenaremos en Google Cloud Storage. También construimos el diccionario de vocabulario indexando cada palabra a un número y encurtidos. Estos archivos de encurtidos también se almacenan en el archivo de almacenamiento. Puede acceder a ellos aquí Una vez que estos archivos estén en su lugar, la implementación se puede realizar siguiendo los pasos a continuación

• Subiremos los archivos en un cubo de almacenamiento. Para crear un cubo utilizando las siguientes opciones como se resalta con las siguientes especificaciones

• Use las opciones resaltadas para cargar los archivos .pt y .pkl y para configurar los permisos. Aquí configuramos los archivos en acceso público, sin embargo, podría establecerlo en sus requisitos.

• Ahora usamos la capacidad de funciones en la nube para implementar el código del código para la API de frascos y acceder a los pesos y el diccionario de vocabulario desde el almacenamiento.

Para crear la función en la nube, navegue por ella en la plataforma GCP y use las opciones resaltadas a continuación para crear una función,

*Se recomienda la asignación de 1 memoria GIB. Una vez configurado, haga clic en 'Siguiente' e implementa el código en la consola de funciones en la nube.

Para implementar el código, primero configure la consola con la configuración resaltada a continuación y prepare el entorno utilizando el archivo de requisitos (esto es equivalente a la instalación de PIP {biblioteca}) como se describe a continuación,

• Una vez que se establece el requisito con las bibliotecas anteriores, prepare el script Main.py para la implementación. El script tiene la función API_REQUEST (X) definida para devolver la salida deseada dada la entrada - 'X', desde una fuente externa. El código se carga arriba con el nombre "main.py". Una vez que se organiza el código, haga clic en Implementar.

• Una vez que se complete la implementación, haga clic en la función en la nube, utilizando la opción de prueba para depurar errores de implementación. Una vez que se pasa la entrada en el formato a continuación, pruebe la función y busque la salida deseada.

RESULTADOS

Se puede acceder al modelo implementado desde la URL desde cualquier sistema para traducir las oraciones de Kannada al inglés.

Referencias

• https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html
• https://pytorch.org/tutorials/beginner/saving_loading_models.html