Descarga AngelinaReader - Descargar el código fuente AngelinaReader

AngelinaReader

Otro código fuente

Descargar

Lector de Angelina Braille

Angelina Braille Reader es un sistema de reconocimiento óptico de Braille. Está diseñado para convertir el texto de Braille en fotos en texto sin formato.

Esta solución está disponible como

Servicio web Angelina Braille Reader

imagen

Aplicación Android Angelina Braille Reader

imagen

Tenga en cuenta que estas soluciones utilizan el modelo de red neuronal más real, mientras que el modelo para la instalación independiente disponible aquí no siempre está actualizada.

Descripción general de la solución

La solución es un servicio web.

Los usuarios interactúan con él a través de un navegador web estándar en un teléfono inteligente o en una computadora de escritorio. Los resultados se muestran en la pantalla como imágenes y texto y se pueden enviar al correo electrónico del usuario.

Esta solución también se puede instalar como un programa independiente en una computadora personal y se puede usar a través de una interfaz de línea de comandos.

Presentación de video: https://youtu.be/_vcvxptazom

Este servicio está disponible en la dirección: http://angelina-reader.ru

Características clave de la solución

Puede manejar imágenes de páginas Braille deformadas
Puede reconocer impresiones de Braille uno o dos partes
Puede reconocer los lados de recto y verso de una página usando una sola imagen
Puede encontrar automáticamente la orientación correcta de una imagen
Puede procesar:
- Imágenes tomadas en una cámara de teléfono inteligente directamente desde la aplicación (solo la versión web móvil)
- Archivos de imagen (JPG, etc.)
- archivos PDF
- Zip-Arquives con imágenes
Los resultados se pueden enviar al correo electrónico del usuario
Puede reconocer textos de braille ruso, inglés, alemán, uzbeko, letón y griego

Limitaciones

La imagen de la página debe tomarse aproximadamente desde una vista superior
La luz debe caer desde la parte superior de la página. Es decir, la sombra de un sujeto colocado en una página debe dirigirse en la parte inferior de la página. La luz superior, la luz lateral y la luz desde la parte inferior de la página no están permitidas.
Los símbolos de braille no deben ser demasiado pequeños o demasiado grandes. Optimalmente la página A4 con texto de braille estándar debe ocupar toda el área de la imagen.

Enfoques utilizados en el proyecto

Los símbolos de Braille se detectan utilizando CNN de detección de objetos (retinanet https://arxiv.org/abs/1708.02002)
El entrenamiento de la red primaria se realizó utilizando el conjunto de datos DSBI
Se prepararon datos de entrenamiento adicionales utilizando varias rondas de corrección manual de resultados producidos por CNN entrenados en un conjunto de datos redondos anteriores
En las primeras rondas se utilizaron textos de poesía, se encontraron errores utilizando la comparación de línea por línea con el texto original
En etapas posteriores, se encontraron errores de reconocimiento utilizando el corrector ortográfico
Se prepara un nuevo conjunto de datos anotado de 360 páginas de textos de braille escritos a mano de un solo lado y de dos lados, incluida la anotación de 76 paginado del conjunto de datos, proporcionado por World AI & Data Challenge Contest. Este conjunto de datos se publicará más adelante.
Para una búsqueda automática de la orientación correcta de la página, la página se procesa en las 4 orientaciones posibles y la orientación con la máxima presencia de los Chars Braille más extendidos se selecciona
Para reconocer o texto lateral de reverso usamos el efecto, que los puntos abollados se volvieron visualmente convexos en la imagen invertida. Invertimos una imagen y la volteamos horizontalmente para reconocer el lado de verso.
Usamos un algoritmo heurístico para formar cadenas de símbolos detectados.
Traducimos los símbolos Braille en texto ruso o inglés simple usando un algoritmo donde se codifican las reglas de interpretación de Braille.

Requisitos ambientales

La estación de trabajo independiente requiere NVIDIA GPU con al menos 3 GB de memoria (es decir, GeForce GTX 1050 3GB o mejor), Web-servidor requiere al menos 4 GB de memoria GPU (GeForce GTX 1050TI o mejor)

OS: Ubuntu, Windows
CUDA 10.2
Python 3.6+
Paquetes de Python Ver requisitos.txt

Python Rath debe agregarse a la ruta.

Un cliente requiere un navegador web estándar (Chrome, Firefox)

Instalación

1. Instale el lector de Angelina Braille

 git clone --recursive https://github.com/IlyaOvodov/AngelinaReader.git
cd AngelinaReader
pip install --upgrade pip
pip install -r requirements.txt

2. Descargue el modelo de red neuronal

 wget -O weights/model.t7 http://ovdv.ru/files/retina_chars_eced60.clr.008

Tenga en cuenta que estas soluciones utilizan el modelo de red neuronal más real, mientras que el modelo para la instalación independiente disponible aquí no siempre está actualizado.

3. Instale la biblioteca de Liblouis

Descargar e instalar Liblouis:

Descargar y desempaquetar Liblouis (fuente)
Instale Liblouis como se describe para Linux o como se describe aquí para Windows
Instale los enlaces de Python para Liblouis como se describe aquí

Para Windows: actualizar el parámetro liblouis_tables_path_prefix en AngelinaReaderlocal_config.py con ruta a las tablas de Liblouis, incluido el final "/"

4. Ejecutar la aplicación web

 python run_web_app.py

Windows: Pip Directory (es decir, <python>Scripts ) debe agregarse a la ruta.
Asegúrese de que python y pip inicien Python3 si se instalan Python 3 y Python 2.7.

Abra http://127.0.0.1:5000 en un navegador. Se debe mostrar la página principal de la aplicación.

Para acceder a la aplicación desde Internet Reenviar el puerto 80 al puerto 5000 del servidor. No es necesario probar el servicio localmente (en http://127.0.0.1:5000 de la dirección).

Uso

Usar como servicio web

Start Server: python run_web_app.py para Windows: puede usar BAT-File start_web_app.bat

Abra la página http://127.0.0.1:5000 en un navegador. Sigue las instrucciones.

Si la aplicación no puede interpretar algunos símbolos Braille, se muestran como ~?~ .

El uso de la aplicación web se demuestra en un breve video: https://youtu.be/_vcvxptazom y en una presentación de video https://youtu.be/_vcvxptazom

Interfaz de línea de comandos

python run_local.py [-h] [-l LANG] [-o] [-2] input [results_dir]
O, en Windows:
start.bat [-h] [-l LANG] [-o] [-2] input [results_dir]
Parámetros:
input : archivo de imagen (JPG, PNG, etc.), archivo PDF, archivo zip con imágenes o nombre de directorio.
Si se suministra el nombre del directorio o el archivo zip, se procesarán todas las imágenes y los archivos PDF.
results_dir - Carpeta para colocar los resultados. Si no se suministra, se utilizará la carpeta de archivos de entrada. Para cada archivo de entrada se creará archivos <input file>.marked.txt con resultados en un formulario de texto sin formato y <input file>.marked.jpg con texto sin formato impreso a través de la imagen de entrada.
-l <language> - Idioma de documento de entrada (el valor predeterminado es RU). Use -l EN para textos en inglés, -l GR para griego, etc. Consulte la lista de idiomas a continuación. -o - Apagar la búsqueda de orientación automática. A veces, la orientación automática puede funcionar incorrectamente (para textos no típicos o si hay muchos errores de reconocimiento). En tales casos, ajuste la orientación de la imagen manualmente y use la opción -o .
-2 -Reconocer lados de recto y verso de impresiones de dos partes. Los resultados del lado del verso se almacenan en <input file>.rev.marked.txt и <input file>.rev.marked.jpg .
-h - Ayuda de impresión.