Скачать AngelinaReader - Скачать исходный код AngelinaReader

AngelinaReader

Другой исходный код

Скачать

Анджелина Брайль Читатель

Angelina Braille Reader - это оптическая система распознавания Брайля. Он предназначен для преобразования текста Брайля на фотографии в простой текст.

Это решение доступно как

Веб -сервис Angelina Braille Reader

Приложение Android Angelina Braille Reader

Обратите внимание, что эти решения используют наиболее фактическую модель нейронной сети, в то время как модель для автономной установки, доступной здесь, не всегда обновлена.

Общее описание решения

Решение-это веб-сервис.

Пользователи взаимодействуют с ним через стандартный веб -браузер на смартфоне или настольном компьютере. Результаты отображаются на экране в виде изображений и текста и могут быть отправлены в электронную почту пользователя.

Это решение также может быть установлено в качестве автономной программы на персональном компьютере и может использоваться через интерфейс командной строки.

Видео -презентация: https://youtu.be/_vcvxptazom

Эта услуга доступна по адресу: http://angelina-reader.ru

Ключевые функции решения

Может обрабатывать изображения деформированных страниц Брайля
Может распознать либо одно- или двухсторонние распечатки Брайля
Может распознавать и стороны Recto и Verso страницы, используя одно изображение
Может автоматически найти правильную ориентацию изображения
Может обработать:
- Изображения, сделанные на камере смартфона непосредственно из приложения (только мобильная веб -версия)
- Файлы изображений (JPG и т. Д.)
- PDF -файлы
- zip-archives с изображениями
Результаты можно отправить в электронное письмо пользователю
Можно узнать русские, английские, немецкие, узбекские, латвийские и греческие тексты Брайля

Ограничения

Изображение страницы должно быть взято примерно из вида вверху
Свет должен упасть с верхней стороны страницы. Т.е. тень предмета, размещенной на странице, должна быть направлена на нижнюю сторону страницы. Верхний свет, боковой свет и свет с нижней стороны страницы не допускаются.
Символы Брайля не должны быть слишком маленькими или слишком большими. Оптимально страница A4 со стандартным текстом Брайля должна занимать всю область изображения.

Подходы, используемые в проекте

Символы Брайля обнаруживаются с использованием обнаружения объектов CNN (Retinanet https://arxiv.org/abs/1708.02002)
Обучение первичной сети проводилось с использованием набора данных DSBI
Дополнительные учебные данные были получены с использованием нескольких раундов ручной коррекции результатов, полученных CNN, обученными на предыдущем наборе данных
В первых раундах были использованы тексты поэзии, ошибки были обнаружены с использованием линейного сравнения с исходным текстом
На более поздних этапах были обнаружены ошибки распознавания с использованием проверки орфографии
Приготовлен новый аннотированный набор данных из 360 страниц одностороннего рукописного и двухстороннего печатного брадского текста, включая аннотацию 76 страниц из набора данных, предоставленного World AI & Data Challenge Contest. Этот набор данных будет опубликован позже.
Для автоматического поиска правильной ориентации страницы страница обрабатывается во всех 4 возможных ориентациях, а ориентация с максимальным присутствием наиболее широко распространенных Chars Braille Chars выбран
Для распознавания или набочного текста мы используем этот эффект, эти помятые точки стали визуально выпуклым на перевернутом изображении. Мы инвертируем изображение и переворачиваем его горизонтально, чтобы распознать сторону Verso.
Мы используем эвристический алгоритм для формирования строк из обнаруженных символов.
Мы переводим символы Брайля в простой русский или английский текст, используя алгоритм, где закодированы правила интерпретации Брайля.

Требования к окружающей среде

Автономная рабочая станция требует GPU NVIDIA с памятью не менее 3 ГБ (то есть GEFORCE GTX 1050 3GB или лучше), веб-сервер требует не менее 4 ГБ памяти графического процессора (GEFORCE GTX 1050TI или лучше)

ОС: Ubuntu, Windows
CUDA 10.2
Python 3.6+
Пакеты Python см. Tepend.txt

Путь Python должен быть добавлен в путь.

Клиенту требуется стандартный веб-браузер (Chrome, Firefox)

Установка

1. Установите Angelina Braille Reader

 git clone --recursive https://github.com/IlyaOvodov/AngelinaReader.git
cd AngelinaReader
pip install --upgrade pip
pip install -r requirements.txt

2. Скачать модель нейронной сети

 wget -O weights/model.t7 http://ovdv.ru/files/retina_chars_eced60.clr.008

Обратите внимание, что эти решения используют наиболее фактическую модель нейронной сети, в то время как модель для автономной установки, доступная здесь, не всегда обновлена.

3. Установите библиотеку Liblouis

Скачать и установить liblouis:

Скачать и распаковать liblouis (источник)
Установите liblouis, как описано для Linux или как описано здесь для Windows
Установите привязки Python для liblouis, как описано здесь

Для Windows: Обновление liblouis_tables_path_prefix Параметр в файле AngelinaReaderlocal_config.py с помощью таблиц Path to Liblouis, включая следы »/"

4. Запустите веб -приложение

 python run_web_app.py

Windows: Pip Directory (то есть <python>Scripts ) должен быть добавлен в путь.
Убедитесь, что python и pip Start Python3, если установлены Python 3 и Python 2.7.

Откройте http://127.0.0.1:5000 в браузере. Основная страница приложения должна отображаться.

Чтобы получить доступ к приложению от интернет -переадресации порта 80 до порта 5000 сервера. Не требуется тестировать сервис локально (по адресу http://127.0.0.1:5000 адрес).

Использование

Использование в качестве веб -службы

START SERVER: python run_web_app.py для Windows: вы можете использовать Bat-file start_web_app.bat

Откройте страницу http://127.0.0.1:5000 в браузере. Следуйте инструкциям.

Если некоторые символы Брайля не могут быть интерпретированы применением, они отображаются как ~?~ .

Использование веб-применения демонстрируется в кратком видео: https://youtu.be/_vcvxptazom и в видео-презентации https://youtu.be/_vcvxptazom

Интерфейс командной строки

python run_local.py [-h] [-l LANG] [-o] [-2] input [results_dir]
или в окнах:
start.bat [-h] [-l LANG] [-o] [-2] input [results_dir]
Параметры:
input - файл изображения (JPG, PNG и т. Д.), PDF -файл, ZIP -файл с изображениями или именем каталога.
Если поставлено имя каталога или zip -файл, в нем будут обработаны все файлы изображения и PDF.
results_dir - папка для размещения результатов. Если не поставляется, будет использоваться папка «Входные файлы». Для каждого входного файла будут созданы файлы <input file>.marked.txt с результатами в простой текстовой форме и <input file>.marked.jpg с простым текстом, напечатанным через входное изображение.
-l <language> - Язык документа ввода (по умолчанию RU). Используйте -l EN для английских текстов, -l GR для греческого и т. Д. См. Перечисленные языки ниже. -o - выключите автоматический поиск ориентации. Иногда автоматическая ориентация может работать неправильно (для нетипичных текстов или, если есть много ошибок распознавания). В таких случаях отрегулируйте ориентацию изображения вручную и используйте опцию -o .
-2 -распознайте как RECETO, так и VERSO Sides двухсторонних распечаток. Результаты Verso Side хранятся в <input file>.rev.marked.txt и <input file>.rev.marked.jpg .
-h - Печать помощи.

Языки: RU - русский EN - английский (1 класс) DE - немецкий GR - греческий LV - Латвиан PL - Польский UZ - Узбек (кириллик) UZL - Узбек (латинский)