AngelinaReader

安吉丽娜盲文读者

Angelina盲文阅读器是一种光学盲文识别系统。它旨在将照片上的盲文文本转换为纯文本。

该解决方案可用于

• 网络服务安吉丽娜盲文阅读器

• Android App Angelina盲文阅读器

请注意，这些解决方案使用最实际的神经网模型，而此处可用的独立安装模型并不总是最新的。

解决方案的一般描述

解决方案是网络服务。

用户通过智能手机或台式计算机上的标准Web浏览器与它进行交互。结果显示在屏幕上，作为图像和文本显示，可以发送到用户的电子邮件。

该解决方案也可以作为个人计算机上的独立程序安装，并且可以通过命令行界面使用。

视频演示：https：//youtu.be/_vcvxptazom

该服务可在地址：http：//angelina-reader.ru上找到

解决方案密钥功能

• 可以处理变形的盲文页面的图像
• 可以识别一种或两侧的盲文打印输出
• 可以使用单个图像识别页面的直肠和Verso侧面
• 可以自动找到图像的正确方向
• 可以处理：
  • 直接从应用程序上拍摄的智能手机摄像头（仅移动网络版）拍摄的图像
  • 图像文件（JPG等）
  • PDF文件
  • 带有图像的邮政编码
• 结果可以发送到用户的电子邮件
• 可以识别俄罗斯，英语，德语，乌兹别克，拉脱维亚和希腊盲文文本

限制

• 页面映像必须大约从顶视图拍摄
• 光必须从页面的上侧掉落。 IE放置在页面上的主题的阴影必须针对页面的底部。不允许从页面底部的顶灯，侧面轻和光。
• 盲文符号不能太小或太大。具有标准盲文文本的最佳A4页面必须占据整个图像区域。

项目中使用的方法

• 使用对象检测CNN检测盲文符号（视网膜https://arxiv.org/abs/1708.02002）
• 使用DSBI数据集进行了主要网络培训
• 使用在上一轮数据集中训练的CNN产生的几轮手动校正，准备了其他培训数据
• 在第一轮使用诗歌文本时，使用与原始文本的逐线比较发现了错误
• 在以后的阶段，使用拼写检查发现发现识别错误
• 准备了一个新的注释数据集，其中包括360页的单侧手写和两面打印的盲文文本，包括由世界AI和数据挑战赛提供的数据集的76个注释。该数据集将在稍后发布。
• 为了自动搜索正确的页面方向，该页面均以所有4个可能的方向进行处理，并且选择了最大范围最广泛的盲文字符的方向
• 为了识别或verso侧文本，我们使用了效果，将凹痕点在倒置图像上变为视觉凸。我们扭转图像并将其水平翻转以识别Verso侧。
• 我们使用启发式算法从检测到的符号形成字符串。
• 我们使用盲文解释规则进行编码的算法将盲文符号转换为普通的俄语或英文文本。

环境要求

独立工作站需要至少3GB内存（即GEFORCE GTX 1050 3GB或更高）的NVIDIA GPU，Web-Server需要至少4GB GPU内存（GeForce GTX 1050TI或更高）

OS：Ubuntu，Windows
CUDA 10.2
Python 3.6+
Python软件包请参阅需求.txt

Python路径应添加到路径上。

客户需要标准的Web浏览器（Chrome，Firefox）

安装

1。安装安吉丽娜盲文阅读器

 git clone --recursive https://github.com/IlyaOvodov/AngelinaReader.git
cd AngelinaReader
pip install --upgrade pip
pip install -r requirements.txt

2。下载神经网模型

 wget -O weights/model.t7 http://ovdv.ru/files/retina_chars_eced60.clr.008

请注意，这些解决方案使用最实际的神经网模型，而此处可用的独立安装模型并不总是最新的。

3。安装liblouis库

下载并安装liblouis：

• 下载并解开Liblouis（来源）
• 如Linux所述安装Liblouis或此处的Windows所述
• 如下所述，安装liblouis的python绑定

用于Windows：更新AngelinareAder中的liblouis_tables_path_prefix参数AngelinaReaderlocal_config.py文件，带有通往liblouis表的路径，包括尾随“/”

4。运行Web应用程序

 python run_web_app.py

Windows：PIP目录（即<python>Scripts ）应添加到路径上。
如果安装了Python 3和Python 2.7，请确保python和pip启动Python3。

在浏览器中打开http://127.0.0.0.1：5000。该应用程序的主页应显示。

要访问从Internet远期端口80到服务器5000端口的应用程序。无需在本地测试该服务（http://127.0.0.1:5000地址）。

用法

用作网络服务

启动服务器： python run_web_app.py for Windows：您可以使用bat-file start_web_app.bat

打开页面http://127.0.0.0.1:5000在浏览器中。遵循说明。

如果某些盲文符号无法通过应用程序解释，则将它们显示为~?~ 。

简短的视频中显示了Web-Application的使用：https：//youtu.be/_vcvxptazom和视频演示文稿https://youtu.be/_vcvxptazom

命令行接口

python run_local.py [-h] [-l LANG] [-o] [-2] input [results_dir]
或者，在Windows中：
start.bat [-h] [-l LANG] [-o] [-2] input [results_dir]
参数：
input - 图像文件（JPG，PNG等），PDF文件，带有图像或目录名称的ZIP文件。
如果提供了目录名称或zip文件，则将处理其中的所有图像和PDF文件。
results_dir将结果放入。如果不提供，将使用输入文件文件夹。对于每个输入文件，都将创建文件<input file>.marked.txt ，并以纯文本表单和<input file>.marked.jpg进行结果，并带有纯文本打印在输入图像上。
-l <language> - 输入文档语言（默认为RU）。使用-l EN用于英语文本， -l GR用于希腊语等。请参见下面的语言列表。 -o关闭自动方向搜索。有时，自动取向可能会错误地工作（对于非典型文本，或者是否存在许多识别错误）。在这种情况下，手动调整图像取向并使用-o选项。
-2识别两侧打印输出的直肠和verso侧。 Verso侧结果存储在<input file>.rev.marked.txt ° <input file>.rev.marked.jpg文件中。
-h打印帮助。

语言： RU俄罗斯EN英语（1级） DE -de GR希腊LV -Latvian PL波兰UZ -UZBEK（西里尔） UZL -UZBEK（拉丁语）

使用数据集

网络权重：请参见Repository ./weights Weaights文件夹。

辅助仪器

没有任何。