AngelinaReader

安吉麗娜盲文讀者

Angelina盲文閱讀器是一種光學盲文識別系統。它旨在將照片上的盲文文本轉換為純文本。

該解決方案可用於

• 網絡服務安吉麗娜盲文閱讀器

• Android App Angelina盲文閱讀器

請注意，這些解決方案使用最實際的神經網模型，而此處可用的獨立安裝模型並不總是最新的。

解決方案的一般描述

解決方案是網絡服務。

用戶通過智能手機或台式計算機上的標準Web瀏覽器與它進行交互。結果顯示在屏幕上，作為圖像和文本顯示，可以發送到用戶的電子郵件。

該解決方案也可以作為個人計算機上的獨立程序安裝，並且可以通過命令行界面使用。

視頻演示：https：//youtu.be/_vcvxptazom

該服務可在地址：http：//angelina-reader.ru上找到

解決方案密鑰功能

• 可以處理變形的盲文頁面的圖像
• 可以識別一種或兩側的盲文打印輸出
• 可以使用單個圖像識別頁面的直腸和Verso側面
• 可以自動找到圖像的正確方向
• 可以處理：
  • 直接從應用程序上拍攝的智能手機攝像頭（僅移動網絡版）拍攝的圖像
  • 圖像文件（JPG等）
  • PDF文件
  • 帶有圖像的郵政編碼
• 結果可以發送到用戶的電子郵件
• 可以識別俄羅斯，英語，德語，烏茲別克，拉脫維亞和希臘盲文文本

限制

• 頁面映像必須大約從頂視圖拍攝
• 光必須從頁面的上側掉落。 IE放置在頁面上的主題的陰影必須針對頁面的底部。不允許從頁面底部的頂燈，側面輕和光。
• 盲文符號不能太小或太大。具有標準盲文文本的最佳A4頁面必須佔據整個圖像區域。

項目中使用的方法

• 使用對象檢測CNN檢測盲文符號（視網膜https://arxiv.org/abs/1708.02002）
• 使用DSBI數據集進行了主要網絡培訓
• 使用在上一輪數據集中訓練的CNN產生的幾輪手動校正，準備了其他培訓數據
• 在第一輪使用詩歌文本時，使用與原始文本的逐線比較發現了錯誤
• 在以後的階段，使用拼寫檢查發現發現識別錯誤
• 準備了一個新的註釋數據集，其中包括360頁的單側手寫和兩面打印的盲文文本，包括由世界AI和數據挑戰賽提供的數據集的76個註釋。該數據集將在稍後發布。
• 為了自動搜索正確的頁面方向，該頁面均以所有4個可能的方向進行處理，並且選擇了最大範圍最廣泛的盲文字符的方向
• 為了識別或verso側文本，我們使用了效果，將凹痕點在倒置圖像上變為視覺凸。我們扭轉圖像並將其水平翻轉以識別Verso側。
• 我們使用啟發式算法從檢測到的符號形成字符串。
• 我們使用盲文解釋規則進行編碼的算法將盲文符號轉換為普通的俄語或英文文本。

環境要求

獨立工作站需要至少3GB內存（即GEFORCE GTX 1050 3GB或更高）的NVIDIA GPU，Web-Server需要至少4GB GPU內存（GeForce GTX 1050TI或更高）

OS：Ubuntu，Windows
CUDA 10.2
Python 3.6+
Python軟件包請參閱需求.txt

Python路徑應添加到路徑上。

客戶需要標準的Web瀏覽器（Chrome，Firefox）

安裝

1。安裝安吉麗娜盲文閱讀器

 git clone --recursive https://github.com/IlyaOvodov/AngelinaReader.git
cd AngelinaReader
pip install --upgrade pip
pip install -r requirements.txt

2。下載神經網模型

 wget -O weights/model.t7 http://ovdv.ru/files/retina_chars_eced60.clr.008

請注意，這些解決方案使用最實際的神經網模型，而此處可用的獨立安裝模型並不總是最新的。

3。安裝liblouis庫

下載並安裝liblouis：

• 下載並解開Liblouis（來源）
• 如Linux所述安裝Liblouis或此處的Windows所述
• 如下所述，安裝liblouis的python綁定

用於Windows：更新AngelinareAder中的liblouis_tables_path_prefix參數AngelinaReaderlocal_config.py文件，帶有通往liblouis表的路徑，包括尾隨“/”

4。運行Web應用程序

 python run_web_app.py

Windows: pip directory (ie <python>Scripts ) should be added to Path .
如果安裝了Python 3和Python 2.7，請確保python和pip啟動Python3。

在瀏覽器中打開http://127.0.0.0.1：5000。該應用程序的主頁應顯示。

要訪問從Internet遠期端口80到服務器5000端口的應用程序。無需在本地測試該服務（http://127.0.0.1:5000地址）。

用法

用作網絡服務

啟動服務器： python run_web_app.py for Windows：您可以使用bat-file start_web_app.bat

打開頁面http://127.0.0.0.1:5000在瀏覽器中。遵循說明。

如果某些盲文符號無法通過應用程序解釋，則將它們顯示為~?~ 。

簡短的視頻中顯示了Web-Application的使用：https：//youtu.be/_vcvxptazom和視頻演示文稿https://youtu.be/_vcvxptazom

命令行接口

python run_local.py [-h] [-l LANG] [-o] [-2] input [results_dir]
或者，在Windows中：
start.bat [-h] [-l LANG] [-o] [-2] input [results_dir]
參數：
input - 圖像文件（JPG，PNG等），PDF文件，帶有圖像或目錄名稱的ZIP文件。
如果提供了目錄名稱或zip文件，則將處理其中的所有圖像和PDF文件。
results_dir將結果放入。如果不提供，將使用輸入文件文件夾。對於每個輸入文件，都將創建文件<input file>.marked.txt ，並以純文本表單和<input file>.marked.jpg進行結果，並帶有純文本打印在輸入圖像上。
-l <language> - 輸入文檔語言（默認為RU）。使用-l EN用於英語文本， -l GR用於希臘語等。請參見下面的語言列表。 -o關閉自動方向搜索。有時，自動取向可能會錯誤地工作（對於非典型文本，或者是否存在許多識別錯誤）。在這種情況下，手動調整圖像取向並使用-o選項。
-2識別兩側打印輸出的直腸和verso側。 Verso側結果存儲在<input file>.rev.marked.txt ° <input file>.rev.marked.jpg文件中。
-h打印幫助。

語言： RU俄羅斯EN英語（1級） DE -de GR希臘LV -Latvian PL波蘭UZ -UZBEK（西里爾） UZL -UZBEK（拉丁語）

使用數據集

網絡權重：請參見Repository ./weights Weaights文件夾。

輔助儀器

沒有任何。