ดาวน์โหลด AngelinaReader - AngelinaReader ซอร์สโค้ดดาวน์โหลด

AngelinaReader

ซอร์สโค้ดอื่น ๆ

ดาวน์โหลด

Angelina Braille Reader

Angelina Braille Reader เป็นระบบจดจำอักษรเบรลล์แบบออพติคอล มันถูกออกแบบมาเพื่อแปลงข้อความอักษรเบรลล์บนรูปภาพเป็นข้อความธรรมดา

โซลูชันนี้มีให้เป็น

บริการเว็บ Angelina Braille Reader

ภาพ

แอพ Android Angelina Braille Reader

ภาพ

โปรดทราบว่าโซลูชันเหล่านี้ใช้โมเดล Neural Net ที่เกิดขึ้นจริงมากที่สุดในขณะที่โมเดลสำหรับการติดตั้งแบบสแตนด์อโลนที่มีอยู่ที่นี่ไม่ได้ทันสมัยเสมอไป

คำอธิบายทั่วไปของการแก้ปัญหา

โซลูชันคือบริการเว็บ

ผู้ใช้โต้ตอบกับเว็บเบราว์เซอร์มาตรฐานบนสมาร์ทโฟนหรือคอมพิวเตอร์เดสก์ท็อป ผลลัพธ์จะปรากฏบนหน้าจอเป็นรูปภาพและข้อความและสามารถส่งไปยังอีเมลของผู้ใช้

โซลูชันนี้ยังสามารถติดตั้งเป็นโปรแกรมแบบสแตนด์อโลนบนคอมพิวเตอร์ส่วนบุคคลและสามารถใช้งานผ่านอินเทอร์เฟซบรรทัดคำสั่ง

การนำเสนอวิดีโอ: https://youtu.be/_vcvxptazom

บริการนี้มีอยู่ตามที่อยู่: http://angelina-reader.ru

คุณสมบัติที่สำคัญทางออก

สามารถจัดการภาพของหน้าอักษรเบรลล์ที่เปลี่ยนรูปได้
สามารถจดจำการพิมพ์อักษรเบรลล์แบบหนึ่งหรือสองด้านได้
สามารถรับรู้ทั้ง recto และด้านข้างของหน้าโดยใช้ภาพเดียว
สามารถค้นหาการวางแนวที่ถูกต้องโดยอัตโนมัติ
สามารถดำเนินการ:
- รูปภาพถ่ายด้วยกล้องสมาร์ทโฟนโดยตรงจากแอปพลิเคชัน (เฉพาะเวอร์ชันเว็บมือถือ)
- ไฟล์รูปภาพ (jpg ฯลฯ )
- ไฟล์ PDF
- zip-archives พร้อมรูปภาพ
สามารถส่งผลลัพธ์ไปยังอีเมลของผู้ใช้
สามารถรับรู้ภาษารัสเซีย, อังกฤษ, เยอรมัน, อุซเบก, ลัตเวียและข้อความอักษรเบรลล์กรีก

ข้อ จำกัด

ต้องถ่ายภาพหน้าโดยประมาณจากมุมมองด้านบน
แสงจะต้องตกลงมาจากด้านบนของหน้า เช่นเงาของหัวเรื่องที่วางไว้บนหน้าจะต้องกำกับที่ด้านล่างของหน้า ไม่อนุญาตให้ใช้ไฟด้านบนแสงด้านข้างและแสงจากด้านล่างของหน้า
สัญลักษณ์อักษรเบรลล์ต้องไม่เล็กเกินไปหรือใหญ่เกินไป หน้า A4 อย่างเหมาะสมพร้อมข้อความอักษรเบรลล์มาตรฐานจะต้องครอบครองพื้นที่ภาพทั้งหมด

แนวทางที่ใช้ในโครงการ

ตรวจพบสัญลักษณ์อักษรเบรลล์โดยใช้การตรวจจับวัตถุ CNN (Retinanet https://arxiv.org/abs/1708.02002)
การฝึกอบรมเครือข่ายหลักทำได้โดยใช้ชุดข้อมูล DSBI
ข้อมูลการฝึกอบรมเพิ่มเติมถูกจัดทำขึ้นโดยใช้การแก้ไขด้วยตนเองหลายรอบผลลัพธ์ที่ผลิตโดย CNN ที่ผ่านการฝึกอบรมในชุดข้อมูลรอบก่อนหน้า
ในรอบแรกมีการใช้ตำราบทกวีพบข้อผิดพลาดโดยใช้การเปรียบเทียบแบบบรรทัดต่อบรรทัดกับข้อความต้นฉบับ
ในระยะต่อมาพบข้อผิดพลาดในการรับรู้โดยใช้เครื่องตรวจสอบการสะกดคำ
ชุดข้อมูลหมายเหตุประกอบใหม่ของ 360 หน้าของข้อความที่เขียนด้วยลายมือด้านเดียวและข้อความอักษรเบรลล์ที่พิมพ์สองด้านรวมถึงคำอธิบายประกอบของ 76 Page จากชุดข้อมูลที่จัดทำโดย World AI & Data Challenge Contest ชุดข้อมูลนี้จะถูกเผยแพร่ในภายหลัง
สำหรับการค้นหาโดยอัตโนมัติของการวางแนวเพจที่ถูกต้องหน้าจะถูกประมวลผลในทิศทางที่เป็นไปได้ทั้งหมด 4 แบบและการวางแนวที่มีการเลือกตัวอักษรเบรลล์ที่แพร่หลายที่สุด
สำหรับการรับรู้หรือข้อความด้านข้างเราใช้เอฟเฟกต์จุดที่เว้าแหว่งกลายเป็นภาพนอนบนภาพคว่ำ เรากลับภาพและพลิกในแนวนอนเพื่อรับรู้ด้าน verso
เราใช้อัลกอริทึมฮิวริสติกเพื่อสร้างสตริงจากสัญลักษณ์ที่ตรวจพบ
เราแปลสัญลักษณ์อักษรเบรลล์เป็นข้อความรัสเซียหรือภาษาอังกฤษธรรมดาโดยใช้อัลกอริทึมที่มีการเข้ารหัสกฎการตีความอักษรเบรลล์

ข้อกำหนดด้านสิ่งแวดล้อม

เวิร์กสเตชันแบบสแตนด์อโลนต้องการ Nvidia GPU ที่มีหน่วยความจำอย่างน้อย 3GB (เช่น GeForce GTX 1050 3GB หรือดีกว่า) เว็บเซิร์ฟเวอร์ต้องใช้หน่วยความจำ GPU อย่างน้อย 4GB (GeForce GTX 1050TI หรือดีกว่า)

OS: Ubuntu, Windows
Cuda 10.2
Python 3.6+
แพ็คเกจ Python ดู required.txt

ควรเพิ่มเส้นทาง Python ลงในเส้นทาง

ไคลเอนต์ต้องการเว็บเบราว์เซอร์มาตรฐาน (Chrome, Firefox)

การติดตั้ง

1. ติดตั้ง Angelina Braille Reader

 git clone --recursive https://github.com/IlyaOvodov/AngelinaReader.git
cd AngelinaReader
pip install --upgrade pip
pip install -r requirements.txt

2. ดาวน์โหลดรุ่น Neural Net

 wget -O weights/model.t7 http://ovdv.ru/files/retina_chars_eced60.clr.008

โปรดทราบว่าโซลูชันเหล่านี้ใช้โมเดล Neural Net ที่เกิดขึ้นจริงมากที่สุดในขณะที่โมเดลสำหรับการติดตั้งแบบสแตนด์อโลนที่มีอยู่ที่นี่ไม่ได้ทันสมัยเสมอไป

3. ติดตั้งไลบรารี liblouis

ดาวน์โหลดและติดตั้ง liblouis:

ดาวน์โหลดและแกะกล่อง liblouis (แหล่งที่มา)
ติดตั้ง liblouis ตามที่อธิบายไว้สำหรับ Linux หรือตามที่อธิบายไว้ที่นี่สำหรับ Windows
ติดตั้งการผูก Python สำหรับ liblouis ตามที่อธิบายไว้ที่นี่

สำหรับ Windows: อัปเดตพารามิเตอร์ liblouis_tables_path_prefix ในไฟล์ AngelinaReaderlocal_config.py พร้อมเส้นทางไปยังตาราง liblouis รวมถึง training "/"

4. เรียกใช้เว็บแอป

 python run_web_app.py

ควรเพิ่มไดเรกทอรี PIP (เช่น <python>Scripts ) ลงในเส้นทาง
ตรวจสอบให้แน่ใจว่า python และ pip Start Python3 หากติดตั้งทั้ง Python 3 และ Python 2.7

เปิด http://127.0.0.1:5000 ในเบราว์เซอร์ หน้าหลักของแอปพลิเคชันควรแสดง

ในการเข้าถึงแอปพลิเคชันจากอินเทอร์เน็ตไปข้างหน้าพอร์ต 80 ไปยังพอร์ต 5000 ของเซิร์ฟเวอร์ ไม่จำเป็นต้องทดสอบบริการในเครื่อง (ที่ http://127.0.0.1:5000 ที่อยู่)

การใช้งาน

ใช้เป็นบริการเว็บ

Start Server: python run_web_app.py สำหรับ windows: คุณสามารถใช้ bat-file start_web_app.bat

เปิดหน้า http://127.0.0.1:5000 ในเบราว์เซอร์ ทำตามคำแนะนำ

หากแอปพลิเคชันบางอย่างไม่สามารถตีความได้โดยแอปพลิเคชันพวกเขาจะแสดงเป็น ~?~

การใช้งานเว็บแอปพลิเคชันแสดงในวิดีโอสั้น ๆ : https://youtu.be/_vcvxptazom และในการนำเสนอวิดีโอ https://youtu.be/_vcvxptazom

อินเตอร์เฟสบรรทัดคำสั่ง

python run_local.py [-h] [-l LANG] [-o] [-2] input [results_dir]
หรือใน Windows:
start.bat [-h] [-l LANG] [-o] [-2] input [results_dir]
พารามิเตอร์:
input - image file (jpg, png etc.), pdf file, zip file with images or directory name.
หากมีการจัดทำชื่อไดเรกทอรีหรือไฟล์ซิปไฟล์รูปภาพและไฟล์ PDF ทั้งหมดจะถูกประมวลผล
results_dir - โฟลเดอร์เพื่อวางผลลัพธ์หากไม่ได้จัดหาโฟลเดอร์อินพุตไฟล์จะถูกนำมาใช้ สำหรับไฟล์อินพุตทุกไฟล์จะถูกสร้างขึ้น <input file>.marked.txt พร้อมผลลัพธ์ในรูปแบบข้อความธรรมดาและ <input file>.marked.jpg พร้อมข้อความธรรมดาที่พิมพ์ผ่านอิมเมจอินพุต
-l <language> - อินพุตภาษาเอกสาร (ค่าเริ่มต้นคือ RU) ใช้ -l EN สำหรับข้อความภาษาอังกฤษ -l GR สำหรับภาษากรีก ฯลฯ ดูรายการภาษาด้านล่าง -o - ปิดการค้นหาการวางแนวอัตโนมัติ บางครั้งการวางแนวอัตโนมัติสามารถทำงานได้อย่างไม่ถูกต้อง (สำหรับข้อความที่ไม่ธรรมดาหรือหากมีข้อผิดพลาดในการรับรู้มากมาย) ในกรณีเช่นนี้ปรับการวางแนวของภาพด้วยตนเองและใช้ตัวเลือก -o
-2 -รับรู้ทั้ง recto และด้านข้างของการพิมพ์สองด้าน ผลลัพธ์ด้าน Verso ถูกเก็บไว้ใน <input file>.rev.marked.txt и <input file>.rev.marked.jpg ไฟล์
-h - ความช่วยเหลือพิมพ์