paperai

---

paperai เป็นแอปพลิเคชันการค้นหาเชิงความหมายและเวิร์กโฟลว์สำหรับเอกสารทางการแพทย์/วิทยาศาสตร์

แอปพลิเคชันมีตั้งแต่ดัชนีการค้นหาเชิงความหมายที่ค้นหารายการที่ตรงกันสำหรับการสืบค้นทางการแพทย์/วิทยาศาสตร์ ไปจนถึงแอปพลิเคชันการรายงานเต็มรูปแบบที่ขับเคลื่อนโดยการเรียนรู้ของเครื่อง

paperai และ/หรือ NeuML ได้รับการยอมรับในบทความต่อไปนี้:

• ผู้เชี่ยวชาญด้านการเรียนรู้ของเครื่องเจาะลึกเอกสาร 47,000 ฉบับเกี่ยวกับตระกูลไวรัสโคโรนา
• นักวิทยาศาสตร์ข้อมูลช่วยเหลือนักวิจัยทางการแพทย์ในการต่อสู้กับโควิด-19
• รางวัล CORD-19 Kaggle Challenge

การติดตั้ง

วิธีติดตั้งที่ง่ายที่สุดคือผ่าน pip และ PyPI

 pip install paperai

รองรับ Python 3.8+ แนะนำให้ใช้สภาพแวดล้อมเสมือน Python

paperai ยังสามารถติดตั้งได้โดยตรงจาก GitHub เพื่อเข้าถึงฟีเจอร์ล่าสุดที่ยังไม่ได้เผยแพร่

 pip install git+https://github.com/neuml/paperai

ดูลิงก์นี้เพื่อช่วยแก้ไขปัญหาการติดตั้งเฉพาะสภาพแวดล้อม

นักเทียบท่า

ทำตามขั้นตอนด้านล่างเพื่อสร้างอิมเมจนักเทียบท่าด้วย paperai และการขึ้นต่อกันทั้งหมด

 wget https://raw.githubusercontent.com/neuml/paperai/master/docker/Dockerfile
docker build -t paperai .
docker run --name paperai --rm -it paperai

สามารถเพิ่ม paperetl เพื่อให้มีรูปภาพเดียวในการจัดทำดัชนีและค้นหาเนื้อหา ทำตามคำแนะนำเพื่อสร้างอิมเมจนักเทียบท่า paperetl จากนั้นเรียกใช้สิ่งต่อไปนี้

 docker build -t paperai --build-arg BASE_IMAGE=paperetl --build-arg START=/scripts/start.sh .
docker run --name paperai --rm -it paperai

ตัวอย่าง

โน้ตบุ๊กและแอปพลิเคชันต่อไปนี้สาธิตความสามารถที่ Paperai มีให้

โน๊ตบุ๊ค

โน๊ตบุ๊ค	คำอธิบาย
แนะนำกระดาษปาย	ภาพรวมของฟังก์ชันการทำงานที่จัดทำโดย Paperai

การใช้งาน

แอปพลิเคชัน	คำอธิบาย
ค้นหา	ค้นหาดัชนีกระดาษปาย ตั้งค่าพารามิเตอร์การค้นหา ดำเนินการค้นหา และแสดงผลลัพธ์

การสร้างแบบจำลอง

paperai จัดทำดัชนีฐานข้อมูลที่สร้างไว้ก่อนหน้านี้ด้วย paperetl ต่อไปนี้จะแสดงวิธีการสร้างดัชนีกระดาษปายใหม่

1. (ไม่บังคับ) สร้างไฟล์ index.yml

   paperai ใช้การกำหนดค่าการฝัง txtai เริ่มต้นเมื่อไม่ได้ระบุ อีกทางหนึ่ง สามารถระบุไฟล์ index.yml ที่ใช้ตัวเลือกเดียวกันทั้งหมดเป็นอินสแตนซ์ที่ฝัง txtai ได้ ดูเอกสารประกอบ txtai สำหรับข้อมูลเพิ่มเติมเกี่ยวกับตัวเลือกที่เป็นไปได้ ตัวอย่างง่ายๆแสดงไว้ด้านล่าง

    path: sentence-transformers/all-MiniLM-L6-v2
   content: True
   

2. สร้างดัชนีการฝัง

    python -m paperai.index <path to input data> <optional index configuration>
   

กระบวนการ paperai.index ต้องการเส้นทางข้อมูลอินพุต และอาจใช้การกำหนดค่าดัชนีก็ได้ การกำหนดค่านี้อาจเป็นพาธโมเดลเวกเตอร์หรือไฟล์การกำหนดค่า index.yml

กำลังเรียกใช้แบบสอบถาม

วิธีที่เร็วที่สุดในการเรียกใช้แบบสอบถามคือการเริ่มเชลล์กระดาษ

 paperai <path to model directory>

พรอมต์จะปรากฏขึ้น สามารถพิมพ์ข้อความค้นหาลงในคอนโซลได้โดยตรง

การสร้างไฟล์รายงาน

รายงานรองรับการสร้างเอาต์พุตในหลายรูปแบบ ตัวอย่างการโทรรายงาน:

 python -m paperai.report report.yml 50 md <path to model directory>

รองรับรูปแบบรายงานต่อไปนี้:

• Markdown (ค่าเริ่มต้น) - แสดงผลรายงาน Markdown คอลัมน์และคำตอบจะถูกแยกออกจากบทความโดยเก็บผลลัพธ์ไว้ในไฟล์ Markdown
• CSV - แสดงผลรายงาน CSV คอลัมน์และคำตอบจะถูกแยกออกจากบทความพร้อมผลลัพธ์ที่จัดเก็บไว้ในไฟล์ CSV
• คำอธิบายประกอบ - คอลัมน์และคำตอบจะถูกแยกออกจากบทความพร้อมผลลัพธ์ที่มีคำอธิบายประกอบเหนือไฟล์ PDF ต้นฉบับ ต้องผ่านเส้นทางด้วยไฟล์ PDF ต้นฉบับ

ในตัวอย่างข้างต้น ไฟล์ชื่อ report.md จะถูกสร้างขึ้น สามารถดูตัวอย่างไฟล์การกำหนดค่ารายงานได้ที่นี่

ภาพรวมทางเทคนิค

paperai เป็นการผสมผสานระหว่างดัชนีการฝัง txtai และฐานข้อมูล SQLite พร้อมบทความ แต่ละบทความจะถูกแยกวิเคราะห์เป็นประโยคและจัดเก็บไว้ใน SQLite พร้อมกับข้อมูลเมตาของบทความ การฝังถูกสร้างขึ้นเหนือคลังข้อมูลทั้งหมด

มีจุดเริ่มต้นหลายจุดเพื่อโต้ตอบกับโมเดล

• paperai.report - สร้างรายงานสำหรับชุดข้อความค้นหา สำหรับการค้นหาแต่ละครั้ง บทความที่ให้คะแนนสูงสุดจะแสดงพร้อมกับรายการที่ตรงกันจากบทความเหล่านั้น นอกจากนี้ยังมีส่วนไฮไลท์ที่แสดงผลลัพธ์ที่เกี่ยวข้องมากที่สุด
• paperai.query - เรียกใช้แบบสอบถามเดียวจากเทอร์มินัล
• paperai.shell - อนุญาตให้เรียกใช้หลายคำสั่งจากเทอร์มินัล