การสรุป

การสรุป AI

Repo จัดแสดงเครื่องมือสรุป AI

สรุป

การซื้อคืนนี้นำเสนอเครื่องมือที่เรียบง่ายแต่มีประสิทธิภาพสำหรับการสรุปเอกสาร สามารถทำงานกับเอกสารข้อความธรรมดาและ PDF ในภาษาใดก็ได้ที่รองรับโดย LLM พื้นฐาน (Mistral ตามค่าเริ่มต้น)

ตั้งค่า

การติดตั้งการพึ่งพา

ติดตั้งการอ้างอิงต่อไปนี้ (บน macOS):

• การติดตั้ง Python 3 (เช่น แพ็คเกจ Miniconda หรือ Homebrew)
• แพ็คเกจ Python: รัน pip3 install -r requirements.txt
• ดาวน์โหลดโมเดล mistral-7b-openorca.Q5_K_M.gguf จาก Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF repo ลงในไดเร็กทอรี models ในเครื่อง

โปรดทราบว่าคุณสามารถทดลองใช้โมเดลทางเลือกได้ เพียงอัปเดตตัวแปร MODEL_FILE และ MODEL_CONTEXT_WINDOW ใน web-ui.py และ/หรือ Notebook.ipynb

วิ่ง

เว็บ UI

ในการเรียกใช้ Web UI ให้รัน python3 ./web-ui.py ในโฟลเดอร์ repo สิ่งนี้ควรเปิดอินเทอร์เฟซ Web UI ในเบราว์เซอร์

สมุดบันทึกจูปีเตอร์

เครื่องมือนี้สามารถใช้เป็น Jupyter Labs/Notebook ได้เช่นกัน โดยคุณเปิด Notebook.ipynb ใน Jupyter Labs

รายละเอียด

ขั้นตอนการทำงาน

เครื่องมือนี้ทำงานในโหมดต่อไปนี้ ขึ้นอยู่กับขนาดเอกสาร:

1. ในกรณีง่ายๆ หากเอกสารทั้งหมดสามารถใส่ลงในหน้าต่างบริบทของโมเดลได้ การสรุปจะขึ้นอยู่กับการเพิ่มพร้อมท์การสรุปที่เกี่ยวข้อง
2. ในกรณีเอกสารขนาดใหญ่ เอกสารที่ประมวลผลโดยใช้รูปแบบ "map-reduce":
3. ขั้นแรกเอกสารจะถูกแบ่งออกเป็นส่วนเล็กๆ โดยใช้ `RecursiveCharacterTextSplitter`` ซึ่งพยายามเคารพขอบเขตของย่อหน้าและประโยค
4. สรุปแต่ละส่วนแยกกัน (ขั้นตอนแผนที่)
5. การสรุปเป็นก้อนจะถูกสรุปอีกครั้งเพื่อให้สรุปขั้นสุดท้าย (ลดขั้นตอน)

การประมวลผลในท้องถิ่น

การประมวลผลทั้งหมดเสร็จสิ้นภายในเครื่องของผู้ใช้

• โมเดล Mistral เชิงปริมาณ ( mistral-7b-openorca.Q5_K_M.gguf ) มีประมาณ 5,1 GB

ผลงาน

เอกสารที่ค่อนข้างเล็กถึงขนาดกลาง (สองสามหน้า) ควรพอดีกับหน้าต่างบริบทเดียว ซึ่งส่งผลให้ใช้เวลาประมวลผลประมาณ 40 วินาทีบน Apple MBP ที่มีชิป M1

การแก้ไขปัญหา

ไม่มีใครรู้ประเด็น