SimplyRetrieve: เครื่องมือ AI สร้างการดึงข้อมูลแบบส่วนตัวและน้ำหนักเบา

- ข่าว : 21 ส.ค. 2023 -- ผู้ใช้สามารถสร้างและผนวกความรู้ได้ทันทีผ่าน Knowledge Tab ที่เพิ่มใหม่ใน GUI นอกจากนี้ยังมีการเพิ่มแถบความคืบหน้าในแท็บการกำหนดค่าและความรู้

- SimplyRetrieve คืออะไร?

SimplyRetrieve เป็นเครื่องมือโอเพ่นซอร์สโดยมีเป้าหมายเพื่อมอบแพลตฟอร์ม GUI และ API ที่แปลเป็นภาษาท้องถิ่น น้ำหนักเบา และใช้งานง่ายสำหรับแนวทาง การดึงข้อมูลเป็นศูนย์กลาง (RCG) ให้กับชุมชนแมชชีนเลิร์นนิง

สร้างเครื่องมือแชทด้วยเอกสารและโมเดลภาษาของคุณ ซึ่งปรับแต่งได้สูง คุณสมบัติคือ:

แพลตฟอร์มการสร้างการดึงข้อมูลเป็นศูนย์กลางที่ใช้ GUI และ API
- โมดูลการปรับแต่งการดึงข้อมูลพร้อมการแจ้งเตือนทางวิศวกรรม การกำหนดค่าเครื่องมือ และการวิเคราะห์การดึงข้อมูล
- ตัวสร้างฐานความรู้ส่วนตัว
- การเข้าถึงแบบท้องถิ่นเต็มรูปแบบ เป็นส่วนตัว และเข้าถึงขนาดต่างๆ ของ Large Language Models (LLM) แบบโอเพ่นซอร์ส
- การเข้าถึง UI ของผู้ใช้หลายคนพร้อมกัน โดยใช้ฟังก์ชันคิวของ Gradio

รายงานทางเทคนิคเกี่ยวกับเครื่องมือนี้มีอยู่ที่ arXiv

วิดีโอสั้นๆ เกี่ยวกับเครื่องมือนี้มีอยู่ที่ YouTube

เครื่องมือโดยรวม

ทำไมต้องใช้เครื่องมือนี้?

เรามุ่งมั่นที่จะสนับสนุนการพัฒนา LLM ที่ปลอดภัย ตีความได้ และมีความรับผิดชอบโดยการแบ่งปันเครื่องมือโอเพ่นซอร์สของเราสำหรับการนำแนวทาง RCG ไปใช้ เราหวังว่าเครื่องมือนี้จะช่วยให้ชุมชนแมชชีนเลิร์นนิงสามารถสำรวจการใช้ LLM ได้อย่างมีประสิทธิภาพมากขึ้น ขณะเดียวกันก็รักษาความเป็นส่วนตัวและการใช้งานในท้องถิ่น การดึงข้อมูลเป็นศูนย์กลางซึ่งต่อยอดจากแนวคิดการดึงข้อมูล-เพิ่มการสร้าง (RAG) โดยการเน้นบทบาทที่สำคัญของ LLM ในการตีความบริบทและการมอบหมายการท่องจำความรู้ให้กับองค์ประกอบการดึงข้อมูล มีศักยภาพในการผลิตการสร้างที่มีประสิทธิภาพมากขึ้นและสามารถตีความได้ และลด ขนาดของ LLM ที่จำเป็นสำหรับงานสร้างสรรค์ เครื่องมือนี้สามารถทำงานบน Nvidia GPU ตัวเดียว เช่น T4, V100 หรือ A100 ทำให้ผู้ใช้หลากหลายกลุ่มสามารถเข้าถึงได้

เครื่องมือนี้สร้างขึ้นจากไลบรารีที่ยอดเยี่ยมและคุ้นเคยของ Hugging Face, Gradio, PyTorch และ Faiss เป็นหลัก LLM เริ่มต้นที่ได้รับการกำหนดค่าในเครื่องมือนี้คือ Wizard-Vicuna-13B-Uncensored ที่ปรับแต่งตามคำสั่ง โมเดลการฝังเริ่มต้นสำหรับรีทรีฟเวอร์คือ multilingual-e5-base เราพบว่าแบบจำลองเหล่านี้ทำงานได้ดีในระบบนี้ เช่นเดียวกับ LLM แบบโอเพ่นซอร์สและตัวดึงข้อมูลขนาดต่างๆ มากมายที่มีอยู่ใน Hugging Face เครื่องมือนี้สามารถทำงานในภาษาอื่นนอกเหนือจากภาษาอังกฤษ โดยการเลือก LLM ที่เหมาะสมและปรับแต่งเทมเพลตพร้อมท์ตามภาษาเป้าหมาย

- การพัฒนาที่เป็นไปได้ใดบ้างที่สามารถสำรวจได้โดยใช้เครื่องมือนี้

การตรวจสอบประสิทธิผลของการสร้างระบบที่เน้นการดึงข้อมูลเป็นหลักในการพัฒนาระบบ AI ที่ปลอดภัย ตีความได้มากขึ้น และมีความรับผิดชอบ
การเพิ่มประสิทธิภาพการแยกการตีความบริบทและการท่องจำความรู้ให้เหมาะสมภายในแนวทางการสร้างแบบดึงข้อมูลเป็นศูนย์กลาง
การปรับปรุงเทคนิคทางวิศวกรรมที่รวดเร็วสำหรับการสร้างข้อมูลที่เน้นการดึงข้อมูลเป็นหลัก
การใช้ Chat AI สำหรับการประมวลผลภายในเครื่องและ Edge อย่างเต็มรูปแบบ
การสร้างผู้ช่วย AI ส่วนบุคคลที่ปรับให้เหมาะกับผู้ใช้แต่ละราย

- ข้อกำหนดเบื้องต้นในการเรียกใช้เครื่องมือนี้มีอะไรบ้าง?

Git โคลนพื้นที่เก็บข้อมูลนี้
ในเครื่อง Linux ที่ใช้ GPU ให้เปิดใช้งาน python venv ที่คุณชื่นชอบ ติดตั้งแพ็คเกจที่จำเป็น
- pip install -r requirements.txt
ทางเลือก: หากคุณต้องการใช้ข้อมูลของคุณเองเป็นแหล่งความรู้ คุณสามารถทำตามขั้นตอนเหล่านี้ อย่างไรก็ตาม หากคุณต้องการเริ่มต้นด้วยตัวอย่างที่ง่ายกว่า คุณสามารถข้ามขั้นตอนเหล่านี้ และใช้แหล่งความรู้ตัวอย่างอย่างง่ายที่เป็นค่าเริ่มต้นที่เครื่องมือมอบให้ โปรดทราบว่าแหล่งความรู้ตัวอย่างมีจุดประสงค์เพื่อการสาธิตเท่านั้น และไม่ควรใช้เพื่อการประเมินประสิทธิภาพ เพื่อให้ได้ผลลัพธ์ที่แม่นยำ ขอแนะนำให้ใช้แหล่งความรู้ของคุณเองหรือแหล่ง Wikipedia สำหรับการใช้งานทั่วไป
- เตรียมแหล่งความรู้สำหรับการเรียกค้น: ใส่เอกสารที่เกี่ยวข้อง (pdf ฯลฯ) ลงในไดเร็กทอรี chat/data/ และรันสคริปต์การเตรียมข้อมูล ( cd chat/ จากนั้นใช้คำสั่งต่อไปนี้)
```
 CUDA_VISIBLE_DEVICES=0 python prepare.py --input data/ --output knowledge/ --config configs/default_release.json
```
- รูปแบบเอกสารที่รองรับ ได้แก่ pdf, txt, doc, docx, ppt, pptx, html, md, csv และสามารถขยายได้อย่างง่ายดายด้วยการแก้ไขไฟล์การกำหนดค่า ปฏิบัติตามคำแนะนำในปัญหานี้หากเกิดข้อผิดพลาดเกี่ยวกับ NLTK
- ล่าสุด: ขณะนี้คุณลักษณะการสร้างฐานความรู้พร้อมใช้งานแล้วผ่าน Knowledge Tab ของเครื่องมือ GUI ผู้ใช้สามารถเพิ่มความรู้ได้ทันที การเรียกใช้สคริปต์ wait.py ข้างต้นก่อนที่จะเรียกใช้เครื่องมือนั้นไม่จำเป็น

- วิธีการเรียกใช้เครื่องมือนี้?

หลังจากตั้งค่าข้อกำหนดเบื้องต้นข้างต้นแล้ว ให้ตั้งค่าพาธปัจจุบันไปยังไดเร็กทอรี chat ( cd chat/ ) ดำเนินการคำสั่งด้านล่าง แล้ว grab a coffee! เนื่องจากจะใช้เวลาโหลดเพียงไม่กี่นาที

 CUDA_VISIBLE_DEVICES=0 python chat.py --config configs/default_release.json

จากนั้น เข้าถึง GUI บนเว็บจากเบราว์เซอร์ที่คุณชื่นชอบโดยไปที่ http://<LOCAL_SERVER_IP>:7860 แทนที่ <LOCAL_SERVER_IP> ด้วยที่อยู่ IP ของเซิร์ฟเวอร์ GPU ของคุณ เพียงเท่านี้คุณก็พร้อมลุยแล้ว!

สำหรับ GUI operation manual โปรดดูที่ GUI readme ที่อยู่ในไดเร็กทอรี docs/
สำหรับ API access manual โปรดดูที่ API readme และสคริปต์ตัวอย่างที่อยู่ในไดเร็กทอรี examples/

ด้านล่างนี้คือภาพหน้าจอแชทตัวอย่างของ GUI มีอินเทอร์เฟซแชทบอทสตรีมมิ่งที่คุ้นเคยพร้อมแผงปรับแต่ง RCG ที่ครอบคลุม

ตัวอย่าง GUI ของแพลตฟอร์ม

ไม่มีเซิร์ฟเวอร์ GPU ในเครื่องเพื่อเรียกใช้เครื่องมือนี้ในขณะนี้ใช่ไหม ไม่มีปัญหา. เยี่ยมชมพื้นที่เก็บข้อมูลนี้ มันแสดงคำแนะนำให้ลองใช้เครื่องมือนี้ในแพลตฟอร์มคลาวด์ AWS EC2

- มีส่วนร่วม

อย่าลังเลที่จะให้ข้อเสนอแนะและความคิดเห็นแก่เรา เรายินดีอย่างยิ่งที่จะพูดคุยและมีส่วนร่วมเกี่ยวกับเครื่องมือนี้ รวมถึงฟีเจอร์ใหม่ การปรับปรุง และเอกสารประกอบที่ดีขึ้น อย่าลังเลที่จะเปิดประเด็นหรือการสนทนา เรายังไม่มีเทมเพลตสำหรับปัญหาหรือการสนทนา ดังนั้นเราจะดำเนินการใดๆ ในตอนนี้

️โรดแมป

การพัฒนาในอนาคต

เพื่อรองรับการอนุมานความเร็วสูงของ vLLM PagedAttention
ในการเพิ่มส่วนประกอบการดึงข้อมูลเป็นศูนย์กลาง (ประวัติการแชท)
เพื่อสร้างเอกสารที่ครอบคลุม

ข้อจำกัด

สิ่งสำคัญที่ควรทราบคือเครื่องมือนี้ไม่ได้มอบโซลูชันที่เข้าใจผิดได้เพื่อให้มั่นใจว่าการตอบสนองที่ปลอดภัยและมีความรับผิดชอบอย่างสมบูรณ์จากโมเดล AI ดั้งเดิม แม้จะอยู่ในแนวทางการดึงข้อมูลเป็นศูนย์กลางก็ตาม การพัฒนาระบบ AI ที่ปลอดภัย ตีความได้ และมีความรับผิดชอบยังคงเป็นงานวิจัยและความพยายามอย่างต่อเนื่อง

ข้อความที่สร้างจากเครื่องมือนี้อาจแสดงรูปแบบต่างๆ แม้ว่าจะมีการปรับเปลี่ยนพรอมต์หรือการสืบค้นเพียงเล็กน้อยเท่านั้น เนื่องจากพฤติกรรมการคาดการณ์โทเค็นถัดไปของ LLM รุ่นปัจจุบัน ซึ่งหมายความว่าผู้ใช้อาจต้องปรับแต่งทั้งข้อความแจ้งและข้อความค้นหาอย่างละเอียดเพื่อให้ได้คำตอบที่เหมาะสมที่สุด

การอ้างอิง

หากคุณพบว่างานของเรามีประโยชน์ โปรดอ้างอิงเราดังต่อไปนี้:

 @article{ng2023simplyretrieve,
    title={SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool}, 
    author={Youyang Ng and Daisuke Miyashita and Yasuto Hoshi and Yasuhiro Morioka and Osamu Torii and Tomoya Kodama and Jun Deguchi},
    year={2023},
    eprint={2308.03983},
    archivePrefix={arXiv},
    primaryClass={cs.CL},
    journal={arXiv preprint arXiv:2308.03983}
}

️ สังกัด: Institute of Memory Technology R&D, Kioxia Corporation ประเทศญี่ปุ่น

ขยาย

ข้อมูลเพิ่มเติม