donkeybot

Donkeybot: Rucio Support Bot พร้อม NLP (โครงการ GSoC)

rucio/donkeybot ไม่ได้รับการบำรุงรักษา

พื้นที่เก็บข้อมูลนี้ไม่ได้รับการดูแลรักษาและถูกเก็บถาวรแล้ว

Donkeybot เป็นระบบตอบคำถามแบบครบวงจร โดยจะใช้แหล่งข้อมูลหลายแหล่ง ตารางคำถามที่พบบ่อย และแบบจำลองภาษาสำหรับการถ่ายโอนการเรียนรู้ เช่น BERT เพื่อตอบคำถามสนับสนุน Rucio

การแนะนำ

เป้าหมายของโครงการภายใต้ GSoC 2020 คือการใช้การประมวลผลภาษาธรรมชาติ (NLP) เพื่อพัฒนาต้นแบบบอทอัจฉริยะที่สามารถให้คำตอบที่น่าพอใจแก่ผู้ใช้ Rucio และจัดการคำขอการสนับสนุนจนถึงระดับที่ซับซ้อนหนึ่ง โดยส่งต่อเฉพาะคำขอที่เหลือไปยัง ผู้เชี่ยวชาญ

Donkeybot สามารถขยายและนำไปใช้เป็นระบบตอบคำถามได้ตามความต้องการของคุณ จำเป็นต้องเปลี่ยนแปลงโค้ดเพื่อใช้ Donkeybot สำหรับกรณีการใช้งานและข้อมูลเฉพาะของคุณ การใช้งานปัจจุบันใช้กับแหล่งข้อมูลเฉพาะของ Rucio

มันทำอะไร?

1. การจัดเก็บข้อมูล : การจัดเก็บข้อมูลที่เก็บข้อมูลเฉพาะโดเมน Rucio การใช้งานปัจจุบันของโมดูลอยู่ใน SQLite สำหรับการสร้างต้นแบบที่รวดเร็วที่มีให้ แหล่งข้อมูลประกอบด้วยอีเมลสนับสนุนที่ปลอดภัยและไม่ระบุชื่อจากผู้ใช้ Rucio ปัญหาของ Rucio GitHub และเอกสารประกอบของ Rucio

2. การตรวจจับคำถาม : โมดูลสำหรับการตรวจจับคำถามและแยกออกจากข้อความที่กำหนด ข้อมูลนี้ใช้เพื่อแยกคำถามที่ผ่านมาจากอีเมลสนับสนุนและปัญหา GitHub โดยใช้นิพจน์ทั่วไป คำถามเหล่านี้ถูกเก็บถาวรเป็นเอกสารและใช้โดยโมดูลอื่นๆ

3. การดึงเอกสาร : โมดูลเครื่องมือค้นหาที่ใช้อัลกอริธึม BM25 สำหรับการดึงเอกสารอันดับต้น ๆ ที่คล้ายกันมากที่สุด (คำถามที่ถามก่อนหน้านี้หรือเอกสาร Rucio) เพื่อใช้เป็นบริบทโดยโมดูลตรวจจับคำตอบ

4. การตรวจจับคำตอบ : โมดูลการตรวจจับคำตอบซึ่งเป็นไปตามทั้งแนวทางการเรียนรู้แบบถ่ายโอนและวิธีการแบบมีผู้สอน

   • การใช้โมเดลหม้อแปลงที่ได้รับการฝึกอบรมล่วงหน้า เช่น BERT จากหม้อแปลง Hugginface เพื่อให้คำตอบที่ดีที่สุดแก่ผู้ใช้โดยอิงตามเอกสารที่ดึงมา
   • แนวทางการดูแลตามคำถามที่พบบ่อยซึ่งช่วยจัดการกับคำถามที่เฉพาะเจาะจงและ/หรือคำถามที่พบบ่อยมากขึ้นด้วยความมั่นใจที่สูงขึ้น

คุณสมบัติเพิ่มเติม ได้แก่ :

• GUI การสร้างคำถามที่พบบ่อย : ผู้ใช้สามารถใช้ GUI ที่ให้มาเป็นอินเทอร์เฟซเพื่อโต้ตอบกับที่จัดเก็บข้อมูล แทรกคำถามที่พบบ่อย สร้างดัชนีเครื่องมือค้นหาใหม่ และขยายฐานความรู้ของ Donkeybot

• การแฮชชื่อ : สคริปต์ที่ใช้แท็ก NER ของ Stanford เพื่อตรวจจับข้อมูลส่วนตัวผู้ใช้จากอีเมลสนับสนุนและแฮชข้อมูลเหล่านั้น ดังนั้น ปฏิบัติตามแนวทางความเป็นส่วนตัวของ CERN และเก็บข้อมูลทั้งหมดให้เป็นนิรนาม

เอกสารฉบับเต็ม

ดูตัวอย่าง รายละเอียดการปฏิบัติงาน และข้อมูลอื่นๆ ในเอกสารฉบับเต็ม

Google Summer of Code (GSoC)

ดูคำถามที่พบบ่อย: GSoC สำหรับลำดับเวลาโดยละเอียด ข้อมูลนักเรียน ปัญหาที่เผชิญ คำแนะนำในการปรับปรุงในอนาคต รายการเรื่องรออ่าน และอื่นๆ อีกมากมาย

สาธิต

คุณสามารถลองถาม Donkeybot ด้วยตัวเองได้!
การใช้ slackbot :

หรือคุณสามารถใช้ CLI:

$  python . s cripts a sk_donkeybot.py

สามารถดูตัวอย่างและข้อมูลเพิ่มเติมได้ในส่วนวิธีใช้งาน

สร้าง

ขั้นตอนที่ 1: PyTorch จำเป็นต้องมีการติดตั้ง Python 3.x 64 บิต

ขั้นตอนที่ 2: หากต้องการติดตั้ง PyTorch ให้ไปที่ https://pytorch.org/ และปฏิบัติตามคู่มือเริ่มต้นใช้งานฉบับย่อตามระบบปฏิบัติการของคุณ

 # versions used in development 
torch == 1.6 . 0  - - find - links https : // download . pytorch . org / whl / torch_stable . html
torchvision == 0.7 . 0  - - find - links https : // download . pytorch . org / whl / torch_stable . html

ขั้นตอนที่ 3: โคลนพื้นที่เก็บข้อมูลไปยังเครื่องพัฒนาของคุณ

$ git clone https://github.com/rucio/donkeybot.git
$ cd donkeybot

ขั้นตอนที่ 4: สำหรับข้อกำหนดเพิ่มเติมให้ดำเนินการ

$ pip install -r requirements.txt

ขั้นตอนที่ 5: สร้างและเติมพื้นที่จัดเก็บข้อมูลของ Donkeybot

$ python scripts/build_donkeybot -t < GITHUB_API_TOKEN >

• หากต้องการสร้างโทเค็น GitHub โปรดไปที่โทเค็นการเข้าถึงส่วนบุคคล และปฏิบัติตามการสร้างโทเค็นการเข้าถึงส่วนบุคคล

ดูหน้าเริ่มต้นใช้งานสำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการมีส่วนร่วม การเริ่มต้นโหมดนักพัฒนาซอฟต์แวร์ และการทดสอบ

ข้อบกพร่องและข้อเสนอแนะ

สำหรับข้อบกพร่อง คำถาม และการสนทนา โปรดใช้ปัญหา GitHub หรือติดต่อนักเรียน @mageirakos

ใบอนุญาต

ได้รับอนุญาตภายใต้ Apache License เวอร์ชัน 2.0;

http://www.apache.org/licenses/LICENSE-2.0