DolboNet

เรียน ผู้ใช้ที่พูดภาษาอังกฤษ ขออภัย ขณะนี้โครงการนี้มีเพียงภาษารัสเซียเท่านั้น ขออภัยในความไม่สะดวก

โดลโบเน็ต

เรามีความยินดีที่จะนำเสนอการพัฒนาของเรา - แชทบอทภาษารัสเซียสำหรับ Discord ที่ใช้สถาปัตยกรรม Transformer

โครงข่ายประสาทเทียมได้รับการฝึกฝนเกี่ยวกับข้อความที่เปิดเผยต่อสาธารณะ มากกว่า 36 ล้าน ข้อความจากเซิร์ฟเวอร์ Discord ภาษารัสเซียที่ได้รับความนิยมมากที่สุดในช่วงยุคหนึ่ง (5 วันบน GTX 1080 ) การฝึกอบรมเป็นไปตามหลักการ: ข้อความใดที่น่าจะถูกส่งมากที่สุดหลังจาก 10 ก่อนหน้านี้ ที่ระดับ การฝังไตรแกรมอักขระ

บอทนี้ ไม่ได้ใช้ ฐานข้อมูลข้อความสำเร็จรูป แต่สร้างข้อความใหม่ที่ไม่ซ้ำใคร โดยใช้ แนวคิด seq2seq บนสถาปัตยกรรม Transformer พื้นฐานของเครือข่ายนำมาจากบทช่วยสอน TensorFlow 2 นี้

โมเดลนี้มีความเกี่ยวข้องในปี 2019 แต่ล้าสมัยไปอย่างรวดเร็ว คุณสามารถค้นหาสิ่งที่ดีกว่าและทันสมัยกว่านี้ได้โดยติดตามที่นี่

ไปกันเลย!

การติดตั้ง

วินโดว์ 10 64 บิต

ทดสอบบน CPU 2 x 2.6 GHz + RAM 4 GB

• ติดตั้ง Python 3.8 64 บิต
• เมื่อติดตั้ง Python 3.8 64 บิต Install launcher for all users (recommended) และต้องตรวจสอบ Add Python 3.8 to PATH
• ติดตั้ง Git
• ติดตั้ง Visual C++ Redistributable - จำเป็นสำหรับ scipy
• เปิด Git Bash โดยคลิกขวาบนพื้นที่ว่างภายในโฟลเดอร์ (เช่น My Documents ) แล้วเลือก Git Bash Here
• ดาวน์โหลดที่เก็บ: git clone https://github.com/sergree/DolboNet
• ไปที่โฟลเดอร์: cd DolboNet
• เรียกใช้ pip install -r requirements.txt ในหน้าต่างที่ปรากฏขึ้น
• รับโทเค็นบอทของคุณ - คำแนะนำ
• แก้ไขไฟล์การกำหนดค่า config.py โดยใส่โทเค็น bot ลงใน token = "..."
• เปิดใช้งาน Intent ของเนื้อหาข้อความ ในการตั้งค่าบัญชีบอทของคุณ
• สุดท้ายให้รันบอท: python bot.py
• บอทจะโหลดภายใน 5-10 นาที

บอทจะทำงานบน Windows และ Python 64 บิต เท่านั้น

อูบุนตู 20.04 LTS

ทดสอบบน CPU 2 x 2.6 GHz + RAM 2 GB

• ดาวน์โหลดที่เก็บ: git clone https://github.com/sergree/DolboNet
• ไปที่โฟลเดอร์: cd DolboNet
• หากยังไม่ได้ติดตั้ง pip3 ให้ติดตั้ง: sudo apt install python3-pip
• ติดตั้งการอ้างอิง: pip3 install -r requirements.txt
• รับโทเค็นบอทของคุณ - คำแนะนำ
• แก้ไขไฟล์การกำหนดค่า: nano config.py โดยใส่โทเค็น bot ลงใน token = "..."
• เปิดใช้งาน Intent ของเนื้อหาข้อความ ในการตั้งค่าบัญชีบอทของคุณ
• สุดท้ายให้รันบอท: python3 bot.py
• บอทจะโหลดภายใน 5-10 นาที

รองรับจีพียู

หากเครื่องมีการ์ดแสดงผล NVIDIA คุณสามารถเรียกใช้บอทโดยใช้ CUDA ซึ่งจะเพิ่มความเร็ว

• ถอนการติดตั้ง tensorflow หากคุณได้ติดตั้งการอ้างอิงแล้ว: pip uninstall tensorflow
• ติดตั้ง CUDA® Toolkit และ cuDNN SDK - คำแนะนำ
• ติดตั้ง pip install tensorflow-gpu>=2.3.1 หรือ pip install -r requirements_gpu.txt

เราไม่แนะนำให้ตั้งค่า การรองรับ GPU หากคุณทำเช่นนี้เป็นครั้งแรกและคุณไม่ต้องการใช้เวลาทั้งเย็นในกระบวนการติดตั้ง

การตั้งค่าเพิ่มเติม

ในไฟล์ config.py คุณสามารถแก้ไขพารามิเตอร์บางตัวเพื่อเปลี่ยนลักษณะและพฤติกรรมของบอทได้:

• temperature - อุณหภูมิการสุ่มตัวอย่าง - ควบคุมลักษณะและความหลากหลายของข้อความที่สร้างขึ้น

ความหมาย	คำอธิบาย
0.01	ฉันรู้จักแต่คำว่า สวัสดี
0.3	ทำซ้ำนกแก้ว
0.65	ค่าเริ่มต้น
1.3	กวีขี้เมา
3	เผลอหลับไปบนคีย์บอร์ด

เพื่อความสะดวกในการทดลอง มีคำสั่ง !temp значение ที่สามารถส่งไปที่ Discord เพื่อแก้ไขค่านี้ ได้ทันที คำสั่งนี้ใช้ได้กับผู้ใช้ที่มีสิทธิ์ ของผู้ดูแลระบบ เท่านั้น

• mention_prob - ความน่าจะเป็นที่บอทจะตอบสนองต่อข้อความที่มีการกล่าวถึง สามารถรับค่าได้ตั้งแต่ 0 ถึง 1 ค่าเริ่มต้น: 1 เช่น 100%
• no_mention_prob - ความน่าจะเป็นที่บอทจะตอบสนองต่อข้อความที่ไม่ได้กล่าวถึง สามารถรับค่าได้ตั้งแต่ 0 ถึง 1 ค่าเริ่มต้น: 0.2 เช่น 20%
• command_temperature_change - คำสั่งให้เปลี่ยนอุณหภูมิหากคุณไม่ชอบ !temp значение ?
• use_delay - การจำลองความเร็วในการพิมพ์ของมนุษย์บนแป้นพิมพ์ False ตามค่าเริ่มต้น เพราะ บน CPU กระบวนการสร้างไม่เร็วพอ
• discord_game_name - สถานะบอทใน Discord

เป็นการดีกว่าที่จะไม่แก้ไขพารามิเตอร์ที่เหลือ

กาแฟ

☕สนใจพัฒนาโครงการสามารถซื้อกาแฟให้ฉันได้นะค่ะ

ขอบคุณ!

คำถามที่พบบ่อย

ฉันมีเซิร์ฟเวอร์ของคนงี่เง่าแบบนี้อยู่ครึ่งเซิร์ฟเวอร์ แล้วทำไมฉันต้องมีอีกเซิร์ฟเวอร์ด้วย?

• เขาสามารถช่วยกลั่นกรองได้:

• บางครั้งมันก็ดีมากด้วยซ้ำ:

• ชอบอนิเมะ:

• แบ่งปันข่าวล่าสุด:

• และเขาจะไม่ยอมให้คุณเบื่อ:

• และแน่นอนว่ามันมีรสชาติที่ยอดเยี่ยม:

แต่เอาจริงๆ มีเหตุผลเดียวเท่านั้น

คุณโฮสต์บอทนี้หรือไม่? ฉันสามารถใช้เวอร์ชันสาธารณะได้หรือไม่ ให้ฉันลิงค์!

ลิงค์. บอทไม่พร้อมใช้งานเสมอไปและบางครั้งก็ตอบสนองช้า เราไม่ได้โฮสต์บอทเวอร์ชันสาธารณะ เพื่อให้ปรากฏบนเซิร์ฟเวอร์ Discord ของคุณ จะต้องติดตั้งก่อน

เซิร์ฟเวอร์ใดที่มีบอทนี้อยู่แล้ว?

เรารู้ว่าบอทโฮสต์อยู่ที่นี่แล้ว:

• - สาธารณรัฐเปเปสตันและพลเมืองของตน
• ฟันคลับ
• เลเวียฟัน
• - โมเลกุลดรีมเวิลด์ ☘

เขียนถึงเราเพื่อให้อยู่ในรายการนี้

โดยพื้นฐานแล้วเขากำลังส่งเรื่องไร้สาระที่ไม่ต่อเนื่องกันออกไป -

ใช่มีเรื่องเช่นนี้ แต่บางครั้งมันก็กลายเป็นเรื่องตลก

นี่เป็นเรื่องไร้สาระที่ไร้ประโยชน์คุณเข้าใจไหม?

แน่นอน. เช่นเดียวกับสิ่งอื่น ๆ อีกมากมายในโลกสมัยใหม่ของเรา

บอทส่งคำดูถูกหรือคุกคามมาให้ฉัน! ประทุษร้าย! -

โครงข่ายประสาทเทียมของบอทสะท้อนเฉพาะข้อมูลสาธารณะที่มีการฝึกอบรมเกิดขึ้นเท่านั้น บางทีนี่อาจเป็นการปลุกให้ตื่นเกี่ยวกับสิ่งที่เกิดขึ้นในสังคมของเรา เราไม่ต้องการที่จะอยู่แล้ว

แล้วภาษาอังกฤษล่ะ?

ในขั้นตอนนี้ เราตัดสินใจว่าจะไม่สิ้นเปลืองความจุของเครือข่ายไปกับไตรแกรมภาษาละติน ภาษาละตินจะถูกทับศัพท์เป็นภาษาซีริลลิกโดยอัตโนมัติโดยใช้ opendatakosovo/cyrillic-transliteration เราได้ทดสอบไลบรารีที่คล้ายกันหลายแห่งแล้ว ไลบรารีนี้เร็วที่สุด

ทำไมต้องไตรแกรม?

เพราะเขายิ่งใหญ่และทรงพลัง แน่นอนว่าแนวคิดนี้ไม่ใช่ของเรา แต่นำมาจากหนังสือเล่มนี้

บางทีมันอาจจะดีกว่าถ้าใช้การสกัดกั้น?

ไม่ใช่ในกรณีนี้ เนื่องจากคนในแชทพูดผิดและบางครั้งก็มีขี้เถ้า บางครั้งมีคำแปลสั้นๆ เช่น ile fse vmesti -

การจัดเรียงวิกิพีเดียหรือฟีดข่าวเป็นอีกเรื่องหนึ่ง

เขาส่งอิโมจิด้วยได้ไหม?

ใช่. สุ่มเลยตอนนี้ อีโมจิแบบกำหนดเองทั้งหมดได้รับการกำหนดโทเค็นเดียวในพจนานุกรม ในอนาคต มีแผนที่จะเชื่อมโยง CNN กับตัวแยกประเภท

คุณเพิ่งคัดลอกคำแนะนำสำหรับ TensorFlow 2 คุณทำอะไรด้วยตัวเอง?

• อัลกอริทึมสำหรับโทเค็นข้อความภาษารัสเซียและแยกวิเคราะห์เอนทิตี Discord : การกล่าวถึงผู้ใช้ / บทบาท / ช่อง ลิงก์ อีโมจิ ฯลฯ
• เราขุดผ่านการใช้งาน Transformer ที่มีอยู่มากมาย
• เราพบการใช้งานที่เหมาะสมและเชื่อมโยงกับโทเค็นไนเซอร์และ Discord API ของเรา
• แยกวิเคราะห์ข้อความสาธารณะ มากกว่า 36 ล้าน ข้อความจากชุมชน Discord ที่พูดภาษารัสเซีย และฝึกฝนหม้อแปลงไฟฟ้า
• ข้อความนี้ ถูกพิมพ์

แล้ว LSTM ล่ะ?

เราจะทิ้งมันไว้ที่นี่

อะไรต่อไป?

• แยกวิเคราะห์มากขึ้นฝึกฝนให้นานขึ้น
• CNN สำหรับการจำแนกอีโมจิที่ไม่ได้รับการดูแล
• ลองใช้ Universal Transformer
• และ ทรานสฟอร์เมอร์ XL
• หากกาแฟไม่หมด

-