lad gpt

ฝึกฝนโมเดลภาษาบนแชท WhatsApp ของคุณ

ภาพรวม

พื้นที่เก็บข้อมูลนี้อำนวยความสะดวกในการฝึกอบรมโมเดลภาษาระดับอักขระหรือระดับคำตามข้อความแชท WhatsApp เท่านั้น หลังจากการฝึกโมเดลแล้ว คุณสามารถเริ่มต้นการสนทนาสังเคราะห์กับกลุ่มแชท Whatsapp ที่ได้รับการฝึกอบรมได้

• ข้อความแชท: ฉันได้ฝึกโมเดลแชท Whatsapp แบบส่วนตัวจากกลุ่มที่มีอักขระ >8 Mio assets/input/chat.txt เป็นเพียงตัวยึดตำแหน่งที่จะถูกแทนที่ด้วยคลังข้อความแชทจริง
• โมเดลภาษา: โมเดลดังกล่าวเป็นไปตามสถาปัตยกรรมที่แนะนำใน "Attention Is All You Need" (2017) โดย Vaswani et. อัล .. นอกจากนี้การนำโมเดล pytorch ไปใช้ยังได้รับแรงบันดาลใจอย่างมากจากวิดีโอสอนโดย Andrew Kaparty
• ผลลัพธ์: แม้ว่าประสิทธิภาพโดยรวมของแบบจำลองที่ฝึกแบบส่วนตัวของฉันจะเทียบไม่ได้กับแบบจำลองภาษาโสตะอย่างชัดเจน แต่ข้อความที่สร้างขึ้นจะแสดงรูปแบบทางภาษาและคำศัพท์ที่จดจำได้อย่างชัดเจน

โครงสร้างโฟลเดอร์

 |-- assets
|   |-- input
|   |   |-- chat.txt
|   |-- output
|   |   |-- contacts.txt
|   |   |-- vocab.txt
|   |   |-- train.pt
|   |   |-- valid.pt
|   |-- models
|   |   |--model.pt
|-- src
|   |-- chat.py
|   |-- model.py
|   |-- preprocess.py
|   |-- train.py
|   |-- utils.py
|-- config.py
|-- run.py

คำอธิบายสินทรัพย์:

• assets/input/chat.txt: ไฟล์อินพุตจะต้องเป็นการแชท WhatsApp ที่ส่งออก (ไม่มีสื่อ)
• assets/output/: ข้อมูลการฝึกอบรม/การตรวจสอบที่เข้ารหัสและแบบจำลองที่ได้รับการฝึกอบรมจะถูกเขียนลงในตำแหน่งนี้
• assets/models/model.pt: วัตถุโมเดล pytorch ที่ได้รับการฝึกอบรม

คำอธิบายโมดูล:

• src/preprocess.py: แปลงข้อความแชทเป็นเทนเซอร์ PyTorch ที่เข้ารหัส ข้อมูลจะถูกแบ่งออกเป็นชุดการฝึกอบรมและการตรวจสอบความถูกต้อง
• src/model.py: กำหนดคลาสโมเดลภาษา
• src/train.py: มีโค้ดสำหรับฝึกโมเดลภาษา
• src/chat.py: มีฟังก์ชันสำหรับการโต้ตอบการสนทนากับโมเดล
• src/utils.py: ฟังก์ชั่นยูทิลิตี้ที่มีประโยชน์อื่น ๆ
• run.py: สคริปต์หลักที่มีตัวแยกวิเคราะห์อาร์กิวเมนต์เพื่อเรียกการกระทำอย่างใดอย่างหนึ่งจากสามการกระทำ ("ประมวลผลล่วงหน้า", "ฝึก", "แชท")
• config.py: พารามิเตอร์สำหรับการประมวลผลล่วงหน้าและการฝึกโมเดลจะถูกบันทึก

วิธีการเริ่มต้น

การติดตั้ง:

 git clone https://github.com/bernhard-pfann/lad-gpt.git
cd lad-gpt
pip install -r requirements.txt

หากต้องการใช้โปรเจ็กต์นี้อย่างเต็มที่ คุณจะต้องมีไฟล์ .txt ที่มีข้อความจากการแชท WhatsApp ต่อไปนี้เป็นขั้นตอนในการส่งออกแชทกลุ่ม WhatsApp ของคุณเป็นไฟล์ .txt:

สำหรับผู้ใช้ Android:

1. เปิด WhatsApp และนำทางไปยังแชทกลุ่ม: เปิดแอปพลิเคชัน WhatsApp บนอุปกรณ์ Android ของคุณ และไปที่แชทกลุ่มที่คุณต้องการส่งออก
2. แตะที่จุดสามจุด: โดยปกติจะอยู่ที่มุมขวาบนของหน้าต่างแชท
3. เพิ่มเติม -> ส่งออกแชท: เลือก 'เพิ่มเติม' จากเมนูแบบเลื่อนลง จากนั้นเลือก 'ส่งออกแชท'
4. เลือกไม่มีสื่อ: คุณจะได้รับตัวเลือกให้รวมหรือไม่รวมสื่อ เลือก 'ไม่มีสื่อ' เพื่อส่งออกเฉพาะข้อความ
5. เลือกวิธีการส่งออก: คุณจะได้รับแจ้งให้เลือกวิธีที่คุณต้องการส่งออกแชท คุณสามารถส่งไปที่อีเมลของคุณ จากนั้นดาวน์โหลดเป็นไฟล์ .txt

สำหรับผู้ใช้ไอโฟน:

1. เปิด WhatsApp และนำทางไปยังแชทกลุ่ม: เปิดแอปพลิเคชั่น WhatsApp บน iPhone ของคุณแล้วไปที่แชทกลุ่มที่คุณต้องการส่งออก
2. แตะที่ชื่อกลุ่ม: ซึ่งอยู่ที่ด้านบนของหน้าต่างแชทเพื่อไปที่ 'ข้อมูลกลุ่ม'
3. เลื่อนลงและส่งออกแชท: เลื่อนลงแล้วคุณจะเห็นตัวเลือก "ส่งออกแชท" แตะที่มัน
4. เลือกไม่มีสื่อ: ป๊อปอัปจะปรากฏขึ้นเพื่อถามว่าคุณต้องการรวมไฟล์สื่อหรือไม่ เลือก 'ไม่มีสื่อ'
5. เลือกวิธีการส่งออก: เลือกตัวเลือกเพื่อส่งออกแชท เช่น ผ่านเมล จากนั้นคุณสามารถดาวน์โหลดไฟล์ข้อความจากอีเมลของคุณได้

เมื่อคุณมีไฟล์ .txt แล้ว ให้วางไว้ในไดเร็กทอรี assets/input ที่เรียกว่า chat.txt ถ้าอย่างนั้นคุณก็พร้อมที่จะไป!

คำแนะนำเทอร์มินัล

เมื่อป้อนข้อมูลแล้ว การแชทจะต้องถูกเข้ารหัสเป็นเทนเซอร์ตัวเลข ข้อมูลที่เข้ารหัสยังแบ่งออกเป็นชุดการฝึกอบรมและการตรวจสอบ:

 python run.py preprocess

เพื่อฝึกโมเดลภาษาตั้งแต่เริ่มต้นและอิงตามข้อมูลแชทที่เข้ารหัสเท่านั้น Set --update ในกรณีที่คุณต้องการฝึกฝนโมเดลที่มีอยู่แล้วต่อไป

 python run.py train --update

ในการเริ่มต้นการสนทนากับโมเดลที่ได้รับการฝึก:

 python run.py chat