microGPT

microGPT: สร้าง GPT ตั้งแต่เริ่มต้น

microGPT เป็นการนำโมเดล Generative Pre-trained Transformer (GPT) ไปใช้เพียงเล็กน้อย สำหรับงานการประมวลผลภาษาธรรมชาติ ได้รับการออกแบบมาให้เรียบง่ายและใช้งานง่าย ทำให้เป็นตัวเลือกที่ยอดเยี่ยมสำหรับการใช้งานขนาดเล็กหรือสำหรับการเรียนรู้และการทดลองกับแบบจำลองเชิงกำเนิด

คุณสมบัติ

• การใช้งานโมเดล GPT เพียงเล็กน้อย
• ฝึกฝนบนชุดข้อมูลที่หลากหลายขนาดเล็ก (6 GB)
• ออกแบบมาเพื่อฝึกใช้งาน GPU ทั่วไป (RTX 4060 8GB)
• พารามิเตอร์จำนวนน้อย (82 ล้าน!)
• ไฮเปอร์พารามิเตอร์ที่ปรับแต่งได้สำหรับการกำหนดค่าโมเดล
• รองรับการกรอง Top K Top P และการปรับอุณหภูมิ
• เขียนด้วย Python โดยมี PyTorch เป็นเฟรมเวิร์กการเรียนรู้เชิงลึก

การฝึกอบรมซ้ำ 300,000 ครั้ง

การติดตั้ง

1. โคลน repo และรัน pip install -r requirements.txt

การใช้งาน

1. เรียกใช้ tokenizer/train_tokenizer.py เพื่อสร้างไฟล์โทเค็น โมเดลจะสร้างข้อความโทเค็นตามนั้น
2. เรียกใช้ datasets/prepare_dataset.py เพื่อสร้างไฟล์ชุดข้อมูล
3. เรียกใช้ train.py เพื่อเริ่มการฝึกอบรม~

แก้ไขไฟล์ที่ระบุไว้ข้างต้นหากคุณต้องการเปลี่ยนพารามิเตอร์

การใช้งาน (อนุมาน)

หากต้องการแก้ไขพารามิเตอร์การสร้างโมเดล ให้ไปที่ inference.py ไปที่ส่วนนี้:

 # Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'

# Edit input here
context = "The magical wonderland of"

สนใจปรับใช้เป็นเว็บแอปหรือไม่? ลองดู microGPT-deploy !

ข้อดีของไมโคร GPT:

1. ประสิทธิภาพตั้งแต่เริ่มต้น: พัฒนาตั้งแต่ต้นจนจบ microGPT แสดงถึงแนวทางที่มีประสิทธิภาพสำหรับโมเดล GPT ที่ได้รับการยกย่อง มันแสดงให้เห็นถึงประสิทธิภาพที่โดดเด่นในขณะที่ยังคงรักษาคุณภาพไว้เล็กน้อย

2. สนามเด็กเล่นแห่งการเรียนรู้: ออกแบบมาสำหรับบุคคลที่กระตือรือร้นที่จะเจาะลึกเข้าไปในโลกของ AI สถาปัตยกรรมของ microGPT มอบโอกาสพิเศษในการทำความเข้าใจการทำงานภายในของแบบจำลองเชิงกำเนิด มันเป็นแท่นปล่อยจรวดสำหรับฝึกฝนทักษะและเพิ่มความเข้าใจให้ลึกซึ้งยิ่งขึ้น

3. โรงไฟฟ้าขนาดเล็ก: นอกเหนือจากการเรียนรู้และการทดลองแล้ว microGPT ยังเป็นตัวเลือกที่เหมาะสมสำหรับแอปพลิเคชันขนาดเล็ก ช่วยให้คุณสามารถบูรณาการการสร้างภาษาที่ขับเคลื่อนด้วย AI เข้ากับโปรเจ็กต์ที่ประสิทธิภาพและประสิทธิภาพเป็นสิ่งสำคัญยิ่ง

การเสริมพลังผ่านการปรับตัว:

1. ความสามารถในการปรับแต่ง: ความสามารถในการปรับตัวของ microGPT ช่วยให้คุณสามารถแก้ไขและปรับแต่งโมเดลให้เหมาะกับเป้าหมายเฉพาะของคุณ โดยนำเสนอผืนผ้าใบสำหรับการสร้างโซลูชัน AI ที่ปรับให้เหมาะกับความต้องการของคุณ

2. เส้นทางแห่งการเรียนรู้: ใช้ microGPT เป็นก้าวสำคัญในการทำความเข้าใจรากฐานของแบบจำลองเชิงกำเนิด การออกแบบและเอกสารที่สามารถเข้าถึงได้ทำให้เกิดสภาพแวดล้อมในอุดมคติสำหรับผู้ที่เพิ่งเริ่มใช้ AI

3. Experimentation Lab: เข้าร่วมการทดลองโดยปรับแต่งและทดสอบพารามิเตอร์ของ microGPT ความเรียบง่ายและความสามารถรอบด้านของโมเดลนี้ทำให้เกิดรากฐานอันอุดมสมบูรณ์สำหรับนวัตกรรม

ผลงาน

หากคุณต้องการมีส่วนร่วม โปรดปฏิบัติตามหลักเกณฑ์เหล่านี้:

• แยกพื้นที่เก็บข้อมูลและสร้างสาขาใหม่สำหรับการสนับสนุนของคุณ
• ตรวจสอบให้แน่ใจว่าการเปลี่ยนแปลงของคุณสอดคล้องกับเป้าหมายและวัตถุประสงค์ของที่เก็บ
• รักษาความมุ่งมั่นของคุณให้ชัดเจนและสื่อความหมายตามรูปแบบข้อตกลงทั่วไป
• เขียนโค้ดที่ชัดเจนและกระชับพร้อมความคิดเห็นและเอกสารประกอบที่เหมาะสม
• ทดสอบการเปลี่ยนแปลงของคุณอย่างละเอียดเพื่อให้แน่ใจว่าจะไม่ทำให้เกิดจุดบกพร่องใหม่ๆ
• ส่งคำขอดึงข้อมูล (PR) พร้อมคำอธิบายโดยละเอียดเกี่ยวกับการเปลี่ยนแปลงของคุณ พร้อมด้วยข้อมูลหรือภาพหน้าจอที่เกี่ยวข้อง

การมีส่วนร่วมในพื้นที่เก็บข้อมูลนี้แสดงว่าคุณตกลงที่จะปฏิบัติตามหลักจรรยาบรรณของเรา และการมีส่วนร่วมของคุณจะถูกเผยแพร่ภายใต้ใบอนุญาตเดียวกันกับพื้นที่เก็บข้อมูล

ทรัพยากร

• ความสนใจคือสิ่งที่คุณต้องการ
• มาสร้าง GPT ตั้งแต่เริ่มต้นกันดีกว่า
• ความท้าทาย MiniPile สำหรับโมเดลภาษาที่มีประสิทธิภาพข้อมูล
• การใช้งาน Huggingface GPT 2

เครดิต

โมเดลนี้ได้รับแรงบันดาลใจจาก Andrej Karpathy มาสร้าง GPT จากวิดีโอเริ่มต้นและ Andrej Kaparthy nanoGPT พร้อมการแก้ไขสำหรับโปรเจ็กต์นี้กันดีกว่า