Andromeda

Andromeda: โมเดลภาษา SOTA ที่เร็วและชาญฉลาดเป็นพิเศษ ?

ยินดีต้อนรับสู่ Andromeda โมเดลภาษาที่เร็วที่สุด สร้างสรรค์ที่สุด และเชื่อถือได้เท่าที่เคยมีมา ฝึกฝนรูปแบบของคุณเอง ดำเนินการอนุมาน และปรับแต่งรูปแบบของคุณเองด้วยสคริปต์ Plug-in และ Play ที่เรียบง่าย เริ่มต้นได้ใน 10 วินาที:

คุณสมบัติ

• จัดการลำดับที่ยาวเป็นพิเศษ (ความยาวบริบท 32,000-200,000+ รายการ)
• ⚡ การประมวลผลที่รวดเร็วเป็นพิเศษ (โทเค็น 32,000+ รายการในเวลาต่ำกว่า 100 มิลลิวินาที)
• - ความสามารถในการใช้เหตุผลที่เหนือกว่า

หลักการ

• ประสิทธิภาพ : ปรับให้เหมาะสมด้วยเทคนิคต่างๆ เช่น การกระพริบตา การเข้ารหัสตำแหน่งแบบหมุน และการทำให้เป็นมาตรฐานเชิงลึก
• ความยืดหยุ่น : ปรับให้เข้ากับงานและขอบเขตที่หลากหลายสำหรับการใช้งานที่หลากหลาย
• ความสามารถในการปรับขนาด : ออกแบบมาเพื่อปรับขนาดตามทรัพยากรและขนาดข้อมูล
• ขับเคลื่อนโดยชุมชน : เจริญเติบโตด้วยการมีส่วนร่วมจากชุมชนโอเพ่นซอร์ส

---

ติดตั้ง

python3.11 -m pip install --upgrade andromeda-torch

การใช้งาน

• ส่งต่อด้วยอินพุตแบบสุ่ม

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• อินพุตโทเค็น

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

การฝึกอบรม

1. ตั้งค่าตัวแปรสภาพแวดล้อม:

   • ENTITY_NAME : ชื่อโครงการไม้กายสิทธิ์ของคุณ
   • OUTPUT_DIR : ไดเรกทอรีสำหรับบันทึกน้ำหนัก (เช่น ./weights weights )
   • MASTER_ADDR : สำหรับการฝึกอบรมแบบกระจาย
   • MASTER_PORT สำหรับการฝึกอบรมแบบกระจายพอร์ตหลัก
   • RANK - จำนวนบริการโหนด
   • WORLD_SIZE จำนวน GPU

2. กำหนดค่าการฝึกอบรม:

   • เร่งการกำหนดค่า
   • เปิดใช้งาน Deepspeed 3
   • เร่งความเร็วการเปิดตัว train_distributed_accelerate.py

สำหรับข้อมูลเพิ่มเติม โปรดดู SOP การฝึกอบรม

---

สิ่งที่ต้องทำ

• เพิ่มการฝังเส้นด้ายจากซีต้า

- เกณฑ์มาตรฐาน

ความเร็ว

• Andromeda ใช้ระบบ Attentions ที่น่าเชื่อถือที่สุดเท่าที่เคยมีมา โดยระบบ Flash Attention 2.0 Triton ใช้หน่วยความจำน้อยกว่า GPT-3 ถึง 50 เท่า และน้อยกว่า LLAMA ถึง 10 เท่า

• เราสามารถเร่งสิ่งนี้ให้เร็วขึ้นได้อีกด้วย Dynamic Sparse Flash Attention 2.0

ใบอนุญาต

ใบอนุญาต Apache