Andromeda

Andromeda: Model Bahasa SOTA yang Sangat Cepat dan Sangat Cerdas?

Selamat datang di Andromeda, Model Bahasa Tercepat, Paling Kreatif, dan Andal yang Pernah Dibuat, latih versi Anda sendiri, lakukan inferensi, dan sempurnakan versi Anda sendiri dengan skrip plug-in dan play sederhana, mulai dalam 10 detik:

Fitur

• Menangani Urutan Sangat Panjang (panjang konteks 32.000-200.000+)
• ⚡ Pemrosesan Sangat Cepat (32.000+ token dalam waktu kurang dari 100 md)
• ? Kemampuan Penalaran Unggul

Prinsip

• Efisiensi : Optimalkan dengan teknik seperti kedipan perhatian, pengkodean posisi putar, dan normalisasi mendalam.
• Fleksibilitas : Beradaptasi dengan berbagai tugas dan domain untuk aplikasi luas.
• Skalabilitas : Dirancang untuk disesuaikan dengan sumber daya dan ukuran data.
• Berbasis Komunitas : Berkembang berkat kontribusi dari komunitas sumber terbuka.

---

Memasang

python3.11 -m pip install --upgrade andromeda-torch

Penggunaan

• Lulus ke depan dengan input acak

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• Input yang diberi token

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

Pelatihan

1. Tetapkan variabel lingkungan:

   • ENTITY_NAME : Nama proyek tongkat sihir Anda
   • OUTPUT_DIR : Direktori untuk menyimpan bobot (misal, ./weights )
   • MASTER_ADDR : Untuk pelatihan terdistribusi
   • MASTER_PORT Untuk pelatihan terdistribusi port master
   • RANK - Jumlah layanan node
   • WORLD_SIZE Jumlah GPU

2. Konfigurasikan pelatihan:

   • Mempercepat Konfigurasi
   • Aktifkan Kecepatan Dalam 3
   • Percepat peluncuran train_distributed_accelerate.py

Untuk informasi lebih lanjut, lihat SOP Pelatihan.

---

Semua yang harus dilakukan

• Tambahkan Benang Embeddings dari zeta

? Tolok ukur

Kecepatan

• Andromeda menggunakan salah satu Attention paling andal yang pernah ada, flash awareness 2.0 Triton. Ini mengonsumsi memori 50x lebih sedikit dibandingkan GPT-3 dan 10x lebih sedikit dibandingkan LLAMA.

• Kita dapat mempercepatnya lebih jauh lagi dengan Dynamic Spase Flash Attention 2.0.

Lisensi

Lisensi Apache