Andromeda

안드로메다: 초고속 및 초지능 SOTA 언어 모델 ?

지금까지 구축된 가장 빠르고, 가장 창의적이며, 신뢰할 수 있는 언어 모델인 Andromeda에 오신 것을 환영합니다. 자신만의 버전을 훈련하고, 추론을 수행하고, 간단한 플러그 인 앤 플레이 스크립트를 사용하여 자신만의 버전을 미세 조정하세요. 10초 안에 시작하세요.

특징

• 매우 긴 시퀀스 처리(컨텍스트 길이 32,000~200,000개 이상)
• ⚡ 초고속 처리(100ms 이내에 32,000개 이상의 토큰)
• ? 뛰어난 추론 능력

원칙

• 효율성 : 주의 깜박임, 회전 위치 인코딩 및 심층 정규화와 같은 기술을 사용하여 최적화합니다.
• 유연성 : 광범위한 애플리케이션을 위해 다양한 작업과 도메인에 적응합니다.
• 확장성 : 리소스 및 데이터 크기에 따라 확장되도록 설계되었습니다.
• 커뮤니티 중심 : 오픈 소스 커뮤니티의 기여로 번성합니다.

---

설치하다

python3.11 -m pip install --upgrade andromeda-torch

용법

• 무작위 입력을 사용한 정방향 패스

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• 토큰화된 입력

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

훈련

1. 환경 변수를 설정합니다.

   • ENTITY_NAME : wandb 프로젝트 이름
   • OUTPUT_DIR : 가중치를 저장할 디렉터리(예: ./weights )
   • MASTER_ADDR : 분산 훈련용
   • MASTER_PORT 마스터 포트 분산 훈련용
   • RANK - 노드 서비스 수
   • WORLD_SIZE GPU 수

2. 교육을 구성합니다.

   • 구성 가속화
   • Deepspeed 3 활성화
   • 출시 가속화 train_distributed_accelerate.py

자세한 내용은 교육 SOP를 참조하세요.

---

토도

• zeta에서 Yarn Embedding 추가

? 벤치마크

속도

• Andromeda는 가장 신뢰할 수 있는 Attention 중 하나인 Flash Attention 2.0 Triton을 활용합니다. GPT-3보다 50배, LLAMA보다 10배 적은 메모리를 소비합니다.

• Dynamic Sparse Flash Attention 2.0을 사용하면 이 속도를 더욱 높일 수 있습니다.

특허

아파치 라이선스