picoGPT

피코GPT

동반 블로그 게시물: Numpy 60줄의 GPT

---

openai/gpt-2를 보았습니다.

karpathy/minGPT를 보았습니다.

karpathy/nanoGPT도 본 적이 있습니다!

그런데 picoGPT를 보셨나요??!?

picoGPT 는 일반 NumPy에서 GPT-2를 불필요하게 작고 최소한으로 구현한 것입니다. 전체 전달 비밀번호는 40줄의 코드입니다.

picoGPT 기능:

• 빠른? 아니, picoGPT는 megaSLOW입니다
• 훈련 코드? 오류, 4️⃣0️⃣4️⃣를 찾을 수 없습니다
• 일괄 추론? picoGPT는 문명화된 단일 파일 라인으로 한 번에 하나씩만 사용됩니다.
• top-p 샘플링? 탑케이? 온도? 범주형 샘플링?! 탐욕스러운? ✅
• 읽을 수 있나요? gpt2.py ✅ gpt2_pico.py
• 스몰??? ✅✅✅✅✅✅ 예!!! 실제로 TEENIE TINY ?

각 파일에 대한 간략한 분석:

• encoder.py 에는 gpt-2 저장소에서 직접 가져온 OpenAI의 BPE Tokenizer용 코드가 포함되어 있습니다.
• utils.py 에는 GPT-2 모델 가중치, 토크나이저, 하이퍼 매개변수를 다운로드하고 로드하는 코드가 포함되어 있습니다.
• gpt2.py 에는 Python 스크립트로 실행할 수 있는 실제 GPT 모델과 생성 코드가 포함되어 있습니다.
• gpt2_pico.py 는 gpt2.py 와 동일하지만 코드 줄이 훨씬 적습니다. 왜? 왜냐하면 왜 안돼 ??.

종속성

pip install -r requirements.txt

Python 3.9.10 에서 테스트되었습니다.

용법

python gpt2.py " Alan Turing theorized that computers would one day become "

어느 것이 생성됩니까?

 the most powerful machines on the planet.

The computer is a machine that can perform complex calculations, and it can perform these calculations in a way that is very similar to the human brain.

생성할 토큰 수, 모델 크기( ["124M", "355M", "774M", "1558M"] 중 하나) 및 모델을 저장할 디렉터리를 제어할 수도 있습니다.

python gpt2.py 
    " Alan Turing theorized that computers would one day become " 
    --n_tokens_to_generate 40 
    --model_size " 124M " 
    --models_dir " models "