homemade gpt js 다운로드 - homemade gpt js 소스 코드 다운로드

다운로드

직접 만든 GPT • JS

직접 만든 GPT JS

Karpathy의 minGPT(Generative Pre-trained Transformer)를 최소한으로 TensorFlow.js로 다시 구현합니다.

이 "직접 만든" GPT 언어 모델(모두)의 전체 정의는 이 단일 model.ts 파일( 300 줄 미만의 코드)에서 찾을 수 있습니다.

model.ts는 TypeScript로 작성되었으므로 직접 만든 GPT 놀이터를 사용하여 GPU를 사용하여 브라우저에서 직접 훈련하고, 매개변수를 실험하고, 예측을 생성할 수 있습니다.

모델과 플레이그라운드는 학습 목적 , GPT 작동 방식 이해, 훈련에 WebGPU 사용을 위해 작성되었습니다.

model.ts 파일에서 무슨 일이 일어나고 있는지 이해하려면 Andrej Karpathy의 잘 설명된 실습 강의 "GPT를 처음부터 작성하자: 코드로 철자 설명"(아마도 GPT에 대한 가장 좋은 설명 중 하나)을 참조하세요.

./gpt/src/ 폴더 안에는 다음 파일이 있습니다.

model.ts - 이 파일에는 Attention Is All You Need 문서에 설명된 대로 디코더 GPT 모델의 전체(아직 최소한의) 정의가 포함되어 있으므로 관심 있는 주요 파일입니다.
model-easier.ts - 이전 파일과 동일한 GPT 모델이지만 이해하기 쉽도록 단순화되었습니다. 주요 차이점은 CausalSelfAttention 내부의 모든 Heads 병렬이 아닌 순차적 으로 처리한다는 것입니다. 결과적으로 모델은 약간 느리지만 읽기가 더 쉽습니다.
config.ts - 미리 구성된 GPT 모델 매개변수 세트(GPT-pico, GPT-nano, GPT-mini, GPT-2 등)가 포함되어 있습니다.
데이터 세트.ts - 여기에는 GPT와 관련된 것이 없습니다. 모든 txt 파일 기반 문자 수준 데이터 세트 위에 있는 도우미 래퍼입니다. 임의의 txt 파일을 로드하고, 각 문자를 토큰으로 처리하고, 문자를 훈련 및 테스트 배치로 분할하고, 문자를 인덱스로 인코딩/디코딩하거나 그 반대로 인코딩/디코딩합니다.
training.ts - 여기에도 GPT와 관련된 내용은 없습니다. 이 파일은 임의의 신경망에 적용할 수 있는 간단한 훈련 루프를 제공합니다.

일부 사전 훈련된 모델 가중치는 homemade-gpt-js-weights 저장소에 게시됩니다. 웹 놀이터("세대" 섹션) 또는 Node.js 놀이터( model.setWeights() )를 통해 적용할 수 있습니다.