microGPT
1.0.0
microGPT는 자연어 처리 작업을 위한 GPT(Generative Pre-trained Transformer) 모델의 경량 구현입니다. 간단하고 사용하기 쉽도록 설계되어 소규모 애플리케이션이나 생성 모델 학습 및 실험에 적합한 옵션입니다.
300,000번의 훈련 반복
pip install -r requirements.txt 실행하세요. tokenizer/train_tokenizer.py 실행하여 토크나이저 파일을 생성합니다. 모델은 이를 기반으로 텍스트를 토큰화합니다.datasets/prepare_dataset.py 실행하여 데이터세트 파일을 생성합니다.train.py 실행하여 훈련을 시작하세요~해당 매개변수를 변경하려면 위에 언급된 파일을 수정하십시오.
모델 생성 매개변수를 편집하려면 inference.py 에서 이 섹션으로 이동하세요.
# Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'
# Edit input here
context = "The magical wonderland of"웹 앱으로 배포하는 데 관심이 있으십니까? microGPT 배포를 확인하세요!
처음부터 효율성 향상: 처음부터 끝까지 개발된 microGPT는 높이 평가되는 GPT 모델에 대한 간소화된 접근 방식을 나타냅니다. 품질면에서 약간의 균형을 유지하면서 놀라운 효율성을 보여줍니다.
학습 놀이터: AI의 세계를 탐구하고자 하는 개인을 위해 설계된 microGPT의 아키텍처는 생성 모델의 내부 작동을 파악할 수 있는 독특한 기회를 제공합니다. 기술을 연마하고 이해를 심화하기 위한 발판입니다.
소규모 강국: 학습과 실험을 넘어 microGPT는 소규모 애플리케이션에 적합한 옵션입니다. 이를 통해 AI 기반 언어 생성을 효율성과 성능이 가장 중요한 프로젝트에 통합할 수 있습니다.
사용자 정의 기능: microGPT의 적응성은 특정 목표에 맞게 모델을 수정하고 미세 조정할 수 있도록 지원하여 요구 사항에 맞는 AI 솔루션을 만들기 위한 캔버스를 제공합니다.
학습 여정: microGPT를 디딤돌로 사용하여 생성 모델의 기초를 이해합니다. 접근 가능한 디자인과 문서는 AI를 처음 접하는 사람들에게 이상적인 환경을 제공합니다.
실험 연구소: microGPT의 매개변수를 조정하고 테스트하여 실험에 참여합니다. 모델의 단순성과 다양성은 혁신을 위한 비옥한 기반을 제공합니다.
기여하고 싶다면 다음 지침을 따르십시오.
이 저장소에 기여함으로써 귀하는 당사의 행동 강령을 준수하고 귀하의 기여가 저장소와 동일한 라이선스에 따라 공개된다는 데 동의하게 됩니다.
이 모델은 Andrej Karpathy에서 영감을 얻었습니다. 스크래치 비디오에서 GPT를 구축하고 이 프로젝트를 수정하여 Andrej Kaparthy nanoGPT를 만들어 보겠습니다.
