SmallLanguageModel

SmallLanguage모델

이 저장소에는 처음부터 자신만의 LLM을 구축하는 데 필요한 모든 항목이 포함되어 있습니다. 지침을 따르십시오. Karpathy의 nanoGPT 및 셰익스피어 생성기에서 영감을 받아 나만의 LLM을 구축하기 위해 이 저장소를 만들었습니다. 모델에 대한 데이터 수집부터 아키텍처 파일, 토크나이저 및 학습 파일까지 모든 것을 갖추고 있습니다.

저장소 구조

이 저장소에는 다음이 포함되어 있습니다.

1. 데이터 수집기: 다운로드하는 대신 처음부터 데이터를 수집하려는 경우 디렉터리가 포함된 웹 스크래퍼입니다.
2. 데이터 처리: 쪽모이 세공 마루 파일을 .txt 및 .csv 파일로 변환하고 파일 추가 코드와 같이 특정 종류의 파일을 전처리하는 코드가 포함된 디렉터리입니다.
3. 모델: 자신만의 모델을 훈련하는 데 필요한 모든 코드가 포함되어 있습니다. 토크나이저 및 실행 파일과 함께 BERT 모델, GPT 모델 및 Seq-2-Seq 모델.

전제 조건

SmallLanguageModel을 설정하기 전에 다음 필수 구성 요소가 설치되어 있는지 확인하세요.

1. 파이썬 3.8 이상
2. pip(Python 패키지 설치 프로그램)

사용 방법:

자체 토크나이저를 교육하거나 교육된 모델에서 출력을 생성하려면 다음 단계를 따르세요.

1. 다음 저장소를 복제하세요.

   git clone https://github.com/shivendrra/SmallLanguageModel-project
   cd SLM-clone

2. 설치 종속성:

   pip install requirements.txt

3. 기차: 자세한 내용은 training.md를 읽어보세요. 그것을 따르십시오.

스타히스토리

기여

풀 요청을 환영합니다. 주요 변경사항의 경우 먼저 이슈를 열어 변경하고 싶은 사항에 대해 논의하세요. 테스트를 적절하게 업데이트하세요.

특허

MIT 라이센스. 자세한 내용은 License.md를 확인하세요.