lora instruct

?‍?? LoRA-지시

이 저장소에는 LoRA(낮은 순위 적응)를 사용하여 허용형 오픈 소스 LLM을 미세 조정하기 위한 코드가 포함되어 있습니다.

코드는 Stanford Alpaca 데이터 세트를 사용하여 테스트되었습니다.

• 단일 RTX 3090 및 Stanford Alpaca를 사용하여 RedPajama-INCITE-Base-7B-v0.1을 미세 조정하는 데 예상되는 훈련 시간은 ~12시간입니다.
• RTX 3090, RTX Titan 및 Stanford Alpaca를 사용하여 RedPajama-INCITE-Base-7B-v0.1을 미세 조정하는 데 예상되는 훈련 시간은 ~6.5시간입니다.
• 현재 LoRA Instruct 미세 조정 RedPajama-INCITE-Base-7B-v0.1만 지원합니다.

알파카-LoRA에서 영감을 받음

훈련된 모델

모델	실행	훈련시간	링크
라마 3B	⬜
라마 7B	⬜
빨간색파자마 3B	✅	1:44:14
빨간색파자마 7B	✅	3:09:58
MPT 3B	⬜
MPT 7B	⬜
팔콘 7B	✅

교육 하드웨어 사양

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

로컬 설정

종속성 설치

poetry install

NVidia 2000 시리즈 GPU 또는 이전 버전을 사용하여 미세 조정하려면 finetune.py 에서 이 줄을 주석 처리하세요.

 model = prepare_model_for_int8_training ( model )

훈련( finetune.py )

이 파일에는 디코더 전용 모델에 대한 PEFT/LoRA의 간단한 적용과 프롬프트 구성 및 토큰화와 관련된 일부 코드가 포함되어 있습니다.

사용 예:

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

?를 사용한 분산 교육 가속하다

우리는 분산 훈련을 위해 HuggingFace의 accelerate 라이브러리를 사용합니다. 다음은 두 개의 GPU를 사용한 분산 학습의 예입니다.

• 참고: 다음 환경 변수를 설정하십시오.

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

참고자료

• LoRA: 대규모 언어 모델의 낮은 순위 적응
• 최첨단 PEFT(Parameter-Efficient Fine-Tuning) 방법
• Stanford Alpaca: 지시에 따르는 LLaMA 모델
• EMNLP 2022 튜토리얼: NLP 모델을 위한 모듈식 및 매개변수 효율적인 미세 조정