Simplifine
1.0.0
여기서 시도해 보세요
우리의 디스코드에 참여하세요
Simplifine은 하나의 간단한 명령으로 모든 데이터 세트 또는 모델에 대한 LLM 미세 조정을 간소화하고 모든 인프라, 작업 관리, 클라우드 스토리지 및 추론을 처리합니다.
간편한 클라우드 기반 LLM 미세 조정: 단 하나의 명령으로 모든 LLM을 미세 조정합니다.
원활한 클라우드 통합: 클라우드에서 직접 모델 다운로드, 저장 및 실행을 자동으로 관리합니다.
내장된 AI 지원: 하이퍼파라미터 선택, 합성 데이터 세트 생성 및 데이터 품질 검사에 대한 도움을 받으세요.
온디바이스에서 클라우드로 전환: 로컬에서 클라우드 기반 교육으로 전환하기 위한 간단한 데코레이터를 추가합니다.
자동 최적화: Deepspeed ✅ 및 FDSP ✅를 통해 모델 및 데이터 병렬화를 자동으로 최적화합니다.
사용자 정의 평가 지원: 평가 기능에 내장된 LLM을 사용하거나 사용자 정의 평가 지표를 가져옵니다.
커뮤니티 지원: Simplifine Community Discord에 지원 관련 질문을 하세요.
주요 기관의 신뢰: 옥스퍼드 대학교 연구실은 LLM 미세 조정 요구 사항에 대해 Simplifine을 사용합니다.
여기에서 시작하세요 >
docs.simplifine.com에서 전체 문서를 찾아보세요.
PyPI에서 설치
pip 설치 simplifine-알파
다음 명령을 사용하여 github에서 직접 설치할 수도 있습니다.
pip 설치 git+https://github.com/simplifine-llm/Simplifine.git
우리는 기여자를 찾고 있습니다! Discord의 contributors 스레드에 참여하세요:
Simplifine은 GNU General Public License 버전 3에 따라 라이센스가 부여됩니다. 자세한 내용은 LICENSE 파일을 참조하세요.
모든 기능 요청, 버그 및 지원을 받으려면 Discord에 가입하세요!
구현되었으면 하는 새로운 기능에 대한 제안 사항이 있는 경우 문제를 제기해 주세요. 최대한 빨리 구현하도록 최선을 다하겠습니다!
다른 질문이 있으시면 언제든지[email protected]으로 문의해 주세요.
? 버그 수정: 더 원활한 작동을 위해 코드를 간소화하고 트레이너 관련 문제를 해결했습니다.
새로운 기능: 더 복잡한 구성 파일 정의에 대한 지원이 도입되어 트레이너의 유연성이 향상되었습니다.
문서: 클라우드 기반 교육에 대한 튜토리얼 및 가짜 뉴스 탐지기 생성을 포함한 새로운 예제가 추가되었습니다.
? 업데이트된 문서: docs.simplifine.com에서 최신 문서를 확인하세요.
? 버그 수정: 특정 구성에서 로딩 오류를 일으키는 문제를 수정하여 더 폭넓은 호환성을 보장합니다.
새로운 기능: Git에서 직접 설치가 가능하고 Hugging Face API 토큰에 대한 지원이 추가되어 제한된 모델에 액세스할 수 있습니다.
문서: 최신 기능을 반영하기 위해 예제가 새로 고쳐졌습니다.
현재 우리는 DeepSpeed의 DDP(DistributedDataParallel)와 ZeRO를 모두 지원합니다.
요약 :
DDP는 모델이 GPU 메모리에 적합할 때 유용합니다(여기에는 그라데이션 및 활성화 상태가 포함됩니다).
ZeRO는 모델이 여러 GPU에 걸쳐 샤딩이 필요할 때 유용합니다.
더 긴 버전 :
DDP : DDP(Distributed Data Parallel)는 각 프로세서(GPU)에 모델의 복제본을 생성합니다. 예를 들어, 8개의 GPU가 각각 단일 데이터 포인트를 공급한다고 가정하면 배치 크기는 8이 됩니다. 그러면 모델 복제본이 각 장치에서 업데이트됩니다. DDP는 데이터 공급 프로세스를 병렬화하여 학습 속도를 높입니다. 그러나 복제본이 GPU 메모리에 맞지 않으면 DDP가 실패합니다 . 메모리는 매개변수뿐만 아니라 그라디언트 및 최적화 상태도 호스팅한다는 점을 기억하세요.
ZeRO : ZeRO는 DeepSpeed에서 개발한 강력한 최적화이며 다양한 단계(1, 2, 3)로 제공됩니다. 각 단계는 학습 프로세스의 다양한 부분(매개변수, 기울기 및 활성화 상태)을 분할합니다. 이는 모델이 GPU 메모리에 맞지 않는 경우 매우 유용합니다. ZeRO는 또한 CPU로의 오프로드를 지원하여 더 큰 모델을 훈련할 수 있는 공간을 더 많이 만듭니다.
16비트 정밀도의 LLaMA-3-8b 모델 : 8개의 A100에 ZeRO Stage 3을 사용합니다.
LoRA 어댑터가 포함된 LLaMA-3-8b 모델 : 일반적으로 A100에 DDP를 사용하면 문제가 없습니다.
16비트 정밀도의 GPT-2 : DDP를 사용합니다.
문제: RuntimeError: 'cpu_adam' 확장 프로그램 구축 중 오류가 발생했습니다. python dev
이 오류는 python-dev 설치되지 않았고 ZeRO가 오프로드를 사용할 때 발생합니다. 이 문제를 해결하려면 다음을 시도해 보세요.
# 다음이 실패할 경우 sudo apt-get install python3-dev를 시도하십시오.apt-get install python-dev # Python 2.x의 경우 installsapt-get install python3-dev # Python 3.x 설치의 경우
이 링크를 참조하세요
