dbrx
1.0.0
DBRX는 Databricks에서 교육한 대규모 언어 모델이며 오픈 라이선스로 제공됩니다. 이 리포지토리에는 추론을 실행하기 위한 최소한의 코드와 예제는 물론 DBRX 사용을 위한 리소스 및 링크 모음이 포함되어 있습니다.
참조 모델 코드는 이 저장소(modeling_dbrx.py)에서 찾을 수 있습니다.
참고: 이 모델 코드는 참조 목적으로만 제공됩니다. 공식 지원 버전은 Hugging Face 저장소를 참조하세요.
DBRX는 총 132B 매개변수와 36B 실시간 매개변수를 갖춘 MoE(Mixture-of-Experts) 모델입니다. 우리는 16명의 전문가를 고용하며 그 중 4명은 훈련이나 추론 중에 활동합니다. DBRX는 12T 텍스트 토큰에 대해 사전 훈련되었습니다. DBRX의 컨텍스트 길이는 32K 토큰입니다.
다음 모델은 오픈 소스입니다.
| 모델 | 설명 |
|---|---|
| DBRX 베이스 | 사전 학습된 기본 모델 |
| DBRX 지시 | 지시에 따라 미세 조정된 모델 |
이 모델은 오픈 소스 라이브러리인 Composer, LLM Foundry, MegaBlocks 및 Streaming의 최적화된 버전을 사용하여 학습되었습니다.
교육 모델의 경우 ChatML 형식을 사용했습니다. 이에 대한 자세한 내용은 DBRX Instruct 모델 카드를 참조하세요.
가중치와 토크나이저를 다운로드하려면 먼저 DBRX Hugging Face 페이지를 방문하여 라이센스에 동의하세요. 참고: 기본 모델에 액세스하려면 수동 승인이 필요합니다.
모델을 실행하려면 최소 320GB의 메모리를 확보하는 것이 좋습니다.
그런 다음 다음을 실행합니다.
pip install -r requirements.txt # Or requirements-gpu.txt to use flash attention on GPU(s)
huggingface-cli login # Add your Hugging Face token in order to access the model
python generate.py # See generate.py to change the prompt and other settings
보다 고급 사용법은 LLM Foundry(채팅 스크립트, 배치 생성 스크립트)를 참조하세요.
패키지 설치 문제가 있는 경우 Docker 이미지 mosaicml/llm-foundry:2.2.1_cu121_flash2-latest 사용하는 것이 좋습니다.
TensorRT-LLM과 vLLM을 모두 사용하여 DBRX로 최적화된 추론을 실행할 수 있습니다. NVIDIA A100 및 H100 시스템에서 두 라이브러리를 모두 테스트했습니다. 16비트 정밀도로 추론을 실행하려면 최소 4 x 80GB 다중 GPU 시스템이 필요합니다.
TensorRT-LLM 라이브러리에 DBRX 지원이 추가되고 있습니다. PR 보류 중
병합 후 DBRX TensorRT 엔진을 빌드하고 실행하는 지침은 README에서 확인할 수 있습니다.
vLLM 엔진으로 DBRX를 실행하는 방법에 대한 지침은 vLLM 문서를 참조하세요.
충분히 강력한 M 시리즈 칩을 탑재한 Apple 노트북이 있다면, 양자화된 DBRX 버전을 MLX와 함께 실행할 수 있습니다. 여기에서 MLX에서 DBRX를 실행하는 방법에 대한 지침을 참조하세요.
최소 64GB RAM을 갖춘 Apple M 시리즈 칩 노트북이 있는 경우 llama.cpp를 사용하여 DBRX의 양자화된 버전을 실행할 수 있습니다.
./main -ngl 41 -m ./models/ggml-dbrx-instruct-16x12b-iq1_s.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt
오픈 소스 라이브러리 LLM Foundry를 사용하여 DBRX를 미세 조정하려면 교육 스크립트(여기)의 지침을 참조하세요. 우리는 다음 두 가지 모두에 대해 미세 조정을 지원합니다.
참고: 전문가가 융합되어 있으므로 LoRA 지원은 현재 전문가를 미세 조정할 수 없습니다. 자세한 내용을 계속 지켜봐 주시기 바랍니다.
모델 카드는 다음에서 찾을 수 있습니다.
DBRX는 다음을 통해 Databricks 플랫폼에서 사용할 수 있습니다.
다른 공급자는 최근 DBRX에 대한 지원을 추가했습니다.
DBRX와 같은 고품질 MoE 모델을 교육하는 데 사용되는 것과 동일한 도구를 Databricks 고객이 사용할 수 있습니다. 자체 DBRX 모델 사전 훈련, 미세 조정 또는 배포에 관심이 있는 경우 https://www.databricks.com/company/contact로 문의하세요!
모델 출력 문제나 커뮤니티 토론에 대해서는 Hugging Face 커뮤니티 포럼(지침, 베이스)을 이용해 주세요.
LLM Foundry 또는 기본 교육 라이브러리 관련 문제의 경우 관련 GitHub 저장소에서 문제를 열어주세요.
우리의 모델 가중치와 코드는 연구원과 상업 단체 모두에게 라이선스가 부여됩니다. Databricks 오픈 소스 라이선스는 LICENSE에서 찾을 수 있으며 허용 가능한 사용 정책은 여기에서 찾을 수 있습니다.
