dbrx

DBRX

DBRX adalah model bahasa besar yang dilatih oleh Databricks, dan tersedia di bawah lisensi terbuka. Repositori ini berisi kode minimal dan contoh untuk menjalankan inferensi, serta kumpulan sumber daya dan tautan untuk menggunakan DBRX.

• Blog Pendiri, Blog Teknis DBRX
• Memeluk Wajah: https://huggingface.co/collections/databricks/
• Pengecoran LLM: https://github.com/mosaicml/llm-foundry

Kode model referensi dapat ditemukan di repositori ini di modeling_dbrx.py.

Catatan: kode model ini disediakan untuk tujuan referensi saja, silakan lihat repositori Hugging Face untuk versi resmi yang didukung.

Detail model

DBRX adalah model Mixture-of-Experts (MoE) dengan total parameter 132 miliar dan parameter langsung 36 miliar. Kami menggunakan 16 pakar, 4 di antaranya aktif selama pelatihan atau inferensi. DBRX telah dilatih sebelumnya untuk 12T token teks. DBRX memiliki panjang konteks 32 ribu token.

Model berikut bersumber terbuka:

Model	Keterangan
Basis DBRX	Model dasar yang telah dilatih sebelumnya
Instruksi DBRX	Model yang disempurnakan untuk mengikuti instruksi

Model ini dilatih menggunakan versi yang dioptimalkan dari perpustakaan sumber terbuka kami Komposer, LLM Foundry, MegaBlocks, dan Streaming.

Untuk model instruksi, kami menggunakan format ChatML. Silakan lihat kartu model DBRX Instruct untuk informasi lebih lanjut mengenai ini.

Mulai cepat

Untuk mengunduh bobot dan tokenizer, silakan kunjungi halaman DBRX Hugging Face terlebih dahulu dan terima lisensinya. Catatan: akses ke model Dasar memerlukan persetujuan manual.

Kami merekomendasikan memiliki setidaknya memori 320GB untuk menjalankan model.

Lalu, jalankan:

 pip install -r requirements.txt # Or requirements-gpu.txt to use flash attention on GPU(s)
huggingface-cli login           # Add your Hugging Face token in order to access the model
python generate.py              # See generate.py to change the prompt and other settings

Untuk penggunaan lebih lanjut, silakan lihat LLM Foundry (skrip obrolan, skrip pembuatan batch)

Jika Anda mengalami masalah instalasi paket, sebaiknya gunakan image Docker kami: mosaicml/llm-foundry:2.2.1_cu121_flash2-latest

Kesimpulan

TensorRT-LLM dan vLLM dapat digunakan untuk menjalankan inferensi yang dioptimalkan dengan DBRX. Kami telah menguji kedua perpustakaan pada sistem NVIDIA A100 dan H100. Untuk menjalankan inferensi dengan presisi 16-bit, diperlukan sistem multi-GPU minimal 4 x 80 GB.

TensorRT-LLM

Dukungan DBRX sedang ditambahkan ke perpustakaan TensorRT-LLM: PR yang tertunda

Setelah penggabungan, instruksi untuk membuat dan menjalankan mesin DBRX TensorRT dapat ditemukan di: README

vLLM

Silakan lihat dokumen vLLM untuk instruksi tentang cara menjalankan DBRX dengan mesin vLLM.

MLX

Jika Anda memiliki laptop Apple dengan chip seri M yang cukup kuat, DBRX versi terkuantisasi dapat dijalankan dengan MLX. Lihat instruksi untuk menjalankan DBRX di MLX di sini.

LLama.cpp

Jika Anda memiliki laptop chip Apple M-series dengan RAM minimal 64 GB, Anda dapat menjalankan DBRX versi terkuantisasi menggunakan llama.cpp.

1. Kompilasi llama.cpp
2. Unduh versi ggml terkuantisasi dari dbrx-instruct seperti dranger003/dbrx-instruct-iMat.GGUF
3. Dari folder llama.cpp, jalankan:

 ./main -ngl 41 -m ./models/ggml-dbrx-instruct-16x12b-iq1_s.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt

Menyempurnakan

Untuk menyempurnakan DBRX dengan perpustakaan sumber terbuka kami LLM Foundry, silakan lihat instruksi dalam skrip pelatihan kami (dapat ditemukan di sini). Kami memiliki dukungan penyempurnaan untuk keduanya:

• Penyempurnaan parameter lengkap, lihat konfigurasi yaml dbrx-full-ft.yaml
• Penyempurnaan LoRA, lihat konfigurasi yaml dbrx-lora-ft.yaml

Catatan: Dukungan LoRA saat ini tidak dapat menyempurnakan para ahli, karena para ahli tersebut digabungkan. Nantikan informasi selengkapnya.

Kartu model

Kartu model dapat ditemukan di:

• Basis DBRX
• Instruksi DBRX

Integrasi

DBRX tersedia di platform Databricks melalui:

• Penyajian Model AI Mosaik
• Taman Bermain AI Mosaik

Penyedia lain baru-baru ini menambahkan dukungan untuk DBRX:

• Anda.com
• Lab Kebingungan
• LlamaIndex (contoh intisari permulaan)

Alat yang sama yang digunakan untuk melatih model MoE berkualitas tinggi seperti DBRX tersedia untuk pelanggan Databricks. Silakan hubungi kami di https://www.databricks.com/company/contact jika Anda tertarik untuk melakukan pra-pelatihan, menyempurnakan, atau menerapkan model DBRX Anda sendiri!

Masalah

Untuk masalah keluaran model, atau diskusi komunitas, silakan gunakan forum komunitas Hugging Face (instruksikan, basis)

Untuk masalah dengan LLM Foundry, atau perpustakaan pelatihan apa pun yang mendasarinya, silakan buka masalah di repositori GitHub yang relevan.

Lisensi

Bobot model dan kode kami dilisensikan untuk peneliti dan entitas komersial. Lisensi Sumber Terbuka Databricks dapat ditemukan di LISENSI, dan Kebijakan Penggunaan yang Dapat Diterima kami dapat ditemukan di sini.