odsc llmops

LLM dari Prototipe hingga Produksi

LLMOps, Rekayasa Cepat, dan Memindahkan LLM ke Cloud

Selamat datang di repositori GitHub untuk lokakarya ODSC di LLMOps. Lokakarya ini dirancang untuk membantu Anda membuka potensi penuh LLM melalui kuantisasi, distilasi, fine-tuning, Kubernetes, dan banyak lagi!

Sebagian besar studi kasus ini berasal dari buku saya: Panduan Memulai Cepat untuk LLM

Untuk lebih jelasnya dan mengikuti lokakarya, klik di sini.

Buku Catatan / Slide

Selami lebih dalam penerapan praktisnya dengan buku catatan komprehensif kami. Buku catatan ini akan memandu Anda langkah demi langkah melalui dua studi kasus yang dibahas dalam lokakarya, sehingga memungkinkan pengalaman belajar yang interaktif dan langsung.

Slide Lokakarya

Berikut slide workshopnya.

• Slide: [ODSC LLMOps](./slides/ODSC - LLM dari Prototipe hingga Produksi.pdf)

Studi Kasus 1: Menghitung Llama 3

• Mengkuantisasi Llama-3 secara dinamis - Menggunakan bitsandbyte untuk mengkuantisasi model secara real-time saat dimuat. Kami akan menyelidiki perbedaan sebelum dan sesudah kuantisasi

• Lihat cara memuat versi Llama yang telah dikuantisasi sebelumnya untuk membandingkan kecepatan dan penggunaan memori:

  • Bekerja dengan GGUF (tanpa GPU)

  • Bekerja dengan GGUF (dengan GPU)

Studi Kasus 2: Penyulingan LLM

• Penyulingan model BERT untuk mengoptimalkan kecepatan/memori - Lihat cara melakukan penyulingan khusus tugas untuk membuat miniatur model BERT untuk klasifikasi

Studi Kasus 3: Menerapkan Llama 3 Terkuantisasi dengan llama.cpp

• Direktori ini untuk demo K8 menggunakan model penyematan dan Llama 3 dengan GGUF pada GPU

Studi Kasus 4: Mengevaluasi AI Generatif

• Mengevaluasi LLM dengan Rubrik - Menjelajahi perintah rubrik untuk mengevaluasi keluaran generatif

• Mengevaluasi Penyelarasan (waktu mengizinkan) - Melihat bagaimana LLM dapat menilai tanggapan agen

Catatan Ekstra

Berikut beberapa buku catatan yang saya referensikan selama lokakarya tetapi tidak sempat membahasnya:

Terima kasih!

Jika Anda menikmati studi kasus ini, mohon pertimbangkan untuk memberi buku saya peringkat bintang 5 di Amazon karena ini sangat membantu saya sebagai penulis! Untuk lebih jelasnya dan mengikuti lokakarya, klik di sini.