hands on llms

Kursus LLM Langsung

Belajar Melatih dan Menyebarkan Penasihat Keuangan Real-Time

oleh Paul Iusztin, Pau Labarta Bajo dan Alexandru Razvant

Daftar isi

• 1. Blok Bangunan
  • 1.1. Saluran Pelatihan
  • 1.2. Streaming Saluran Pipa Waktu Nyata
  • 1.3. Saluran Inferensi
  • 1.4. Kumpulan Data Tanya Jawab Keuangan
• 2. Atur Layanan Eksternal
  • 2.1. alpaka
  • 2.2. Qdrant
  • 2.3. Komet ML
  • 2.4. Balok
  • 2.5. AWS
• 3. Instal & Penggunaan
• 4. Kuliah
  • 4.1. Biaya
  • 4.2. Ajukan Pertanyaan
  • 4.3. Video ceramah
  • 4.4. Artikel
• 5. Lisensi
• 6. Kontributor & Guru

---

1. Blok Bangunan

Dengan menggunakan desain 3 pipa, inilah yang akan Anda pelajari dalam kursus ini ↓

1.1. Saluran Pelatihan

Saluran pelatihan yang:

• memuat kumpulan data Tanya Jawab kepemilikan
• menyempurnakan LLM sumber terbuka menggunakan QLoRA
• mencatat eksperimen pelatihan di pelacak eksperimen Comet ML & hasil inferensi di dasbor LLMOps Comet ML
• menyimpan model terbaik di registri model Comet ML

Alur pelatihan disebarkan menggunakan Beam sebagai infrastruktur GPU tanpa server.

-> Ditemukan di bawah direktori modules/training_pipeline .

Persyaratan Perangkat Keras Minimum

• CPU: 4 Inti
• RAM: 14 GiB
• VRAM: 10 GiB (GPU Nvidia wajib yang mendukung CUDA)

Catatan: Jangan khawatir jika Anda tidak memiliki persyaratan perangkat keras minimum. Kami akan menunjukkan kepada Anda cara menerapkan jalur pelatihan ke infrastruktur tanpa server Beam dan melatih LLM di sana.

1.2. Streaming Saluran Pipa Waktu Nyata

Saluran fitur real-time yang:

• mencerna berita keuangan dari Alpaca
• membersihkan & mengubah dokumen berita menjadi embeddings secara real-time menggunakan Bytewax
• menyimpan embeddings ke dalam Qdrant Vector DB

Pipa streaming secara otomatis diterapkan pada mesin AWS EC2 menggunakan pipa CI/CD yang dibangun di tindakan GitHub.

-> Ditemukan di bawah direktori modules/streaming_pipeline .

Persyaratan Perangkat Keras Minimum

• CPU: 1 Inti
• RAM: 2 GiB
• VRAM: -

1.3. Saluran Inferensi

Pipa inferensi yang menggunakan LangChain untuk membuat rantai yang:

• mengunduh model yang telah disempurnakan dari registri model Comet
• mengambil pertanyaan pengguna sebagai masukan
• menanyakan DB Qdrant Vector dan menyempurnakan konfirmasi dengan berita keuangan terkait
• memanggil LLM yang telah disesuaikan untuk mendapatkan nasihat keuangan menggunakan kueri awal, konteks dari DB vektor, dan riwayat obrolan
• menyimpan riwayat obrolan ke dalam memori
• mencatat prompt & jawaban ke dalam fitur pemantauan LLMOps Comet ML

Pipeline inferensi disebarkan menggunakan Beam sebagai infrastruktur GPU tanpa server, sebagai RESTful API. Selain itu, ini dibungkus dalam UI untuk tujuan demo, diimplementasikan di Gradio.

-> Ditemukan di bawah direktori modules/financial_bot .

Persyaratan Perangkat Keras Minimum

• CPU: 4 Inti
• RAM: 14 GiB
• VRAM: 8 GiB (GPU Nvidia wajib berkemampuan CUDA)

Catatan: Jangan khawatir jika Anda tidak memiliki persyaratan perangkat keras minimum. Kami akan menunjukkan kepada Anda cara menyebarkan saluran inferensi ke infrastruktur tanpa server Beam dan memanggil LLM dari sana.

1.4. Kumpulan Data Tanya Jawab Keuangan

Kami menggunakan GPT3.5 untuk menghasilkan kumpulan data Tanya Jawab keuangan guna menyempurnakan LLM sumber terbuka kami agar berspesialisasi dalam penggunaan istilah keuangan dan menjawab pertanyaan keuangan. Menggunakan LLM besar, seperti GPT3.5 untuk menghasilkan kumpulan data yang melatih LLM yang lebih kecil (misalnya, Falcon 7B) dikenal sebagai penyempurnaan dengan distilasi .

→ Untuk memahami bagaimana kami menghasilkan kumpulan data Tanya Jawab keuangan, lihat artikel yang ditulis oleh Pau Labarta ini.

→ Untuk melihat analisis lengkap kumpulan data Tanya Jawab keuangan, lihat subbagian analisis_dataset dari kursus yang ditulis oleh Alexandru Razvant.

2. Atur Layanan Eksternal

Sebelum mendalami modul, Anda harus menyiapkan beberapa alat eksternal tambahan untuk kursus.

CATATAN: Anda dapat mengaturnya saat Anda menggunakan setiap modul, karena kami akan menunjukkan apa yang Anda perlukan di setiap modul.

2.1. alpaka

financial news data source

Ikuti dokumen ini untuk menunjukkan kepada Anda cara membuat akun GRATIS dan menghasilkan Kunci API yang Anda perlukan dalam kursus ini.

Catatan: 1x koneksi data Alpaca GRATIS.

2.2. Qdrant

serverless vector DB

Buka Qdrant dan buat akun GRATIS.

Setelah itu, ikuti dokumen ini tentang cara membuat Kunci API yang Anda perlukan dalam kursus ini.

Catatan: Kami hanya akan menggunakan paket freemium Qdrant.

2.3. Komet ML

serverless ML platform

Buka Comet ML dan buat akun GRATIS.

Setelah itu, ikuti panduan ini untuk menghasilkan API KEY dan proyek baru, yang Anda perlukan dalam kursus.

Catatan: Kami hanya akan menggunakan paket freemium Comet ML.

2.4. Balok

serverless GPU compute | training & inference pipelines

Buka Beam dan buat akun GRATIS.

Setelah itu, Anda harus mengikuti panduan instalasi mereka untuk menginstal CLI mereka & mengkonfigurasinya dengan kredensial Beam Anda.

Untuk membaca lebih lanjut tentang Beam, berikut adalah panduan pengenalan.

Catatan: Anda memiliki ~10 jam komputasi gratis. Setelah itu, Anda hanya membayar untuk apa yang Anda gunakan. Jika Anda memiliki GPU Nvidia >8 GB VRAM & tidak ingin menerapkan pipeline pelatihan & inferensi, menggunakan Beam adalah opsional.

Pemecahan masalah

Saat menggunakan Puisi, kami mengalami masalah dalam menemukan Beam CLI di dalam lingkungan virtual Puisi. Untuk memperbaikinya, setelah menginstal Beam, kami membuat symlink yang menunjuk ke binari Puisi, sebagai berikut:

 export COURSE_MODULE_PATH= < your-course-module-path > # e.g., modules/training_pipeline
 cd $COURSE_MODULE_PATH
 export POETRY_ENV_PATH= $( dirname $( dirname $( poetry run which python ) ) )

 ln -s /usr/local/bin/beam ${POETRY_ENV_PATH} /bin/beam

2.5. AWS

cloud compute | feature pipeline

Buka AWS, buat akun, dan buat sepasang kredensial.

Setelah itu, unduh dan instal AWS CLI v2.11.22 dan konfigurasikan dengan kredensial Anda.

Catatan: Anda hanya akan membayar untuk apa yang Anda gunakan. Anda hanya akan menerapkan VM EC2 t2.small , yang hanya ~$0.023 / jam. Jika Anda tidak ingin men-deploy pipeline fitur, penggunaan AWS bersifat opsional.

3. Instal & Penggunaan

Setiap modul memiliki dependensi dan skripnya sendiri. Dalam pengaturan produksi, setiap modul akan memiliki repositorinya sendiri, namun dalam kasus penggunaan ini, untuk tujuan pembelajaran, kami meletakkan semuanya di satu tempat:

Jadi, periksa README untuk setiap modul satu per satu untuk mengetahui cara menginstal & menggunakannya:

1. q_and_a_dataset_generator
2. pelatihan_pipa
3. streaming_pipeline
4. inferensi_pipeline

4. Kuliah

Kami sangat menganjurkan Anda untuk mengkloning repositori ini dan meniru semua yang telah kami lakukan untuk mendapatkan hasil maksimal dari kursus ini.

Dalam setiap video ceramah, artikel, dan dokumentasi README, Anda akan menemukan petunjuk langkah demi langkah.

Selamat belajar!

4.1. Biaya

Kode GitHub (dirilis di bawah lisensi MIT) dan video ceramah (dirilis di YouTube) sepenuhnya gratis. Akan selalu begitu.

Pelajaran Medium dirilis di bawah dinding berbayar Medium. Jika Anda sudah memilikinya, maka semuanya gratis. Jika tidak, Anda harus membayar biaya bulanan $5 untuk membaca artikel.

4.2. Ajukan Pertanyaan

Jika Anda memiliki pertanyaan atau masalah selama kursus, kami mendorong Anda untuk membuat masalah di repositori ini di mana Anda dapat menjelaskan semua yang Anda perlukan secara mendalam.

Jika tidak, Anda juga dapat menghubungi guru di LinkedIn:

• Paul Iusztin
• Pau Labarta

4.3. Video Kuliah

4.3.1. Pengantar kursus

Klik di sini untuk menonton videonya?

4.3.2. Menyempurnakan LLM sumber terbuka kami (ikhtisar)

Klik di sini untuk menonton videonya?

4.3.3. Menyempurnakan LLM sumber terbuka kami (Hands-on!)

Klik di sini untuk menonton videonya?

4.3.4. Alur penyematan teks waktu nyata

Klik di sini untuk menonton videonya?

4.3.5. Pipa inferensi

Klik di sini untuk menonton videonya?

4.4. Artikel

To understand the entire code step-by-step, check out our articles ↓

Desain sistem

• Pelajaran 1: Perangkat LLM: Membangun Sistem Penasihat Keuangan Real-Time Siap Produksi Menggunakan Streaming Pipelines, RAG, dan LLMOps

Saluran fitur

• Pelajaran 2: Mengapa Anda harus memilih streaming melalui jalur pipa batch saat melakukan RAG di aplikasi LLM
• Pelajaran 3: Ini adalah bagaimana Anda dapat membangun & menerapkan saluran streaming untuk mengisi DB vektor untuk RAG waktu nyata

Jalur pelatihan

• Pelajaran 4: 5 konsep yang harus ada dalam perangkat penyempurnaan LLM Anda
• Pelajaran 5: Rahasia menulis kode generik untuk menyempurnakan LLM apa pun menggunakan QLoRA
• Pelajaran 6: Dari pengembangan LLM hingga pipeline pelatihan berkelanjutan menggunakan LLMOps

Pipa inferensi

• Pelajaran 7: Rancang aplikasi RAG LangChain dengan memanfaatkan arsitektur 3 saluran
• Pelajaran 8: Siapkan aplikasi RAG LangChain Anda untuk produksi

5. Lisensi

Kursus ini adalah proyek sumber terbuka yang dirilis di bawah lisensi MIT. Jadi, selama Anda mendistribusikan LISENSI kami dan mengakui pekerjaan kami, Anda dapat dengan aman mengkloning atau membagi proyek ini dan menggunakannya sebagai sumber inspirasi untuk apa pun yang Anda inginkan (misalnya, proyek universitas, proyek gelar sarjana, dll.).

6. Kontributor & Guru

	Pau Labarta Bajo | Insinyur ML & MLOps Senior Guru utama. Pria dari video pelajaran. LinkedIn Twitter/X Youtube Buletin ML Dunia Nyata Situs ML Dunia Nyata
	Alexandru Razvant | Insinyur ML Senior Koki kedua. Insinyur di balik layar. LinkedIn Lompatan Neura
	Paul Iusztin | Insinyur ML & MLOps Senior Koki utama. Orang-orang yang muncul secara acak dalam video pelajaran. LinkedIn Twitter/X Menguraikan Buletin ML Situs Pribadi | Pusat ML & MLOps