quick start guide to llms

Panduan Memulai Cepat Model Bahasa Besar - Edisi Kedua

Dapatkan salinan Anda hari ini dan silakan tinggalkan peringkat/ulasan untuk memberi tahu saya pendapat Anda!

Selamat datang di repositori GitHub untuk "Panduan Memulai Cepat untuk Model Bahasa Besar - Edisi Kedua" . Repositori ini berisi cuplikan kode dan buku catatan yang digunakan dalam buku, mendemonstrasikan berbagai aplikasi dan teknik lanjutan dalam bekerja dengan model Transformer dan model bahasa besar (LLM). Lihat kode untuk Edisi Pertama di sini

Struktur Repositori

Direktori

• notebooks : Berisi buku catatan Jupyter untuk setiap bab dalam buku.
• data : Berisi kumpulan data yang digunakan di buku catatan.
• images : Berisi gambar dan grafik yang digunakan dalam buku catatan.

buku catatan

Di bawah ini adalah daftar buku catatan yang termasuk dalam direktori notebooks , disusun berdasarkan bab-bab dalam buku tersebut.

Bagian I - Pengantar Model Bahasa Besar

• Bab 2: Pencarian Semantik dengan LLM

  • 02_semantic_search.ipynb : Pengenalan pencarian semantik menggunakan OpenAI dan model sumber terbuka.

• Bab 3: Langkah Pertama dengan Rekayasa Cepat

  • 03_prompt_engineering.ipynb : Panduan rekayasa cepat yang efektif untuk LLM yang selaras dengan instruksi.

• Bab 4: Ekosistem AI: Menyatukan Bagian-bagiannya

  • 04_rag_retrieval.ipynb : Membangun saluran pipa Retrieval-Augmented Generation (RAG).
  • 04_agent.ipynb : Membangun agen AI menggunakan LLM dan alat lainnya.

Bagian II - Mendapatkan Hasil Maksimal dari LLM

• Bab 5: Mengoptimalkan LLM dengan Penyempurnaan yang Disesuaikan

  • 05_bert_app_review.ipynb : Menyempurnakan model BERT untuk klasifikasi ulasan aplikasi.
  • 05_openai_app_review_fine_tuning.ipynb : Menyempurnakan model OpenAI untuk klasifikasi tinjauan aplikasi.

• Bab 6: Rekayasa Cepat Tingkat Lanjut

  • 06_adv_prompt_engineering.ipynb : Teknik tingkat lanjut dalam rekayasa cepat, termasuk validasi keluaran dan pembelajaran beberapa tahap semantik.

• Bab 7: Menyesuaikan Embeddings dan Arsitektur Model

  • 07_recommendation_engine.ipynb : Membangun mesin rekomendasi menggunakan LLM dan penyematan khusus yang telah disesuaikan.

Bagian III - Penggunaan LLM Tingkat Lanjut

• Bab 9: Melampaui Model Fondasi

  • 09_constructing_a_vqa_system.ipynb : Panduan langkah demi langkah untuk membangun sistem Visual Question Answering (VQA) menggunakan GPT-2 dan Vision Transformer.
  • 09_using_our_vqa.ipynb : Menggunakan sistem VQA yang dibangun pada notebook sebelumnya.
  • 09_flan_t5_rl.ipynb : Menggunakan Reinforcement Learning (RL) untuk meningkatkan keluaran model FLAN-T5.

• Bab 10: Penyempurnaan LLM Sumber Terbuka Tingkat Lanjut

  • 10_SAWYER_LLAMA_SFT.ipynb : Menyempurnakan model Llama-3 untuk membuat bot SAWYER.
  • 10_SAWYER_Reward_Model.ipynb : Melatih model hadiah dari preferensi manusia untuk bot SAWYER.
  • 10_SAWYER_RLF.ipynb : Menerapkan Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF) untuk menyelaraskan bot SAWYER.
  • 10_SAWYER_USE_SAWYER.ipynb : Menggunakan bot SAWYER.
  • 10_anime_category_classification_model_freezing.ipynb : Menyempurnakan model BERT untuk klasifikasi kategori anime, membandingkan teknik pembekuan lapisan.
  • 10_latex_gpt2.ipynb : Menyempurnakan GPT-2 untuk menghasilkan rumus LaTeX.
  • 10_optimizing_fine_tuning.ipynb : Praktik terbaik untuk mengoptimalkan penyesuaian model transformator.

• Bab 11: Memindahkan LLM ke Produksi

  • 11_distillation_example_1.ipynb : Menjelajahi teknik distilasi pengetahuan untuk model transformator.
  • 11_distillation_example_2.ipynb : Metode dan aplikasi distilasi tingkat lanjut.
  • 11_llama_quantization.ipynb : Mengukur model Llama untuk penerapan yang efisien.

• Bab 12: Mengevaluasi LLM

  • 12_llm_calibration.ipynb : Teknik untuk mengkalibrasi keluaran LLM.
  • 12_llm_gen_eval.ipynb : Metode untuk mengevaluasi kemampuan generatif LLM.
  • 12_cluster.ipynb : Teknik clustering untuk menganalisis keluaran LLM.
  • Probing - Ada lebih dari selusin buku catatan untuk Probing jadi saya hanya akan membagikan beberapa yang penting di sini:
    • Llama-3 8B Instruksikan dengan prompt "Siapa {NAME}"
    • BERT-huruf besar tidak ada perintah
    • Mistral-7B-Instruct-v0.3 dengan prompt "Siapa {NAME}"

Cara Menggunakan

Untuk menggunakan repositori ini:

1. Kloning repositori ke mesin lokal Anda:

git clone https://github.com/yourusername/quick-start-llms.git

2. Navigasikan ke direktori notebooks dan buka notebook Jupyter pilihan Anda:

 cd quick-start-llms

3. Instal perpustakaan yang diperlukan:

pip install -r requirements.txt

Catatan: Beberapa buku catatan mungkin memerlukan himpunan data tertentu, yang dapat ditemukan di direktori data.

Berkontribusi

Kontribusi dipersilahkan! Jika Anda memiliki tambahan, koreksi, atau penyempurnaan, silakan kirimkan permintaan penarikan.

Penafian

Repositori ini ditujukan untuk tujuan pendidikan dan dimaksudkan untuk menyertai buku "Panduan Memulai Cepat Model Bahasa Besar - Edisi Kedua". Silakan merujuk ke buku untuk penjelasan mendalam dan diskusi tentang topik yang dibahas dalam buku catatan.

Lainnya Dari Sinan

1. Lihat Jam Kerja AI Buletin Sinan untuk konten AI/LLM lainnya!
2. Sinan memiliki podcast berjudul Praktis Cerdas di mana dia mengobrol tentang AI terbaru dan terhebat!
3. Ikuti Daftar Putar Memulai Data, LLM, dan ObrolanGPT di O'Reilly untuk melihat daftar hasil kurasi karya Sinan!