LLMOps yang luar biasa
Daftar isi
- Daftar isi
- Apa itu LLMOps?
- Rekayasa Cepat
- Model
- Optimasi
- Alat (GitHub)
- Alat (Lainnya)
- RLHF
- Luar biasa
- Berkontribusi
Apa itu LLMOps?
LLMOps adalah bagian dari praktik MLOps, bentuk khusus MLOps yang berfokus pada pengelolaan seluruh siklus hidup model bahasa besar (LLM).
Mulai tahun 2021, seiring dengan berkembang pesatnya LLM dan semakin matangnya teknologi, kami mulai fokus pada praktik pengelolaan LLM secara efisien, dan LLMOps, yang merupakan adaptasi dari praktik MLOp tradisional ke LLM, mulai dibicarakan.
LLMOps vs MLOps
| LLMOps | MLOps |
|---|
| Definisi | Alat dan infrastruktur khusus untuk pengembangan dan penerapan model bahasa besar | Alat dan infrastruktur untuk alur kerja pembelajaran mesin umum |
| Fokus | Persyaratan dan tantangan unik dari model bahasa besar | Alur kerja pembelajaran mesin umum |
| Teknologi utama | Model bahasa, pustaka Transformers, platform anotasi human-in-the-loop | Kubeflow, MLflow, TensorFlow Diperluas |
| Keterampilan kunci | Keahlian NLP, pengetahuan model bahasa besar, manajemen data untuk data teks | Rekayasa data, DevOps, Rekayasa perangkat lunak, keahlian pembelajaran mesin |
| Tantangan utama | Mengelola dan memberi label pada data teks dalam jumlah besar, menyempurnakan model dasar untuk tugas tertentu, memastikan keadilan dan etika dalam model bahasa | Mengelola jalur data yang kompleks, memastikan interpretasi dan penjelasan model, mengatasi bias dan keadilan model |
| Adopsi industri | Muncul, dengan semakin banyaknya startup dan perusahaan yang berfokus pada LLMOps | Didirikan, dengan ekosistem alat dan kerangka kerja yang luas tersedia |
| Pandangan masa depan | LLMOps diharapkan menjadi bidang studi yang semakin penting karena model bahasa besar menjadi lebih umum dan kuat | MLOps akan terus menjadi komponen penting dalam industri pembelajaran mesin, dengan fokus pada peningkatan efisiensi, skalabilitas, dan keandalan model |
⬆️ Ke atas
Rekayasa Cepat
- PromptBase - Pasar rekayasa cepat
- PromptHero - Situs web untuk rekayasa cepat
- Pencarian Cepat - Mesin pencari untuk rekayasa cepat
- Prompt Sempurna - Pengoptimal Prompt Otomatis
- Learn Prompting - Situs web tutorial untuk rekayasa prompt
- Blog: Menjelajahi Serangan Injeksi Segera
- Blog: Segera Bocor
- Makalah: Penyetelan Awalan: Mengoptimalkan Perintah Berkelanjutan untuk Pembuatan
⬆️ Ke atas
Model
| Nama | Ukuran parameter | Tanggal pengumuman |
|---|
| BERT-Besar (336M) | 336 juta | 2018 |
| T5 (11B) | 11 miliar | 2020 |
| Goper (280B) | 280 miliar | 2021 |
| GPT-J (6B) | 6 miliar | 2021 |
| LaMDA (137B) | 137 miliar | 2021 |
| Megatron-Turing NLG (530B) | 530 miliar | 2021 |
| T0 (11B) | 11 miliar | 2021 |
| Macaw (11B) | 11 miliar | 2021 |
| GLaM (1.2T) | 1,2 triliun | 2021 |
| T5 FLAN (540B) | 540 miliar | 2022 |
| MEMILIH-175B (175B) | 175 miliar | 2022 |
| ObrolanGPT (175B) | 175 miliar | 2022 |
| GPT 3.5 (175B) | 175 miliar | 2022 |
| AlexaTM (20B) | 20 miliar | 2022 |
| Mekar (176B) | 176 miliar | 2022 |
| Penyair | Belum diumumkan | 2023 |
| GPT4 | Belum diumumkan | 2023 |
| Kode Alfa (41.4B) | 41,4 miliar | 2022 |
| Chinchilla (70B) | 70 miliar | 2022 |
| Burung pipit (70B) | 70 miliar | 2022 |
| PaLM (540B) | 540 miliar | 2022 |
| NLLB (54,5 miliar) | 54,5 miliar | 2022 |
| AlexaTM (20B) | 20 miliar | 2022 |
| Galaksi (120B) | 120 miliar | 2022 |
| UL2 (20B) | 20 miliar | 2022 |
| Jurassic-1 (178B) | 178 miliar | 2022 |
| LLaMA (65B) | 65 miliar | 2023 |
| Stanford Alpaka (7B) | 7 miliar | 2023 |
| GPT-NeoX 2.0 (20B) | 20 miliar | 2023 |
| BloombergGPT | 50 miliar | 2023 |
| Boneka | 6 miliar | 2023 |
| Jura-2 | Belum diumumkan | 2023 |
| Asisten Terbuka LLaMa | 30 miliar | 2023 |
| Koala | 13 miliar | 2023 |
| Vicuna | 13 miliar | 2023 |
| PaLM2 | Belum diumumkan, Lebih kecil dari PaLM1 | 2023 |
| LIMA | 65 miliar | 2023 |
| MPT | 7 miliar | 2023 |
| Elang | 40 miliar | 2023 |
| Lama 2 | 70 miliar | 2023 |
| Google Gemini | Belum diumumkan | 2023 |
| Microsoft Phi-2 | 2,7 miliar | 2023 |
| Grok-0 | 33 miliar | 2023 |
| Grok-1 | 314 miliar | 2023 |
| Tenaga surya | 10,7 miliar | 2024 |
| permata | 7 miliar | 2024 |
| Grok-1.5 | Belum diumumkan | 2024 |
| DBRX | 132 miliar | 2024 |
| Claude 3 | Belum diumumkan | 2024 |
| Permata 1.1 | 7 miliar | 2024 |
| Lama 3 | 70 miliar | 2024 |
⬆️ Ke atas
Optimasi
- Blog: Pengenalan Lembut tentang Perkalian Matriks 8-bit untuk transformator skala besar menggunakan Hugging Face Transformers, Accelerate, dan bitsandbytes
- Blog: Menyempurnakan 20 miliar LLM dengan RLHF pada GPU konsumen 24 GB
- Blog: Menangani model besar untuk inferensi
- Blog: Cara Menyempurnakan Model Alpaka Untuk Bahasa Apa Pun | Alternatif ObrolanGPT
- Makalah: LLM.int8(): Perkalian Matriks 8-bit untuk Transformer dalam Skala
- Inti: Skrip untuk mendekomposisi/mengomposisi ulang model LLAMA LLM dengan jumlah shard berbeda
⬆️ Ke atas
Alat (GitHub)
- Stanford Alpaca - - Gudang proyek Stanford Alpaca, model yang disempurnakan dari model LLaMA 7B pada demonstrasi mengikuti instruksi 52K.
- LoRA - - Implementasi "LoRA: Adaptasi Model Bahasa Besar Tingkat Rendah".
- Dolly - - Model bahasa besar yang dilatih di Platform Pembelajaran Mesin Databricks.
- DeepSpeed - - Pustaka pengoptimalan pembelajaran mendalam yang membuat pelatihan dan inferensi terdistribusi menjadi mudah, efisien, dan efektif.
- LMFlow - - Perangkat yang Dapat Diperluas untuk Penyempurnaan dan Inferensi Model Fondasi Besar. Model Besar untuk Semua.
- Promptify - - Utilitas / takeit untuk rekayasa Prompt.
- GPT Otomatis - - Upaya sumber terbuka eksperimental untuk menjadikan GPT-4 sepenuhnya otonom.
- Jarvis - - Sistem untuk menghubungkan LLM dengan komunitas ML, konektor model komposit melalui antarmuka LLM.
- dalai - - Alat cli untuk menjalankan LLaMA di mesin lokal.
- haystack - -kerangka kerja NLP sumber terbuka untuk berinteraksi dengan data menggunakan model Transformer dan LLM.
- langchain - - Perpustakaan yang membantu pengembangan aplikasi dengan LLM.
- langflow - - UI untuk LangChain, dirancang dengan aliran reaksi untuk menyediakan cara yang mudah untuk bereksperimen dan membuat prototipe aliran.
- deeplake - - Data Lake untuk Pembelajaran Mendalam. Bangun, kelola, kueri, buat versi, & visualisasikan kumpulan data.
- alpaca-lora - - Instruksikan penyetelan LLaMA pada perangkat keras konsumen.
- bosquet - - LLMOps untuk aplikasi berbasis Model Bahasa Besar.
- llama_index - - Sebuah proyek yang menyediakan antarmuka pusat untuk menghubungkan LLM Anda dengan data eksternal.
- gradio - - Pembantu UI untuk model pembelajaran mesin.
- sharegpt - - Ekstensi Chrome sumber terbuka yang memungkinkan Anda berbagi percakapan ChatGPT paling liar dengan satu klik.
- keras-nlp - - Pustaka pemrosesan bahasa alami yang mendukung pengguna melalui seluruh siklus pengembangan mereka.
- Snowkel AI - - Platform data untuk model dasar.
- promptflow - - Perangkat yang menyederhanakan pengembangan aplikasi AI berbasis LLM, mulai dari pembuatan ide hingga penerapan.
⬆️ Ke atas
Alat (Lainnya)
- API PaLM2 - Layanan API yang membuat PaLM2, Model Bahasa Besar (LLM), tersedia untuk Google Cloud Vertex AI.
- Perspective API - Alat yang dapat membantu mengurangi toksisitas dan memastikan dialog online yang sehat.
⬆️ Ke atas
RLHF
- evals - - Daftar pembelajaran penguatan yang dikuratori dengan sumber daya umpan balik manusia.
- trlx - - Repo untuk pelatihan model bahasa terdistribusi dengan Pembelajaran Penguatan melalui Umpan Balik Manusia. (RLHF)
- PaLM-rlhf-pytorch - - Implementasi RLHF (Reinforcement Learning with Human Feedback) di atas arsitektur PaLM.
⬆️ Ke atas
Luar biasa
- Hannibal046/Luar Biasa-LLM
- KennethanCeyer/luar biasa-llm
- f/prompt-obrolan-luar biasa
- promptslab/Rekayasa-Prompt-Luar Biasa
- tensorchord/mengagumkan-open-source-llmops
- opendilab/luar biasa-RLHF
⬆️ Ke atas
Berkontribusi
Kami menyambut kontribusi ke daftar LLMOps Luar Biasa! Jika Anda ingin menyarankan penambahan atau melakukan koreksi, silakan ikuti panduan berikut:
- Cabangkan repositori dan buat cabang baru untuk kontribusi Anda.
- Buat perubahan Anda pada file README.md.
- Pastikan kontribusi Anda relevan dengan topik LLMOps.
- Gunakan format berikut untuk menambahkan kontribusi Anda:
[ Name of Resource ] (Link to Resource) - Description of resource
- Tambahkan kontribusi Anda dalam urutan abjad dalam kategorinya.
- Pastikan kontribusi Anda belum terdaftar.
- Berikan deskripsi singkat tentang sumber daya dan jelaskan mengapa sumber daya tersebut relevan dengan LLMOps.
- Buat permintaan tarik dengan judul dan deskripsi yang jelas tentang perubahan Anda.
Kami menghargai kontribusi Anda dan terima kasih telah membantu membuat daftar LLMOps Luar Biasa menjadi lebih hebat!
⬆️ Ke atas
