Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

Penyempurnaan LLM yang Luar Biasa

Selamat datang di kumpulan sumber daya pilihan untuk menyempurnakan Model Bahasa Besar (LLM) seperti GPT, BERT, RoBERTa, dan berbagai variannya! Di era kecerdasan buatan ini, kemampuan untuk mengadaptasi model terlatih untuk tugas dan domain tertentu telah menjadi keterampilan yang sangat diperlukan bagi para peneliti, ilmuwan data, dan praktisi pembelajaran mesin.

Model Bahasa Besar, yang dilatih pada kumpulan data besar, menangkap beragam pengetahuan dan nuansa linguistik. Namun, untuk mengeluarkan potensi penuhnya dalam aplikasi tertentu, menyempurnakannya pada kumpulan data yang ditargetkan adalah hal yang sangat penting. Proses ini tidak hanya meningkatkan performa model namun juga memastikan bahwa model tersebut selaras dengan konteks, terminologi, dan persyaratan tugas tertentu.

Dalam daftar luar biasa ini, kami telah dengan cermat mengumpulkan berbagai sumber daya, termasuk tutorial, makalah, alat, kerangka kerja, dan praktik terbaik, untuk membantu Anda dalam perjalanan penyesuaian Anda. Apakah Anda seorang praktisi berpengalaman yang ingin memperluas keahlian Anda atau seorang pemula yang ingin memasuki dunia LLM, repositori ini dirancang untuk memberikan wawasan dan pedoman berharga untuk menyederhanakan usaha Anda.

Daftar isi

  • Proyek GitHub
  • Artikel & Blog
  • Kursus Daring
  • Buku
  • Makalah Penelitian
  • Video
  • Alat & Perangkat Lunak
  • Konferensi & Acara
  • Slide & Presentasi
  • Podcast

Proyek GitHub

  • LlamaIndex?: Kerangka data untuk aplikasi LLM Anda. (23010 bintang)
  • Kelopak?: Jalankan LLM di rumah, gaya BitTorrent. Penyempurnaan dan inferensi hingga 10x lebih cepat dibandingkan pembongkaran. (7768 bintang)
  • LLaMA-Factory: Kerangka kerja penyempurnaan LLM yang mudah digunakan (LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, ChatGLM3). (5532 bintang)
  • lit-gpt: Implementasi LLM sumber terbuka canggih berdasarkan nanoGPT yang dapat diretas. Mendukung perhatian flash, kuantisasi 4-bit dan 8-bit, penyempurnaan Adaptor LoRA dan LLaMA, pra-pelatihan. berlisensi Apache 2.0. (3469 bintang)
  • H2O LLM Studio: Kerangka kerja dan GUI tanpa kode untuk menyempurnakan LLM. Dokumentasi: https://h2oai.github.io/h2o-llmstudio/ (2880 bintang)
  • Phoenix: Observabilitas & Evaluasi AI - Evaluasi, pecahkan masalah, dan sempurnakan model LLM, CV, dan NLP Anda di buku catatan. (1596 bintang)
  • Adaptor LLM: Kode untuk Makalah EMNLP 2023: "Adaptor LLM: Rangkaian Adaptor untuk Penyempurnaan Parameter Model Bahasa Besar yang Efisien". (769 bintang)
  • Platipus: Kode untuk menyempurnakan LLM keluarga Platipus menggunakan LoRA. (589 bintang)
  • xtuner: Toolkit untuk menyempurnakan LLM secara efisien (InternLM, Llama, Baichuan, QWen, ChatGLM2). (540 bintang)
  • DB-GPT-Hub: Repositori yang berisi model, kumpulan data, dan teknik penyesuaian untuk DB-GPT, dengan tujuan meningkatkan performa model, terutama dalam Text-to-SQL, dan mencapai akun eksekutif yang lebih tinggi daripada GPT-4 di spider eval dengan 13B LLM menggunakan proyek ini. (422 bintang)
  • LLM-Finetuning-Hub : Repositori yang berisi skrip penyempurnaan dan penerapan LLM beserta temuan penelitian kami. 416
  • Finetune_LLMs : Repo untuk menyempurnakan LLM Kasual. 391
  • MFTCoder : Kerangka kerja penyesuaian multi-tugas dengan Akurasi Tinggi dan efisiensi untuk Code LLM; 业内首个高精度、高效率、多任务、多模型支持、多训练算法，大模型代码能力微调框架. 337
  • llmware : Menyediakan kerangka pengembangan, alat, dan model pengembangan berbasis LLM tingkat perusahaan. 289
  • LLM-Kit : Platform terintegrasi WebUI untuk LLM terbaru | WebUI API, API, dan API, mj文生图,LoRA和全参数微调,数据集制作,live2d等全流程应用工具. 232
  • h2o-wizardlm : Implementasi Open-Source dari WizardLM untuk mengubah dokumen menjadi pasangan Q:A untuk penyempurnaan LLM. 228
  • hcgf : Penyempurnaan model Generatif Obrolan yang Manusiawi | LLM微调. 196
  • llm_qlora : Menyempurnakan LLM menggunakan QLoRA. 136
  • awesome-llm-human-preference-datasets : Daftar kumpulan Data Preferensi Manusia yang dikuratori untuk penyempurnaan LLM, RLHF, dan eval. 124
  • llm_finetuning : Pembungkus yang mudah digunakan untuk menyempurnakan dan inferensi Model Bahasa Besar (LLM) dengan beberapa teknik kuantisasi (GTPQ, bitsandbytes). 114

Artikel & Blog

  • Sempurnakan LLM pada tahun 2024 dengan Hugging Face: TRL dan Flash Perhatian?: Entri blog ini memberikan panduan komprehensif untuk menyempurnakan LLM (misalnya, Llama 2), menggunakan trl wajah memeluk dan perhatian flash pada GPU ukuran konsumen (24GB).
  • Panduan Lengkap Penyempurnaan LLM untuk Pemula : Panduan komprehensif yang menjelaskan proses menyempurnakan model terlatih untuk tugas-tugas baru, mencakup konsep-konsep utama dan memberikan contoh nyata.
  • Menyempurnakan Model Bahasa Besar (LLM): Entri blog ini menyajikan ikhtisar penyempurnaan LLM terlatih, mendiskusikan konsep-konsep penting dan memberikan contoh praktis dengan kode Python.
  • Membuat Pakar Domain LLM: Panduan Penyempurnaan : Artikel yang mendalami konsep penyempurnaan menggunakan API OpenAI, menampilkan contoh penyempurnaan model bahasa besar untuk memahami plot opera Handel.
  • Panduan Pemula untuk Penyempurnaan LLM?: Panduan yang mencakup proses penyempurnaan LLM, termasuk penggunaan alat seperti QLoRA untuk mengonfigurasi dan menyempurnakan model.
  • Grafik Pengetahuan & LLM: Penyempurnaan Vs. Retrieval-Augmented Generation : Entri blog ini mengeksplorasi keterbatasan LLM dan memberikan wawasan untuk menyempurnakannya dalam hubungannya dengan grafik pengetahuan.
  • Sempurnakan LLM pada data pribadi Anda: buat pendongeng “The Lord of the Rings” ✏️: Artikel yang menunjukkan cara melatih LLM Anda sendiri tentang data pribadi, menawarkan kontrol atas informasi pribadi tanpa bergantung pada GPT-4 OpenAI.
  • Menyempurnakan model LLM dengan H2O LLM Studio untuk menghasilkan pernyataan Cypher?: Entri blog ini memberikan contoh menyempurnakan model LLM menggunakan H2O LLM Studio untuk menghasilkan pernyataan Cypher, mengaktifkan aplikasi chatbot dengan grafik pengetahuan.
  • Sempurnakan Model Llama 2 Anda Sendiri di Notebook Colab : Pengantar praktis tentang penyempurnaan LLM, yang mendemonstrasikan cara menerapkannya di notebook Google Colab untuk membuat model Llama 2 Anda sendiri.
  • Sedang memikirkan untuk menyempurnakan LLM? Berikut 3 pertimbangan sebelum Anda memulai : Artikel ini membahas tiga ide yang perlu dipertimbangkan saat menyempurnakan LLM, termasuk cara meningkatkan GPT selain PEFT dan LoRA, dan pentingnya menginvestasikan sumber daya dengan bijak.
  • Pengantar LLM dan AI generatif : Bagian 3—Menyempurnakan LLM dengan instruksi : Artikel ini mengeksplorasi peran LLM dalam aplikasi kecerdasan buatan dan memberikan ikhtisar untuk menyempurnakannya.
  • RAG vs Finetuning — Alat Terbaik untuk Meningkatkan Aplikasi LLM Anda - Sebuah postingan blog yang membahas aspek-aspek yang perlu dipertimbangkan saat membangun aplikasi LLM dan memilih metode yang tepat untuk kasus penggunaan Anda. ?‍
  • Menyempurnakan LLM: RLHF dan alternatifnya (Bagian I) - Artikel yang menampilkan metode alternatif untuk RLHF, khususnya Direct Preference Optimization (DPO).
  • Kapan Anda Harus Menyempurnakan LLM? - Menjelajahi perbandingan antara menyempurnakan LLM sumber terbuka dan menggunakan API tertutup untuk Kueri LLM dalam Skala Besar. ?
  • Menyempurnakan Model Bahasa Besar - Mempertimbangkan penyempurnaan model bahasa besar dan membandingkannya dengan pendekatan zero dan beberapa shot.
  • GPT Pribadi: Menyempurnakan LLM pada Data Perusahaan - Menjelajahi teknik pelatihan yang memungkinkan menyempurnakan LLM pada GPU yang lebih kecil.
  • Sempurnakan Google PaLM 2 dengan Scikit-LLM - Mendemonstrasikan cara menyempurnakan Google PaLM 2, LLM tercanggih dari Google, menggunakan Scikit-LLM. ?
  • Menyelami Lebih Dalam Penyempurnaan Model Bahasa Besar - Blog komprehensif tentang penyempurnaan LLM seperti GPT-4 & BERT, memberikan wawasan, tren, dan manfaat.
  • Pra-pelatihan, fine-tuning dan pembelajaran dalam konteks dalam Model Bahasa Besar - Membahas konsep pra-pelatihan, fine-tuning, dan pembelajaran dalam konteks di LLM.
  • Daftar Model Bahasa Besar Bersumber Terbuka yang Disempurnakan - Daftar LLM bersumber terbuka yang telah dikurasi dan disempurnakan yang dapat dijalankan secara lokal di komputer Anda. ?
  • Panduan praktisi untuk menyempurnakan LLM untuk kasus penggunaan khusus domain - Panduan yang mencakup pembelajaran utama dan kesimpulan tentang menyempurnakan LLM untuk kasus penggunaan khusus domain.
  • Menyempurnakan Llama 3.1 dengan tumpukan produksi di AWS, GCP, atau Azure - Panduan dan tutorial tentang menyempurnakan Llama 3.1 (atau Phi 3.5) dalam penyiapan produksi yang dirancang untuk praktik terbaik MLOps. ?

Kursus Daring

  • Dasar-Dasar Penyempurnaan: Membuka Potensi LLM | Udemy: Kursus praktis untuk pemula dalam membuat model bergaya chatGPT dan mengadaptasinya untuk kasus penggunaan tertentu.
  • AI Generatif dengan Model Bahasa Besar | Coursera: Pelajari dasar-dasar AI generatif dengan LLM dan cara menerapkannya dalam aplikasi praktis. Daftar gratis.
  • Model Bahasa Besar: Penerapan melalui Produksi | edX: Kursus lanjutan bagi pengembang, ilmuwan data, dan insinyur untuk membangun aplikasi yang berpusat pada LLM menggunakan kerangka kerja populer dan mencapai kesiapan produksi ujung ke ujung.
  • Menyempurnakan Model Bahasa Besar | Proyek Terpandu Coursera: Proyek terpandu singkat yang mencakup konsep penyempurnaan penting dan pelatihan model bahasa besar.
  • OpenAI & ChatGPT API: Penyempurnaan Pakar untuk Pengembang | Udemy: Temukan kekuatan GPT-3 dalam menciptakan solusi AI percakapan, termasuk topik seperti rekayasa cepat, penyesuaian, integrasi, dan penerapan model ChatGPT.
  • Sertifikat Profesional Model Bahasa Besar | edX: Pelajari cara membangun dan memproduksi aplikasi berbasis Large Language Model (LLM) menggunakan kerangka kerja, teknik, dan teori terbaru di balik model dasar.
  • Meningkatkan Kinerja LLM Anda Melampaui Fine Tuning | Udemy: Kursus yang dirancang untuk para pemimpin bisnis dan pengembang yang tertarik untuk menyempurnakan model LLM dan mengeksplorasi teknik untuk meningkatkan kinerja mereka.
  • Pengantar Model Bahasa Besar | Coursera: Kursus pembelajaran mikro tingkat pengantar yang ditawarkan oleh Google Cloud, menjelaskan dasar-dasar Model Bahasa Besar (LLM) dan kasus penggunaannya. Daftar gratis.
  • Silabus | LLM101x | edX: Pelajari cara menggunakan penyematan data, database vektor, dan menyempurnakan LLM dengan data khusus domain untuk meningkatkan saluran LLM.
  • Kelas Master Model Pembelajaran Mendalam Penyetelan Kinerja | Udemy: Kelas master dalam menyempurnakan model pembelajaran mendalam, yang mencakup teknik untuk mempercepat pembelajaran dan mengoptimalkan kinerja.
  • Kursus & Sertifikasi Model Bahasa Besar (LLM) Terbaik: Dikurasi dari lembaga pendidikan terkemuka dan pemimpin industri, pilihan kursus LLM ini bertujuan untuk memberikan pelatihan berkualitas bagi individu dan tim perusahaan yang ingin mempelajari atau meningkatkan keterampilan mereka dalam menyempurnakan LLM.
  • Menguasai Model Bahasa: Melepaskan Kekuatan LLM: Dalam kursus komprehensif ini, Anda akan mempelajari prinsip-prinsip dasar NLP dan menjelajahi bagaimana LLM telah mengubah lanskap aplikasi AI. Panduan komprehensif untuk NLP dan LLM tingkat lanjut.
  • Penguasaan LLM: Panduan Lengkap untuk Transformers & AI Generatif: Kursus ini memberikan ikhtisar bagus tentang sejarah AI dan mencakup penyempurnaan tiga model LLM utama: BERT, GPT, dan T5. Cocok bagi mereka yang tertarik dengan AI generatif, LLM, dan aplikasi tingkat produksi.
  • Menjelajahi Teknologi di Balik ChatGPT, GPT4 & LLM: Satu-satunya kursus yang perlu Anda pelajari tentang model bahasa besar seperti ChatGPT, GPT4, BERT, dan banyak lagi. Dapatkan wawasan tentang teknologi di balik LLM ini.
  • Pengantar Non-teknis Model Bahasa Besar: Gambaran umum model bahasa besar untuk individu non-teknis, menjelaskan tantangan yang ada dan memberikan penjelasan sederhana tanpa jargon yang rumit.
  • Model Bahasa Besar: Model Fondasi dari Bawah ke Atas: Selidiki detail model fondasi di LLM, seperti BERT, GPT, dan T5. Dapatkan pemahaman tentang kemajuan terbaru yang meningkatkan fungsionalitas LLM.

Buku

  • AI Generatif dengan Model Bahasa Besar — ​​Kursus Praktis Baru oleh Deeplearning.ai dan AWS
  • Kursus praktik yang mengajarkan cara menyempurnakan Model Bahasa Besar (LLM) menggunakan model penghargaan dan pembelajaran penguatan, dengan fokus pada AI generatif.
  • Dari Seleksi Data Hingga Penyempurnaan: Panduan Teknis Membangun Model LLM
  • Panduan teknis yang mencakup proses pembuatan model LLM, mulai dari pemilihan data hingga penyesuaian.
  • Buku Masak Pengetahuan LLM: Dari, RAG, hingga QLoRA, hingga Penyempurnaan, dan semua Resep Di Antaranya!
  • Buku masak komprehensif yang mengeksplorasi berbagai model LLM, termasuk teknik seperti Retrieve and Generate (RAG) dan Query Language Representation (QLoRA), serta proses penyesuaiannya.
  • Prinsip untuk Menyempurnakan LLM
  • Sebuah artikel yang mengungkap proses penyempurnaan LLM dan mengeksplorasi berbagai teknik, seperti pembelajaran dalam konteks, metode penyempurnaan klasik, penyempurnaan parameter-efisien, dan Pembelajaran Penguatan dengan Umpan Balik Manusia (RLHF).
  • Dari Seleksi Data Hingga Penyempurnaan: Panduan Teknis Membangun Model LLM
  • Panduan teknis yang memberikan wawasan tentang pembuatan dan pelatihan model bahasa besar (LLM).
  • Model Bahasa Besar Praktis
  • Sebuah buku yang membahas kemajuan dalam sistem AI bahasa yang didorong oleh pembelajaran mendalam, dengan fokus pada model bahasa besar.
  • Sempurnakan Llama 2 untuk pembuatan teks di Amazon SageMaker JumpStart
  • Pelajari cara menyempurnakan model Llama 2 menggunakan Amazon SageMaker JumpStart untuk menghasilkan dialog yang dioptimalkan.
  • Penyempurnaan LLaMA 2 yang cepat dan hemat biaya dengan AWS Trainium
  • Sebuah postingan blog yang menjelaskan cara mencapai penyesuaian model LLaMA 2 yang cepat dan hemat biaya menggunakan AWS Trainium.
  • Penyempurnaan - Pembelajaran Mendalam Tingkat Lanjut dengan Python [Buku] : Sebuah buku yang mengeksplorasi tugas penyesuaian setelah tugas pra-pelatihan dalam pembelajaran mendalam tingkat lanjut dengan Python.
  • Buku Masak Pengetahuan LLM: Dari, RAG, hingga QLoRA, hingga Halus... : Panduan komprehensif untuk menggunakan model bahasa besar (LLM) untuk berbagai tugas, yang mencakup segala hal mulai dari dasar hingga teknik penyesuaian tingkat lanjut.
  • Panduan Memulai Cepat untuk Model Bahasa Besar: Strategi dan ... : Panduan yang berfokus pada strategi dan praktik terbaik untuk model bahasa besar (LLM) seperti BERT, T5, dan ChatGPT, yang menampilkan kinerja mereka yang belum pernah terjadi sebelumnya dalam berbagai tugas NLP.
  • 4. Teknik GPT-4 dan ChatGPT Tingkat Lanjut - Mengembangkan Aplikasi ... : Bab yang mendalami teknik tingkat lanjut untuk GPT-4 dan ChatGPT, termasuk rekayasa cepat, pembelajaran zero-shot, pembelajaran beberapa langkah, dan penyelesaian tugas khusus penyetelan.
  • Apa Model Bahasa Besar itu? - Penjelasan LLM AI - AWS : Penjelasan tentang model bahasa besar (LLM), membahas konsep pembelajaran beberapa langkah dan penyesuaian untuk meningkatkan kinerja model.

Makalah Penelitian

  • Adaptor LLM: Keluarga Adaptor untuk Penyetelan Efisien Parameter?: Makalah ini menyajikan Adaptor LLM, kerangka kerja yang mudah digunakan yang mengintegrasikan berbagai adaptor ke dalam LLM untuk penyetelan efisien parameter (PEFT) pada tugas yang berbeda.
  • Penyempurnaan LLM Dua Tahap dengan Spesialisasi Lebih Sedikit?: ProMoT, kerangka kerja penyempurnaan dua tahap, mengatasi masalah spesialisasi format dalam LLM melalui Penyetelan Cepat dengan MODel Tuning, meningkatkan kinerja pembelajaran dalam konteks secara umum.
  • Menyempurnakan Model Bahasa Perusahaan Besar melalui Penalaran Ontologis?: Makalah ini mengusulkan arsitektur neurosimbolik yang menggabungkan Model Bahasa Besar (LLM) dengan Grafik Pengetahuan Perusahaan (EKG) untuk mencapai penyesuaian LLM khusus domain.
  • QLoRA: Penyempurnaan Efisien dari LLM Terkuantisasi?: QLoRA adalah pendekatan penyempurnaan efisien yang mengurangi penggunaan memori sekaligus menjaga kinerja tugas, menawarkan wawasan tentang model bahasa terkuantisasi yang telah dilatih sebelumnya.
  • Penyempurnaan Parameter Penuh untuk Model Bahasa Besar dengan Sumber Daya Terbatas?: Karya ini memperkenalkan LOMO, teknik pengoptimalan memori rendah, yang memungkinkan penyempurnaan parameter penuh LLM besar dengan sumber daya GPU terbatas.
  • LoRA: Adaptasi Tingkat Rendah dari Model Bahasa Besar?: LoRA mengusulkan metodologi untuk mengadaptasi model besar yang telah dilatih sebelumnya untuk tugas-tugas tertentu dengan memasukkan matriks dekomposisi peringkat yang dapat dilatih ke dalam setiap lapisan, mengurangi jumlah parameter yang dapat dilatih sambil mempertahankan kualitas model.
  • Meningkatkan LLM dengan Penyempurnaan Evolusioner untuk Pembuatan Ringkasan Berita?: Makalah ini menyajikan paradigma baru untuk pembuatan ringkasan berita menggunakan LLM, menggabungkan algoritma genetika dan kemampuan pemahaman bahasa alami yang kuat.
  • Bagaimana bahasa saling mempengaruhi? Mempelajari berbagi data lintas bahasa selama penyempurnaan LLM?: Studi ini menyelidiki berbagi data lintas bahasa selama penyempurnaan model bahasa besar multibahasa (MLLM) dan menganalisis pengaruh berbagai bahasa terhadap kinerja model.
  • Menyempurnakan Model Bahasa dengan Just Forward Passes?: MeZO, pengoptimal urutan nol yang hemat memori, memungkinkan penyempurnaan model bahasa besar sekaligus mengurangi kebutuhan memori secara signifikan.
  • Belajar Menalarkan Grafik Adegan: Studi Kasus Penyempurnaan LLM?: Karya ini mengeksplorasi penerapan LLM GPT-2 dalam perencanaan tugas robot, menunjukkan potensi penggunaan LLM dalam skenario perencanaan tugas cakrawala panjang.
  • Menyempurnakan Model Bahasa Besar Secara Pribadi dengan: Makalah ini mengeksplorasi penerapan privasi diferensial untuk menambahkan jaminan privasi pada penyempurnaan model bahasa besar (LLM).
  • DISC-LawLLM: Menyempurnakan Model Bahasa Besar untuk Sistem Hukum Cerdas: Makalah ini menyajikan DISC-LawLLM, sebuah sistem hukum cerdas yang memanfaatkan LLM yang telah disesuaikan dengan kemampuan penalaran hukum untuk menyediakan berbagai layanan hukum.
  • Penyetelan Instruksi Multi-Tugas LLaMa untuk Skenario Tertentu: A: Makalah ini menyelidiki efektivitas penyempurnaan LLaMa, sebuah LLM dasar, pada tugas menulis tertentu, yang menunjukkan peningkatan signifikan dalam kemampuan menulis.
  • Melatih model bahasa untuk mengikuti instruksi dengan masukan manusia: Makalah ini mengusulkan metode untuk menyelaraskan model bahasa dengan maksud pengguna dengan menyempurnakannya menggunakan masukan manusia, sehingga menghasilkan model yang lebih disukai daripada model yang lebih besar dalam evaluasi manusia.
  • Model Bahasa Besar Dapat Berkembang Sendiri: Makalah ini menunjukkan bahwa LLM dapat meningkatkan kemampuan penalaran mereka sendiri dengan menyempurnakan penggunaan solusi yang dihasilkan sendiri, mencapai kinerja canggih tanpa label kebenaran dasar.
  • Merangkul Model Bahasa Besar untuk Aplikasi Medis: Makalah ini menyoroti potensi LLM yang disesuaikan dalam aplikasi medis, meningkatkan akurasi diagnostik dan mendukung pengambilan keputusan klinis.
  • Menskalakan Model Bahasa yang Diselesaikan dengan Instruksi: Makalah ini mengeksplorasi penyempurnaan instruksi pada LLM, menunjukkan peningkatan signifikan dalam kinerja dan generalisasi pada tugas-tugas yang tidak terlihat.
  • Penyempurnaan Terfederasi Model Bahasa Berukuran Miliaran di seluruh: Karya ini memperkenalkan FwdLLM, protokol pembelajaran gabungan yang dirancang untuk meningkatkan efisiensi penyempurnaan LLM besar pada perangkat seluler, meningkatkan memori dan efisiensi waktu.
  • Tinjauan Komprehensif Model Bahasa Besar: Makalah ini memberikan gambaran umum tentang pengembangan dan penerapan model bahasa besar dan kemampuan pembelajaran transfernya.
  • Menyempurnakan model bahasa untuk menemukan kesepakatan di antara manusia dengan: Makalah ini mengeksplorasi penyempurnaan LLM besar untuk menghasilkan pernyataan konsensus yang memaksimalkan persetujuan untuk sekelompok orang dengan beragam pendapat.

Video

  • Pengantar Model Bahasa Besar oleh Andrej Karpathy: Ini adalah pengenalan 1 jam tentang Model Bahasa Besar. Apa sebenarnya sistem tersebut, tujuannya, perbandingan dan analoginya dengan sistem operasi masa kini, dan beberapa tantangan terkait keamanan dari paradigma komputasi baru ini.
  • Menyempurnakan Llama 2 pada Kumpulan Data Anda Sendiri | Latih LLM untuk ...: Pelajari cara menyempurnakan model Llama 2 pada kumpulan data khusus.
  • Menyempurnakan LLM dengan QLoRA pada GPU Tunggal: Melatih Falcon-7b di ...: Video ini mendemonstrasikan proses penyempurnaan LLM Falcon 7b menggunakan QLoRA.
  • Menyempurnakan LLM menggunakan PEFT | Pengantar Bahasa Besar...: Temukan cara menyempurnakan LLM menggunakan PEFT, sebuah teknik yang membutuhkan lebih sedikit sumber daya.
  • LLM Sumber Terbuka LLAMA-2: Penyempurnaan Khusus Menjadi Mudah di ...: Panduan langkah demi langkah tentang cara menyempurnakan model LLama 2 LLM pada kumpulan data khusus Anda.
  • Kursus Baru: Menyempurnakan Model Bahasa Besar - YouTube: Video ini memperkenalkan kursus tentang menyempurnakan LLM, yang mencakup pemilihan model, persiapan data, pelatihan, dan evaluasi.
  • T: Cara membuat Kumpulan Data Instruksi untuk Menyempurnakan LLM saya...: Dalam tutorial ini, para pemula belajar tentang menyempurnakan LLM, termasuk kapan, bagaimana, dan mengapa melakukannya.
  • LLM Modul 4: Menyempurnakan dan Mengevaluasi LLM | 4.13.1 Notebook ...: Demo notebook tentang menyempurnakan dan mengevaluasi LLM.
  • Penyempurnaan/Penyesuaian/Penyesuaian LLM Google - Memulai...: Mulailah menyempurnakan model bahasa besar PaLM 2 Google melalui panduan langkah demi langkah.
  • Pra-pelatihan vs Penyempurnaan vs Pembelajaran Dalam Konteks LLM (GPT-x ...: Panduan utama yang menjelaskan pra-pelatihan, penyempurnaan, dan pembelajaran LLM dalam konteks seperti GPT-x.
  • Cara Menyempurnakan LLM dengan PDF - Tutorial Langchain - YouTube: Pelajari cara menyempurnakan GPT LLM OpenAI untuk memproses dokumen PDF menggunakan perpustakaan Langchain dan PDF.
  • EasyTune Walkthrough - YouTube - Panduan menyempurnakan LLM dengan QLoRA pada satu GPU menggunakan Falcon-7b.
  • Membuka Potensi Pelajaran ChatGPT dalam Pelatihan dan Halus ... - SISWA menyajikan instruksi penyempurnaan dan pembelajaran LLM dalam konteks dengan simbol.
  • Berita AI: Membuat LLM tanpa kode! - YouTube - Maya Akim membahas 5 kasus penggunaan fine-tuning LLM teratas yang perlu Anda ketahui.
  • 5 Kasus Penggunaan Penyempurnaan LLM Teratas yang Perlu Anda Ketahui - YouTube - Video mendalam yang menyoroti 5 kasus penggunaan penyempurnaan LLM teratas dengan tautan tambahan untuk eksplorasi lebih lanjut.
  • clip2 llm emory - YouTube - Pelajari cara menyempurnakan Llama 2 pada kumpulan data Anda sendiri dan latih LLM untuk kasus penggunaan spesifik Anda.
  • Cara TERMUDAH untuk menyempurnakan LLAMA-v2 di mesin lokal! - YouTube - Panduan video langkah demi langkah yang menunjukkan cara termudah, paling sederhana, dan tercepat untuk menyempurnakan LLAMA-v2 di mesin lokal Anda untuk kumpulan data khusus.
  • Pelatihan & Penyempurnaan LLM: Pendahuluan - YouTube - Pengantar pelatihan dan penyempurnaan LLM, termasuk konsep penting dan Tantangan Efisiensi NeurIPS LLM.
  • Menyempurnakan LLM dengan PEFT dan LoRA - YouTube - Video komprehensif yang mengeksplorasi cara menggunakan PEFT untuk menyempurnakan model GPT gaya decoder, termasuk dasar-dasar penyempurnaan dan pengunggahan LoRA.
  • Membangun dan Mengkurasi Kumpulan Data untuk Penyempurnaan RLHF dan LLM ... - Pelajari tentang pembuatan dan kurasi kumpulan data untuk penyempurnaan RLHF (Pembelajaran Penguatan dari Umpan Balik Manusia) dan LLM (Model Bahasa Besar), dengan sponsor dari Argilla.
  • Menyempurnakan LLM (OpenAI GPT) dengan Data Khusus dengan Python - YouTube - Jelajahi cara memperluas LLM (OpenAI GPT) dengan menyempurnakannya menggunakan kumpulan data khusus untuk menyediakan Tanya Jawab, ringkasan, dan fungsi serupa ChatGPT lainnya.

Alat & Perangkat Lunak

  • Penyetelan Efisien LLaMA : Kerangka kerja penyempurnaan LLM yang mudah digunakan (LLaMA-2, BLOOM, Falcon).
  • H2O LLM Studio: Kerangka kerja dan GUI tanpa kode untuk menyempurnakan LLM.
  • PEFT : Metode Penyempurnaan Efisien Parameter (PEFT) untuk adaptasi model bahasa terlatih yang efisien ke aplikasi hilir.
  • Model mirip ChatGPT : Jalankan model mirip ChatGPT cepat secara lokal di perangkat Anda.
  • Kelopak: Jalankan model bahasa besar seperti BLOOM-176B secara kolaboratif, memungkinkan Anda memuat sebagian kecil model dan bekerja sama dengan orang lain untuk inferensi atau penyesuaian. ?
  • NVIDIA NeMo: Perangkat untuk membangun model AI percakapan canggih dan dirancang khusus untuk Linux.
  • H2O LLM Studio: Kerangka kerja dan alat GUI tanpa kode untuk menyempurnakan model bahasa besar di Windows. ?️
  • Ludwig AI: Kerangka kerja kode rendah untuk membangun LLM khusus dan jaringan saraf dalam lainnya. Latih LLM canggih dengan mudah menggunakan file konfigurasi YAML deklaratif. ?
  • bert4torch: Implementasi transformator PyTorch yang elegan. Memuat berbagai bobot model besar sumber terbuka untuk penalaran dan penyesuaian.
  • Alpaca.cpp: Jalankan model cepat seperti ChatGPT secara lokal di perangkat Anda. Kombinasi model dasar LLaMA dan reproduksi terbuka Stanford Alpaca untuk penyesuaian yang disesuaikan dengan instruksi. ?
  • promptfoo: Evaluasi dan bandingkan keluaran LLM, tangkap regresi, dan tingkatkan petunjuk menggunakan evaluasi otomatis dan masukan pengguna yang representatif.

Konferensi & Acara

  • Percakapan ML/AI: Neuro-Symbolic AI - Alternatif untuk LLM - Pertemuan ini akan membahas pengalaman menyempurnakan LLM dan mengeksplorasi AI neuro-simbolis sebagai alternatif.
  • AI Dev Day - Seattle, Sen, 30 Okt 2023, 17.00 - Pembicaraan teknologi tentang observabilitas LLM yang efektif dan peluang penyesuaian menggunakan penelusuran kesamaan vektor.
  • Acara DeepLearning.AI - Serangkaian acara termasuk mitigasi halusinasi LLM, menyempurnakan LLM dengan PyTorch 2.0 dan ChatGPT, dan program pendidikan AI.
  • AI Dev Day - New York, Kam, 26 Okt 2023, 17.30 - Pembicaraan teknologi tentang praktik terbaik dalam aplikasi GenAI dan penggunaan LLM untuk notifikasi yang dipersonalisasi dan real-time.
  • Obrolan LLM & Agen AI - Gunakan Gen AI untuk Membangun Sistem dan Agen AI - Acara yang berfokus pada LLM, agen AI, dan data rantai, dengan peluang interaksi melalui obrolan acara.
  • Grup Pengembang NYC AI/LLM/ChatGPT - Pembicaraan/lokakarya teknologi reguler untuk pengembang yang tertarik dengan AI, LLM, ChatGPT, NLP, ML, Data, dll.
  • Memanfaatkan LLM untuk Data Perusahaan, Sel, 14 Nov 2023, 14.00 - Pelajari strategi LLM penting yang disesuaikan untuk aplikasi data non-publik, termasuk rekayasa dan pengambilan cepat.
  • Pertemuan Pembelajaran Mesin Terapan Bellevue - Pertemuan yang berfokus pada teknik pembelajaran mesin terapan dan meningkatkan keterampilan ilmuwan data dan praktisi ML.
  • Pertemuan AI & Teknik Cepat Munich, Do., 5. Okt. 2023, 18:15 - Memperkenalkan H2O LLM Studio untuk menyempurnakan LLM dan mempertemukan penggemar AI dari berbagai latar belakang.
  • Grup Pengembang AI/ML/Data Seattle - Pembicaraan teknologi tentang mengevaluasi agen LLM dan mempelajari AI/ML/Data melalui praktik.
  • Dojo Ilmu Data - DC | Pertemuan: Ini adalah grup pertemuan berbasis di DC untuk para profesional bisnis yang tertarik untuk mengajar, belajar, dan berbagi pengetahuan dan pemahaman tentang ilmu data.
  • Temukan Acara & Grup Ilmu Data di Dubai, AE: Temukan acara dan grup ilmu data di Dubai, AE, untuk terhubung dengan orang-orang yang memiliki minat yang sama dengan Anda.
  • Pertemuan AI (secara langsung): AI Generatif dan LLM - Edisi Halloween: Bergabunglah dalam pertemuan AI ini untuk diskusi teknologi tentang AI generatif dan Model Bahasa Besar (LLM), termasuk alat sumber terbuka dan praktik terbaik.
  • ChatGPT Unleashed: Demo Langsung dan Praktik Terbaik untuk NLP: Acara online ini mengeksplorasi peretasan penyempurnaan untuk Model Bahasa Besar dan menampilkan aplikasi praktis ChatGPT dan LLM.
  • Temukan Acara & Grup Ilmu Data di Pune, IN: Jelajahi acara dan grup online atau tatap muka yang terkait dengan ilmu data di Pune, IN.
  • Grup Pengembang DC AI/ML/Data | Pertemuan: Grup ini bertujuan untuk mempertemukan para penggemar AI di wilayah DC untuk mempelajari dan mempraktikkan teknologi AI, termasuk AI, pembelajaran mesin, pembelajaran mendalam, dan ilmu data.
  • Grup Pengembang AI/LLM/ChatGPT Boston | Pertemuan: Bergabunglah dengan grup ini di Boston untuk mempelajari dan mempraktikkan teknologi AI seperti LLM, ChatGPT, pembelajaran mesin, pembelajaran mendalam, dan ilmu data.
  • Paris NLP | Pertemuan: Pertemuan ini berfokus pada penerapan pemrosesan bahasa alami (NLP) di berbagai bidang, membahas teknik, penelitian, dan penerapan pendekatan NLP baik tradisional maupun modern.
  • Grup Pengembang SF AI/LLM/ChatGPT | Pertemuan: Terhubung dengan para penggemar AI di wilayah San Francisco/Bay untuk mempelajari dan mempraktikkan teknologi AI, termasuk LLM, ChatGPT, NLP, pembelajaran mesin, pembelajaran mendalam, dan ilmu data.
  • Pertemuan AI (Tatap muka): GenAI dan LLM untuk Kesehatan: Hadiri pembicaraan teknologi tentang penerapan LLM dalam perawatan kesehatan dan pelajari tentang kemenangan cepat dalam menggunakan LLM untuk tugas-tugas yang berhubungan dengan kesehatan.

Slide & Presentasi

  • Menyempurnakan LM besar: Presentasi yang membahas proses menyempurnakan model bahasa besar seperti GPT, BERT, dan RoBERTa.
  • LLaMa 2.pptx: Slide memperkenalkan LLaMa 2, penerus model bahasa besar yang dikembangkan oleh Meta AI.
  • LLM.pdf: Presentasi mengeksplorasi peran Transformers di NLP, dari BERT hingga GPT-3.
  • Bootcamp Model Bahasa Besar: Slide bootcamp yang mencakup berbagai aspek model bahasa besar, termasuk pelatihan dari awal dan penyempurnaan.
  • LHC Dijelaskan oleh CNN: Slide yang menjelaskan LHC (Large Hadron Collider) menggunakan CNN dan menyempurnakan model gambar.
  • Menggunakan Model Bahasa Besar dalam 10 Baris Kode: Presentasi yang mendemonstrasikan cara menggunakan model bahasa besar hanya dalam 10 baris kode.
  • Adaptor LLaMA: Penyempurnaan Model Bahasa yang Efisien dengan Perhatian Init Nol.pdf: Slide yang membahas Adaptor LLaMA, teknik efisien untuk menyempurnakan model bahasa dengan perhatian init nol.
  • Pengantar LLM: Presentasi yang memberikan pengenalan model bahasa besar, termasuk model dasar dan penyesuaian dengan pasangan penyelesaian cepat.
  • Penyempurnaan LLM (東大松尾研LLM講座 Hari5資料) - Dek Speaker: Slide yang digunakan untuk ceramah tentang penyempurnaan model bahasa besar, khususnya untuk 東大松尾研サマースクール2023.
  • Otomatiskan Pekerjaan dan Bisnis Anda dengan ChatGPT #3: Presentasi membahas dasar-dasar ChatGPT dan penerapannya untuk otomatisasi pekerjaan dan tugas bisnis.
  • Membuka Kekuatan AI Generatif Panduan Eksekutif.pdf - Panduan yang menjelaskan proses penyempurnaan Model Bahasa Besar (LLM) untuk menyesuaikannya dengan kebutuhan organisasi.
  • Sempurnakan dan terapkan model Hugging Face NLP | PPT - Presentasi yang memberikan wawasan tentang cara membangun dan menerapkan model LLM menggunakan Hugging Face NLP.
  • 大規模言語モデル時代のHuman-in-the-Loop機械学習 - Speaker Deck - Dek slide yang membahas proses penyempurnaan Model Bahasa untuk menemukan kesepakatan di antara manusia dengan preferensi yang beragam.
  • Seri AI dan ML - Pengantar AI Generatif dan LLM | PPT - Presentasi yang memperkenalkan AI Generatif dan LLM, termasuk penggunaannya dalam aplikasi tertentu.
  • Retrieval Augmented Generation dalam Praktik: GenAI yang Dapat Diskalakan... - Presentasi yang membahas kasus penggunaan AI Generatif, batasan Model Bahasa Besar, dan penggunaan Retrieval Augmented Generation (RAG) serta teknik penyempurnaan.
  • Final Presentasi LLM | PPT - Presentasi yang mencakup Child & Family Agency Act 2013 dan Prinsip Kepentingan Terbaik dalam konteks LLM.
  • Adaptasi Paradigma LLM dalam Sistem Rekomendasi.pdf - PDF yang menjelaskan proses penyesuaian dan adaptasi objektif dalam sistem rekomendasi berbasis LLM.
  • AI Percakapan dengan Model Transformer | PPT - Presentasi yang menyoroti penggunaan Model Transformer dalam aplikasi AI Percakapan.
  • Indeks Llama | PPT - Presentasi tentang kebangkitan LLM dan pembangunan aplikasi yang didukung LLM.
  • Adaptor LLaMA: Penyempurnaan Model Bahasa yang Efisien dengan Perhatian Zero-init.pdf - PDF yang membahas penyempurnaan Model Bahasa yang efisien dengan perhatian zero-init menggunakan LLaMA.

Podcast

  • AI Praktis: Pembelajaran Mesin, Ilmu Data - Menjadikan kecerdasan buatan praktis, produktif, dan dapat diakses oleh semua orang. Terlibat dalam diskusi yang hidup tentang AI, pembelajaran mesin, pembelajaran mendalam, jaringan saraf, dan banyak lagi. Wawasan yang dapat diakses dan skenario dunia nyata untuk pemula dan praktisi berpengalaman.
  • Perbedaan Pendapat Gradien: Menjelajahi Pembelajaran Mesin, AI, Pembelajaran Mendalam - Lihat di balik layar untuk belajar dari para pemimpin industri tentang bagaimana mereka menerapkan pembelajaran mendalam dalam skenario dunia nyata. Dapatkan wawasan tentang industri pembelajaran mesin dan tetap diperbarui dengan tren terbaru.
  • Weaviate Podcast - Bergabunglah dengan Connor Shorten untuk seri Weaviate Podcast, menampilkan wawancara dengan para ahli dan diskusi tentang topik terkait AI.
  • Ruang Laten: Podcast Insinyur AI - Codegen, Agen, Visi Komputer, Ilmu Data, AI UX dan All Things Software 3.0 - Selami Dunia Teknik AI, mencakup topik -topik seperti pembuatan kode, visi komputer, ilmu data, dan kemajuan terbaru di ai ux.
  • Pembelajaran tanpa pengawasan - mendapatkan wawasan tentang lanskap AI yang berkembang pesat dan dampaknya pada bisnis dan dunia. Jelajahi diskusi tentang aplikasi LLM, tren, dan teknologi mengganggu.
  • Podcast Twiml AI (sebelumnya minggu ini dalam pembelajaran mesin) - menyelam jauh ke dalam pendekatan penyempurnaan yang digunakan dalam kemampuan dan keterbatasan AI, LLM, dan belajar dari para ahli di lapangan.
  • AI dan Masa Depan Pekerjaan di Apple Podcasts: Podcast yang diselenggarakan oleh SC Moatti yang membahas dampak AI pada masa depan pekerjaan.
  • AI Praktis: Pembelajaran Mesin, Ilmu Data: Menyempurnakan VS RAG: Episode ini mengeksplorasi perbandingan antara penyesuaian dan pengambilan generasi augmented dalam pembelajaran mesin dan ilmu data.
  • Pembelajaran tanpa pengawasan di podcast Apple: Episode 20 menampilkan wawancara dengan CEO Anthropic Dario Amodei tentang masa depan AGI dan AI.
  • Makalah membaca di AI | Podcast di Spotify: Podcast ini membuat Anda diperbarui dengan tren terbaru dan arsitektur berkinerja terbaik di bidang ilmu komputer.
  • Hari ini di AI Podcast di Apple Podcasts: mencakup berbagai topik terkait AI, podcast ini menawarkan wawasan menarik tentang dunia AI.
  • Semua tentang mengevaluasi aplikasi LLM // Shahul ES // #179 MLOPS: Dalam episode ini, Shahul ES membagikan keahliannya tentang evaluasi dalam model sumber terbuka, termasuk wawasan tentang debugging, pemecahan masalah, dan tolok ukur.
  • AI Daily on Apple Podcasts: Dipandu oleh Conner, Ethan, dan Farb, podcast ini mengeksplorasi cerita yang terkait dengan AI yang menarik.
  • Video Yannic Kilcher (hanya audio) | Podcast di Spotify: Yannic Kilcher membahas makalah penelitian pembelajaran mesin, pemrograman, dan dampak AI yang lebih luas di masyarakat.
  • Podcast Kurasi Kurangwrong | Podcast di Spotify: Versi audio dari posting yang dibagikan di buletin yang dikuratori kurang.
  • Sai: Podcast Keamanan dan AI di Apple Podcasts: Sebuah episode yang berfokus pada program hibah cybersecurity openai.

Versi awal dari daftar yang luar biasa ini dihasilkan dengan bantuan generator daftar yang luar biasa. Ini adalah paket Python open-source yang menggunakan kekuatan model GPT untuk secara otomatis mengkuratori dan menghasilkan titik awal untuk daftar sumber daya yang terkait dengan topik tertentu.

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua