llm_finetuning_and_evaluation

Penyetelan dan evaluasi LLM?

Selamat datang di repositori fine-tuning dan evaluasi LLM ! ? Di sini, kami menggali jauh ke dalam dunia yang menarik dari penyempurnaan dan evaluasi model bahasa besar (LLM) , dengan fokus pada teknik mutakhir untuk mengadaptasi model seperti Flan-T5 , Tinyllama , dan Aguila7b untuk beragam tugas pemrosesan bahasa alami (NLP) . ?

Karena LLMS menjadi bagian integral dari aplikasi AI modern, kemampuan untuk menyempurnakan dan mengevaluasi model-model ini secara efektif tidak pernah lebih penting. Repositori ini dirancang untuk membantu Anda menavigasi kompleksitas kustomisasi model, menawarkan wawasan dan alat praktis untuk meningkatkan kinerja, akurasi, dan tanggung jawab etis model Anda.

Apakah Anda sedang mengerjakan:

• Ringkasan teks panjang dalam berbagai bahasa ?,
• Dokumen hukum menyusun dengan presisi dan efisiensi ⚖️?,
• Sistem Penjawab Pertanyaan untuk Layanan Pelanggan?,
• Atau model yang menyempurnakan untuk menghindari menghasilkan konten berbahaya atau ofensif? ️,

Repositori ini menyediakan sumber daya untuk meningkatkan proyek Anda ke tingkat berikutnya.

Saya ingin menyampaikan rasa terima kasih saya yang tulus kepada Santiago Hernández, seorang ahli dalam keamanan siber dan kecerdasan buatan. Kursusnya yang luar biasa tentang pembelajaran mendalam dan generatif AI, tersedia di Udemy, berperan penting dalam membentuk pengembangan proyek ini.

Lebih detail

Untuk informasi komprehensif tentang proyek ini, lihat artikel medium ini.

Apa di dalamnya?

• Notebook untuk fine-tuning: Jelajahi notebook terperinci tentang cara menyempurnakan model seperti Flan-T5 dan Tinyllama untuk melakukan tugas-tugas tertentu, seperti merangkum artikel surat kabar Spanyol atau menghindari generasi bahasa yang berbahaya. ??
• Teknik Evaluasi: Pelajari tentang berbagai metode untuk mengevaluasi kinerja model fine-tuned Anda, termasuk metrik dan praktik terbaik. ?
• Fine-tuning Instruksi: Temukan cara memanfaatkan pelatihan berbasis instruksi untuk meningkatkan kemampuan model untuk aplikasi yang ditargetkan.
• Parameter fine-tuning efisien dengan qlora: pahami cara menerapkan qlora untuk penyempurnaan model bahasa yang efisien, terutama dalam konteks bantuan hukum. ⚖️

Memulai

Untuk memulai, lihat buku catatan untuk panduan langkah demi langkah tentang penyempurnaan dan evaluasi model:

• Instruction_Fine_Tuning_LLM_T5.ipynb : Instruksi terperinci tentang fine-t5-t5 untuk meringkas ringkasan Spanyol.
• Evaluation_and_Analysis_T5_Familiy_LLMs.ipynb : wawasan untuk mengevaluasi dan menganalisis berbagai model T5. ?
• Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb : Pelajari tentang penyesuaian dengan Qlora untuk tugas-tugas khusus seperti menyusun dokumen hukum. ⚖️
• TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb : Jelajahi proses penyempurnaan tinyllama menggunakan PPO dan RLHF untuk menghindari bahasa yang berbahaya atau ofensif. ? ️
• Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb : Evaluasi model yang disesuaikan dalam kerangka kerja ilenia , termasuk proyek Aguila7b dan Latxa.

Tinyllama yang menyempurnakan dengan PPO untuk RLHF: Menghindari bahasa yang berbahaya atau ofensif? ️

Dalam studi baru ini, tujuan utamanya adalah menyempurnakan Tinyllama menggunakan teknik optimasi kebijakan proksimal (PPO) yang dikombinasikan dengan pembelajaran penguatan dari umpan balik manusia (RLHF) . Tujuannya adalah untuk memperbaiki kemampuan model untuk menghindari menghasilkan bahasa yang berbahaya, ofensif, atau beracun sambil mempertahankan generasi konten yang bermakna.

Sorotan penelitian:

• Tujuan penyempurnaan: Menerapkan RLHF untuk membuat Tinyllama lebih sensitif terhadap keselamatan bahasa, dengan fokus menghilangkan elemen beracun dan ofensif dari output yang dihasilkan.
• Konfigurasi Model: Memanfaatkan PPO, teknik pembelajaran penguatan, untuk mengoptimalkan fungsi hadiah Tinyllama untuk menghasilkan bahasa yang tidak ofensif.
• Evaluasi: Tugas peringkasan digunakan untuk menguji perilaku model dalam skenario dialog, dan tinyllama yang disesuaikan menunjukkan pengurangan yang signifikan dalam bahasa ofensif sambil mempertahankan koherensi dalam outputnya.

Untuk pemahaman yang komprehensif tentang metodologi dan hasil, lihat notebook: TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb .

Evaluasi Model Bahasa Besar yang Diturutkan untuk Ilenia

Proyek Ilenia adalah bagian dari Proyek Strategis Spanyol untuk Pemulihan dan Transformasi Ekonomi (TETTE) , yang berfokus pada pengembangan sumber daya multibahasa untuk Ekonomi Bahasa Baru (NEL) . Inisiatif ini mendukung penggunaan bahasa Spanyol dan bahasa resmi lainnya untuk mendorong pertumbuhan ekonomi dan daya saing internasional di bidang -bidang seperti AI, terjemahan, dan pendidikan.

Sebagai bagian dari upaya ini, kami mengevaluasi LLM dari proyek Aguila7b dan Latxa , yang dirancang untuk tugas pemrosesan teks dan pidato. Evaluasi ini berfokus pada kinerja model, memastikan mereka selaras dengan kebutuhan sosial dan teknologi, terutama dalam konteks multibahasa dan lintas-bahasa.

Aspek kunci:

• Multilingualisme dan transfer lintas-bahasa: Model dievaluasi untuk kemampuan mereka menangani data teks dan ucapan di berbagai bahasa.
• Garis Waktu Proyek: Ilenia mencakup 36 bulan dan dipimpin oleh Barcelona Supercomputing Center (BSC-CNS) .
• Optimalisasi Sumber Daya: Penyesuaian LLMS memastikan pembuatan model yang efisien, mengoptimalkan biaya dan sumber daya komputasi.

Untuk analisis mendalam, lihat buku catatan: Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb .

Evaluasi dan Analisis LLMS Keluarga T5 Pra-Terlatih: Memanfaatkan Teknik Prompt dan Contoh Beberapa-Tempat untuk Menyetel

Dalam dunia pemrosesan bahasa alami (NLP) yang berkembang cepat, memanfaatkan model bahasa pra-terlatih telah menjadi penting untuk meningkatkan kinerja di berbagai tugas. ? Di antara ini, keluarga model T5 menonjol karena keserbagunaan dan efektivitasnya dalam menangani berbagai tugas bahasa. Studi ini menyelidiki evaluasi dan analisis model T5 yang sudah terlatih, dengan fokus pada bagaimana rekayasa cepat dan beberapa contoh tembakan dapat digunakan untuk menyempurnakan model-model ini. ?

Keluarga T5, termasuk model-model seperti T5-Base, T5-Large, dan Flan-T5, telah menunjukkan kemampuan yang mengesankan dalam pembuatan teks, menjawab pertanyaan, dan terjemahan. Namun, selalu ada ruang untuk optimasi. Menyempurnakan model-model ini menggunakan rekayasa cepat-mendesain dan menyusun petunjuk input-bersama dengan beberapa pembelajaran shot, menawarkan metode yang kuat untuk meningkatkan kinerja mereka tanpa pelatihan ulang yang luas.

Dalam karya ini, kami benar-benar mengevaluasi model T5 yang berbeda, mengeksplorasi bagaimana berbagai teknik rekayasa cepat dan pengaturan pembelajaran beberapa shot mempengaruhi kinerja mereka. Tujuan kami adalah mengungkap praktik terbaik untuk menyempurnakan model pra-terlatih untuk unggul dalam aplikasi dunia nyata. Dengan menganalisis kekuatan dan keterbatasan masing-masing model dalam kondisi cepat yang berbeda, penelitian ini bertujuan untuk memberikan wawasan yang berharga untuk mengoptimalkan LLM berbasis T5 untuk beragam tugas NLP. ?

Untuk panduan terperinci dari proses evaluasi dan temuan, silakan merujuk ke notebook: Evaluation_and_Analysis_T5_Family_LLMs.ipynb .

Fine-tuning Instruksi untuk Ringkasan Artikel Surat Kabar Spanyol Menggunakan Flan-T5-Small

Selamat datang di proyek ini untuk meningkatkan model bahasa Flan-T5-Small untuk merangkum artikel surat kabar Spanyol! ? Dalam panduan ini, kami fokus pada instruksi menyempurnakan model Flan-T5-Small untuk meningkatkan kemampuannya untuk menghasilkan ringkasan ringkas dan akurat konten berita dalam bahasa Spanyol.

Notebook Instruction_Fine_Tuning_LLM_T5.ipynb memberikan panduan terperinci dari seluruh proses. Itu mencakup:

• Persiapan Data: Cara Mengurat dan Mempersiapkan Dataset Artikel Surat Kabar Spanyol dan Ringkasannya.
• Konfigurasi Model: Menyiapkan model Flan-T5-Small untuk fine-tuning berbasis instruksi.
• Proses penyempurnaan: Langkah-langkah untuk menyempurnakan model khusus untuk tugas peringkasan.
• Evaluasi: Menilai kinerja model yang disesuaikan dengan ringkasan.

Dengan mengikuti instruksi dalam buku catatan, Anda akan belajar cara menyesuaikan model pra-terlatih yang kuat ini untuk secara efektif menangani peringkasan teks Spanyol, memungkinkannya untuk memberikan ringkasan artikel berita yang jelas dan koheren. ? ️

Untuk panduan yang komprehensif, lihat notebook Instruction_Fine_Tuning_LLM_T5.ipynb . Nikmati menjelajahi dan menyempurnakan! ?

Parameter fine-tuning efisien dengan qlora untuk bantuan hukum ⚖️

Bagian ini memperkenalkan konsep parameter efisien fine-tuning (PEFT) menggunakan qlora untuk meningkatkan model bahasa dalam konteks hukum. Qlora (adaptasi rendah terukur) dirancang untuk secara efisien menyempurnakan model bahasa besar dengan parameter yang lebih sedikit, mengurangi persyaratan komputasi dan memori.

Notebook Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb merinci yang berikut:

• Konfigurasi LORA: Memahami cara mengatur adaptasi rendah (LORA) untuk mengadaptasi model besar untuk tugas-tugas hukum tertentu.
• Proses penyempurnaan: Langkah-langkah untuk menerapkan Qlora untuk menyempurnakan model seperti LLAMA-2 untuk menyusun dokumen hukum dan aplikasi bantuan hukum lainnya.
• Evaluasi: Teknik untuk mengevaluasi kinerja model yang disempurnakan dalam menghasilkan konten hukum.

Pendekatan ini memungkinkan adaptasi yang efisien dari model bahasa untuk tugas -tugas khusus seperti perancangan dokumen hukum, memastikan kinerja tinggi sambil mengelola penggunaan sumber daya secara efektif.

Untuk panduan komprehensif tentang fine-tuning qlora, lihat notebook Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb . Jelajahi potensi teknik penyempurnaan yang efisien untuk aplikasi hukum! ? ⚖️

Jangan ragu untuk mengeksplorasi, bereksperimen, dan berkontribusi pada bidang LLMS yang menarik. Umpan balik dan kontribusi Anda selalu diterima! ??

Selamat menyempurnakan dan mengevaluasi!

Ucapan Terima Kasih:

Saya ingin menyampaikan rasa terima kasih saya yang tulus kepada Santiago Hernández, seorang ahli dalam keamanan siber dan kecerdasan buatan. Kursusnya yang luar biasa tentang pembelajaran mendalam dan AI generatif, tersedia di Udemy, berperan penting dalam membentuk pengembangan proyek ini.

Kontribusi

Kontribusi untuk proyek ini sangat dianjurkan! Jika Anda tertarik untuk menambahkan fitur baru, menyelesaikan bug, atau meningkatkan fungsionalitas proyek, jangan ragu untuk mengirimkan permintaan tarik.

Menghubungi?

Proyek ini dikembangkan dan dikelola oleh Sergio Sánchez Sánchez (Perangkat Lunak Impian). Terima kasih khusus kepada komunitas open-source dan kontributor yang telah memungkinkan proyek ini. Jika Anda memiliki pertanyaan, umpan balik, atau saran, jangan ragu untuk menjangkau di [email protected].

Pengunjung menghitung

Tolong bagikan & bintang repositori untuk membuat saya tetap termotivasi.

Lisensi ⚖️

Proyek ini dilisensikan di bawah lisensi MIT, lisensi perangkat lunak sumber terbuka yang memungkinkan pengembang untuk menggunakan, menyalin, memodifikasi, dan mendistribusikan perangkat lunak secara bebas. Ini termasuk penggunaan dalam proyek pribadi dan komersial, dengan satu -satunya persyaratan adalah bahwa pemberitahuan hak cipta asli dipertahankan. ?

Harap perhatikan batasan berikut:

• Perangkat lunak disediakan "sebagaimana adanya", tanpa jaminan, tersurat maupun tersirat. ? ️
• Jika Anda mendistribusikan perangkat lunak, baik dalam bentuk asli atau dimodifikasi, Anda harus menyertakan pemberitahuan dan lisensi hak cipta asli. ?
• Lisensi memungkinkan untuk penggunaan komersial, tetapi Anda tidak dapat mengklaim kepemilikan atas perangkat lunak itu sendiri. ? ️

Tujuan lisensi ini adalah untuk memaksimalkan kebebasan bagi pengembang sambil mempertahankan pengakuan untuk pencipta asli.

 MIT License

Copyright (c) 2024 Dream software - Sergio Sánchez 

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.