oreilly hands on transformers

Pelajari NLP dengan Transformers

Repositori ini berisi kode untuk Pelatihan Online O'Reilly Live untuk Hands on NLP dengan Transformers

Pelatihan ini akan memberikan pengenalan arsitektur transformator baru yang saat ini dianggap canggih untuk tugas-tugas NLP modern. Kami akan mendalami lebih dalam apa yang membuat transformator unik dalam kemampuannya memproses bahasa alami termasuk arsitektur perhatian dan encoder-decoder. Kita akan melihat beberapa contoh bagaimana orang dan perusahaan menggunakan transformator untuk menyelesaikan berbagai tugas NLP termasuk percakapan, pembuatan teks gambar, pemahaman bacaan, dan banyak lagi.

Pelatihan ini akan menampilkan beberapa contoh arsitektur turunan transformator berbasis kode termasuk BERT, GPT, T5, dan Vision Transformer. Setiap studi kasus kami akan terinspirasi oleh kasus penggunaan nyata dan akan bersandar pada pembelajaran transfer untuk mempercepat proses kami sambil menggunakan metrik yang dapat ditindaklanjuti untuk mendorong hasil.

buku catatan

1. BERT - awal mula LLM
   • Pengantar BERT
   • Klasifikasi dengan BERT vs ChatGPT
     • Buka di Colab
2. XLNET - memajukan model pengkodean otomatis
   • Klasifikasi dengan XLNET
3. T5 - awal dari penyelarasan instruksional
   • NLP siap pakai dengan T5
4. GPT - Bagaimana LLM belajar berbicara
   • Pengantar GPT
   • Menghasilkan LaTeX dengan GPT2
     • Buka di Colab
5. LLM multimodal
   • Keterangan Gambar dengan Vision Transformers
     • Buka di Colab

Pengajar

Sinan Ozdemir adalah pendiri dan CTO LoopGenius, tempat dia menggunakan AI tercanggih untuk membantu orang membuat dan menjalankan bisnis mereka. Dia pernah mengajar ilmu data di Universitas Johns Hopkins dan menulis banyak buku, video, dan berbagai kursus online tentang ilmu data, pembelajaran mesin, dan AI generatif. Dia juga mendirikan Kylie.ai yang baru diakuisisi, sebuah platform AI percakapan tingkat perusahaan dengan kemampuan RPA. Sinan baru-baru ini menerbitkan Panduan Cepat untuk Model Bahasa Besar, dan meluncurkan seri audio podcast, AI Unveiled. Ozdemir memegang gelar master dalam matematika murni dari Universitas Johns Hopkins.