Transformers for NLP 2nd Edition

Transformers-for-NLP-2nd-edisi

© Hak Cipta 2022-2024, Denis Rothman, Packt Publishing

Terakhir Diperbarui: 4 Januari 2024

Lumba -lumba? Program bonus tambahan untuk OpenAI Chatgpt (GPT-3.5 Legacy), ChatGPT Plus (GPT-3.5 Default, GPT 3.5 Default, dan GPT-4).
Contoh API untuk GPT-3.5-Turbo, GPT-4, Dall-E 2, Google Cloud AI Language, dan Google Cloud AI Vision.
Temukan HuggingGpt, Google Smart Compose, Google Bard, dan Bing baru Microsoft.
Teknik Prompt Lanjutan dengan API ChatGPT dan API GPT-4.

Cari saja lumba -lumba? Dan nikmati perjalanan Anda ke masa depan AI!

Hubungi saya di LinkedIn
Dapatkan buku di Amazon

Model transformator dari Bert ke GPT-4, lingkungan dari memeluk wajah ke openai. Contoh-contoh penyesuaian, pelatihan, dan rekayasa yang cepat. Bagian bonus dengan ChatGPT, GPT-3.5-Turbo, GPT-4, dan Dall-E, termasuk GPT-4 melompat, ucapan-ke-teks, teks-ke-pidato, pembuatan teks-ke-gambar dengan Dall-E dan banyak lagi.

Memulai

Anda dapat menjalankan notebook ini di platform cloud seperti Google Colab atau mesin lokal Anda. Perhatikan bahwa beberapa bab memerlukan GPU untuk berjalan dalam waktu yang wajar, jadi kami merekomendasikan salah satu platform cloud saat mereka dipasang sebelumnya dengan CUDA.

Memulai dengan API Openai

6 Desember 2023. Openai saat ini memperbarui platformnya. Jika Anda mengalami masalah dengan buku catatan repositori ini, Anda dapat mengimplementasikan tip berikut:

• Pada Januari 4,2024, penyusutan OpenAI berlaku untuk 'DaVinci'. Penggantian yang disarankan adalah 'davinci-002'
• Google Colab: cohere (fungsi bahasa) dan TikToken (BPE Tokenizer) Diperlukan untuk menginstal OpenAi (! Pip Instal TikToken dan! PIP Instal -Upgrade Cohere)
• Panggilan API diubah dari "openai.completion.create" menjadi "client.chat.completions.create" dengan klien = [klien openai Anda]
• Panggilan API diubah dari engine = [nama model] menjadi model = [nama model]
• Objek respons berkembang. Rekomendasi: Cetak pertama "Respons", lalu analisis objek untuk kemudian mengakses apa yang Anda butuhkan.
• Jika masalah tetap ada, Anda dapat mencoba menyematkan versi OpenAI sebelumnya :! Pip Instal OpenAI == 0.28

Anda dapat menemukan contoh dari tip pembaruan ini di buku catatan berikut yang dapat Anda terapkan ke notebook lain jika perlu: -getting_started_gpt_3.ipynb), ringkasan_with_chatgpt.ipynb, dan semantik_role_labelpeling_with_chatgpt.ipynb

Berjalan di platform cloud atau di lingkungan Anda

Untuk menjalankan buku catatan ini di platform cloud, cukup klik salah satu lencana di tabel di bawah ini atau jalankan di lingkungan Anda.

Bab	Colab	Kaggle	Gradien	Studiolab
Bab 2: Memulai dengan Arsitektur Model Transformer
Multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
Bab 3: Model Bert Menyempurnakan
BERT_FINE_TUNING_SENTENCE_CLASSIFIKASI_GPU.IPYNB
Bab 4: Pretraining model Roberta dari awal
Pretraining model Roberta dari awal Kantaibert.ipynb
Bab 5: Tugas NLP Hilir dengan Transformers
Transformer_tasks.ipynb
Bab 6 Terjemahan Mesin dengan Transformer
Trax_translation.ipynb
Bab 7: Bangkitnya transformator suprahuman dengan mesin GPT-3
Geting_started_gpt_3.ipynb Fine_tuning_gpt_3 (diperbarui dengan panggilan openai baru di 01/2024)
Bab 8: Menerapkan Transformator ke Dokumen Hukum dan Keuangan untuk Peringkasan Teks AI
Ringkasan_text_with_t5.ipynb
Bab 9: Tokenizer dan set data yang cocok
Tokenizers.ipynb Pelatihan_openai_gpt_2_ch09.ipynb Ringkasan_with_chatgpt.ipynb
Bab 10: Pelabelan Peran Semantik
Srl.ipynb SEMANTIC_ROLE_LABELING_WITH_CHATGPT.IPYNB
Bab 11: Biarkan data Anda melakukan pembicaraan: cerita, pertanyaan, dan jawaban
Qa.ipynb Haystack_qa_pipeline.ipynb
Bab 12 Mendeteksi Emosi Pelanggan untuk membuat prediksi
Sentimenalysis.ipynb
Bab 13: Menganalisis berita palsu dengan Transformers
Fake_news.ipynb Fake_news_analysis_with_chatgpt.ipynb
Bab 14: Menafsirkan Model Transformator Kotak Hitam
Bertviz.ipynb Pemahaman_gpt_2_models_with_ecco.ipynb
Bab 15: Dari NLP ke model transformator tugas-agnostik
Vision_transformers.ipynb Dall_e.ipynb
Bab 16: Munculnya kopilot yang digerakkan oleh transformator
Domain_specific_gpt_3_functionality.ipynb Kantaibert_recommender.ipynb Vision_mlp_mixer (kode baru yang tidak stabil di Q1-2024) Compact_convolutional_transformers.ipynb
Bab 17 :? Konsolidasi Transformator Suprahuman dengan Openai Chatgpt dan GPT-4
Jump_startting_chatgpt_with_the_openai_api.ipynb Chatgpt_plus_writes_and_explains_classification.ipynb Geting_started_openai_gpt_4.ipynb Prompt_engineering_as_an_alternative_to_fine_tuning.ipynb Geting_started_with_the_dall_e_2_api.ipynb Speaking_with_chatgpt.ipynb All_in_one.ipynb
Lampiran III: Penyelesaian Teks Generik dengan GPT-2
OpenAI_GPT_2.IPYNB
Lampiran IV: Penyelesaian Teks Kustom dengan GPT-2
Pelatihan_openai_gpt_2.ipynb

Notebook bonus openai tambahan

Bonus	Colab	Kaggle	Gradien	Sagemaker Studio Lab
Jelajahi dan bandingkan model ChatGPT, GPT-4 dan GPT-3
Exploring_gpt_4_api
? Buat fungsi chatgpt xai yang menjelaskan chatgpt dan fungsi xai shap
Xai_by_chatgpt_for_chatgpt
? Kembali ke asal dengan GPT-2 dan chatgpt
Gpt_2_and_chatgpt_the_origins
? Chatgpt atau davinin_instruct? Apa yang terbaik untuk proyek Anda?
Chatgpt_as_a_cobot_chatgpt_versus_davinci_instruct.ipynb
Perbandingan Model Bahasa AI -Sepsplore berbagai model bahasa AI dan kemampuannya melalui buku catatan komprehensif ini. -Dive ke API dan fungsionalitas yang berbeda, seperti analisis sentimen, pengenalan entitas, analisis sintaks, klasifikasi konten, dan visi AI. -Sembangkan dan bandingkan penawaran bahasa Google Cloud AI, Google Cloud AI Vision, OpenAI GPT-4, Google Bard, Microsoft New Bing, Chatgpt Plus-GPT-4, Face Hugging, HuggingGPT, dan Google Smart Compose.
6 Desember 2023 UPDATE: Dalam versi yang lebih baru dari Gradio, cara input didefinisikan telah diperbarui. Bukannya menggunakan
gr.inputs.Textbox , sekarang gunakan gr.Textbox langsung untuk input dan output.
Exploring_and_comparing_advanced_ai_technologies.ipynb

Fitur utama

Menerapkan model, seperti Bert, Reformer, dan T5, yang mengungguli model bahasa klasik
Bandingkan aplikasi NLP menggunakan GPT-3, GPT-2, dan Transformers Lainnya
Menganalisis kasus penggunaan lanjutan, termasuk polisemia, pembelajaran lintas-bahasa, dan visi komputer. Direktori bonus GitHub dengan SOA Chatgpt, GPT-3.5-Turbo, GPT-4, dan Dall-E Notebooks.

Deskripsi buku

Transformers adalah pengubah permainan untuk pemahaman bahasa alami (NLU) dan telah menjadi salah satu pilar kecerdasan buatan.

Transformers untuk pemrosesan bahasa alami, edisi ke-2, menyelidiki pembelajaran yang mendalam untuk terjemahan mesin, pemodelan bahasa, pertanyaan pertanyaan, dan banyak lagi domain NLP dengan transformator.

Spesialis Industri 4.0 AI perlu beradaptasi; Mengetahui hanya satu platform NLP tidak cukup lagi. Platform yang berbeda memiliki manfaat yang berbeda tergantung pada aplikasi, apakah itu biaya, fleksibilitas, kemudahan implementasi, hasil, atau kinerja. Dalam buku ini, kami menganalisis banyak kasus penggunaan dengan memeluk Wajah, Google Trax, Openai, dan Allennlp.

Buku ini mengambil kemampuan Transformers lebih lanjut dengan menggabungkan beberapa teknik NLP, seperti analisis sentimen, pengakuan entitas yang disebut, dan pelabelan peran semantik, untuk menganalisis kasus penggunaan yang kompleks, seperti membedah berita palsu di Twitter. Juga, lihat bagaimana Transformers dapat membuat kode hanya menggunakan deskripsi singkat.

Pada akhir buku NLP ini, Anda akan memahami transformator dari perspektif sains kognitif dan mahir dalam menerapkan model transformator pretrained ke berbagai dataset.

Apa yang akan Anda pelajari

Temukan cara baru untuk melakukan teknik NLP dengan transformer pretrained terbaru
Pegang cara kerja transformator asli, GPT-3, Bert, T5, DeBerta, dan Reformator
Buat bahasa pemahaman bahasa program python menggunakan konsep yang mengungguli model pembelajaran mendalam klasik
Terapkan program Python, TensorFlow, dan Pytorch untuk analisis sentimen, ringkasan teks, pengenalan suara, terjemahan mesin, dan banyak lagi
Ukur produktivitas transformer utama untuk menentukan ruang lingkup, potensi, dan batasan dalam produksi mereka

Untuk siapa buku ini

Jika Anda ingin mempelajari dan menerapkan transformator ke data bahasa alami (dan gambar) Anda, buku ini untuk Anda.

Pemahaman yang baik tentang NLP, Python, dan Deep Learning diperlukan untuk mendapat manfaat paling besar dari buku ini. Banyak platform yang dibahas dalam buku ini menyediakan antarmuka pengguna interaktif, yang memungkinkan pembaca dengan minat umum pada NLP dan AI untuk mengikuti beberapa bab buku ini.

Daftar isi

1. Apa Transformers?
2.Betting dimulai dengan arsitektur model transformator
3. Model Bert yang menyiapkan
4. Mendapatkan model Roberta dari awal
5.DownStream NLP Tugas dengan Transformers
6. Terjemahan Machine dengan Transformer
7. Bangkitnya transformator suprahuman dengan mesin GPT-3
8. Menerapkan transformator ke dokumen hukum dan keuangan untuk ringkasan teks AI
9. Tokenizer dan set data
10. Label Peran Semantik dengan Transformers Bertahan Bert
11. Biarkan data Anda lakukan pembicaraan: cerita, pertanyaan, dan jawaban
12. Memperkuat Emosi Pelanggan untuk membuat prediksi
13. Menganalisis berita palsu dengan Transformers
14. Interpretasi Model Transformator Kotak Hitam
15. dari NLP ke model transformator agnostik-agnostik
16. Munculnya kopilot yang digerakkan oleh transformator
17. Konsolidasi transformator suprahuman dengan chatgpt dan gpt-4 openai
Lampiran I: Terminologi Model Transformer
Lampiran II: Kendala Perangkat Keras untuk Model Transformer
Dan banyak lagi!