Transformers for NLP 2nd Edition

Transformers-for-NLP-2nd-edition

©ลิขสิทธิ์ 2022-2024, Denis Rothman, Packt Publishing

อัปเดตล่าสุด: 4 มกราคม 2567

ปลาโลมา? โปรแกรมโบนัสเพิ่มเติมสำหรับ OpenAI ChatGPT (GPT-3.5 Legacy), ChatGPT Plus (GPT-3.5 ค่าเริ่มต้น, GPT 3.5 ค่าเริ่มต้นและ GPT-4)
ตัวอย่าง API สำหรับ GPT-3.5-turbo, GPT-4, Dall-E 2, ภาษา Google Cloud AI และ Google Cloud AI Vision
ค้นพบ HuggingGpt, Google Smart Compose, Google Bard และ Bing ใหม่ของ Microsoft
วิศวกรรมพรอมต์ขั้นสูงด้วย CHATGPT API และ GPT-4 API

แค่มองหาปลาโลมา? และสนุกกับการขี่ของคุณในอนาคตของ AI!

ติดต่อฉันที่ LinkedIn
รับหนังสือใน Amazon

โมเดลหม้อแปลงตั้งแต่ Bert ถึง GPT-4 สภาพแวดล้อมจากการกอดใบหน้าไปจนถึง OpenAI การปรับแต่งการฝึกอบรมและตัวอย่างวิศวกรรมที่รวดเร็ว ส่วนโบนัสที่มี CHATGPT, GPT-3.5-turbo, GPT-4 และ Dall-E รวมถึง GPT-4 ที่เริ่มต้นการเริ่มต้นการพูดข้อความเป็นข้อความการพูดแบบข้อความการพูดแบบข้อความกับภาพด้วย Dall-E และอื่น ๆ

เริ่มต้น

คุณสามารถเรียกใช้สมุดบันทึกเหล่านี้บนแพลตฟอร์มคลาวด์เช่น Google Colab หรือเครื่องในพื้นที่ของคุณ โปรดทราบว่าบางบทต้องการ GPU เพื่อทำงานในระยะเวลาที่เหมาะสมดังนั้นเราจึงแนะนำหนึ่งในแพลตฟอร์มคลาวด์เมื่อติดตั้งไว้ล่วงหน้ากับ Cuda

เริ่มต้นใช้งาน Openai API

6 ธันวาคม 2566 Openai กำลังอัปเดตแพลตฟอร์ม หากคุณพบปัญหาเกี่ยวกับสมุดบันทึกของที่เก็บนี้คุณสามารถใช้เคล็ดลับต่อไปนี้:

• ณ วันที่ 4,2024 มกราคม Openai การเสียค่าใช้จ่ายจะใช้กับ 'Davinci' การเปลี่ยนที่แนะนำคือ 'Davinci-002'
• Google Colab: Cohere (ฟังก์ชั่นภาษา) และ Tiktoken (BPE Tokenizer
• การโทร API เปลี่ยนจาก "openai.completion.create" เป็น "client.chat.completions.create" กับ client = [ไคลเอนต์ OpenAi ของคุณ]
• การโทร API เปลี่ยนจาก engine = [ชื่อรุ่น] เป็น model = [ชื่อรุ่น]
• วัตถุตอบสนองกำลังพัฒนา คำแนะนำ: พิมพ์ครั้งแรก "ตอบกลับ" จากนั้นวิเคราะห์วัตถุเพื่อเข้าถึงสิ่งที่คุณต้องการ
• หากปัญหายังคงมีอยู่คุณสามารถลองปักหมุดเวอร์ชัน openai ก่อนหน้า:! pip ติดตั้ง openai == 0.28

คุณสามารถค้นหาตัวอย่างของเคล็ดลับการอัปเดตเหล่านี้ในสมุดบันทึกต่อไปนี้ที่คุณสามารถนำไปใช้กับสมุดบันทึกอื่น ๆ ได้หากจำเป็น: -getting_started_gpt_3.ipynb), summarizing_with_chatgpt.ipynb และ semantic_role_labeling_with_chatgpt.ipynb

ทำงานบนแพลตฟอร์มคลาวด์หรือในสภาพแวดล้อมของคุณ

ในการเรียกใช้สมุดบันทึกเหล่านี้บนแพลตฟอร์มคลาวด์เพียงคลิกที่หนึ่งในป้ายในตารางด้านล่างหรือเรียกใช้ในสภาพแวดล้อมของคุณ

บท	การกิน	Kaggle	การไล่ระดับสี	studiolab
บทที่ 2: เริ่มต้นด้วยสถาปัตยกรรมของโมเดลหม้อแปลง
multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
บทที่ 3: รุ่นเบิร์ตปรับแต่ง
bert_fine_tuning_sentence_classification_gpu.ipynb
บทที่ 4: การปรับรุ่นโรเบอร์ต้าตั้งแต่เริ่มต้น
การปรับรุ่นโรเบอร์ต้าตั้งแต่เริ่มต้น kantaibert.ipynb
บทที่ 5: งาน NLP ดาวน์สตรีมกับ Transformers
transformer_tasks.ipynb
บทที่ 6 การแปลเครื่องด้วยหม้อแปลง
trax_translation.ipynb
บทที่ 7: การเพิ่มขึ้นของหม้อแปลง suprahuman กับเครื่องยนต์ GPT-3
Geting_started_gpt_3.ipynb FINE_TUNING_GPT_3 (อัปเดตด้วยการโทร OpenAI ใหม่ใน 01/2024)
บทที่ 8: การใช้ Transformers กับเอกสารทางกฎหมายและการเงินสำหรับการสรุปข้อความ AI
summarizing_text_with_t5iPynb
บทที่ 9: การจับคู่โทเคนิเซอร์และชุดข้อมูล
tokenizers.ipynb Training_openai_gpt_2_ch09.ipynb สรุป _with_chatgpt.ipynb
บทที่ 10: การติดฉลากบทบาทความหมาย
srl.ipynb semantic_role_labeling_with_chatgpt.ipynb
บทที่ 11: ให้ข้อมูลของคุณพูดคุย: เรื่องราวคำถามและคำตอบ
Qa.ipynb haystack_qa_pipeline.ipynb
บทที่ 12 การตรวจจับอารมณ์ของลูกค้าเพื่อทำการคาดการณ์
Sentimentanalysis.ipynb
บทที่ 13: การวิเคราะห์ข่าวปลอมกับ Transformers
fake_news.ipynb fake_news_analysis_with_chatgpt.ipynb
บทที่ 14: การตีความโมเดลหม้อแปลงกล่องดำ
bertviz.ipynb ความเข้าใจ _gpt_2_models_with_ecco.ipynb
บทที่ 15: จาก NLP ไปจนถึงโมเดลหม้อแปลงไฟฟ้า
Vision_transformers.ipynb dall_e.ipynb
บทที่ 16: การเกิดขึ้นของ copilots ที่ขับเคลื่อนด้วยหม้อแปลง
domain_specific_gpt_3_functionality.ipynb kantaibert_recommender.ipynb Vision_mlp_mixer (รหัสใหม่ที่ไม่เสถียรใน Q1-2024) compact_convolutional_transformers.ipynb
บทที่ 17:? การรวม Transformers suprahuman กับ Openai CHATGPT และ GPT-4
jump_starting_chatgpt_with_the_openai_api.ipynb chatgpt_plus_writes_and_explains_classification.ipynb Geting_started_openai_gpt_4.ipynb Prompt_engineering_as_an_alternative_to_fine_tuning.ipynb Geting_started_with_the_dall_e_2_api.ipynb พูด _with_chatgpt.ipynb all_in_one.ipynb
ภาคผนวก III: การกรอกข้อความทั่วไปด้วย GPT-2
openai_gpt_2.ipynb
ภาคผนวก IV: การทำข้อความที่กำหนดเองด้วย GPT-2
Training_openai_gpt_2.ipynb

โน๊ตบุ๊คโบนัส Openai เพิ่มเติม

โบนัส	การกิน	Kaggle	การไล่ระดับสี	Sagemaker Studio Lab
? สำรวจและเปรียบเทียบ CHATGPT, GPT-4 และ GPT-3 รุ่น
Exploring_gpt_4_api
? สร้างฟังก์ชั่น CHATGPT XAI ที่อธิบาย CHATGPT และฟังก์ชั่น XAI SHAP
XAI_BY_CHATGPT_FOR_CHATGPT
กลับไปที่ต้นกำเนิดด้วย gpt-2 และ chatgpt
gpt_2_and_chatgpt_the_origins
? chatgpt หรือ davinin_instruct? อะไรดีที่สุดสำหรับโครงการของคุณ?
chatgpt_as_a_cobot_chatgpt_versus_davinci_instruct.ipynb
? การเปรียบเทียบรูปแบบภาษา AI -สำรวจรูปแบบภาษา AI ต่างๆและความสามารถของพวกเขาผ่านสมุดบันทึกที่ครอบคลุมนี้ -นำไปสู่ ​​API และฟังก์ชันต่าง ๆ เช่นการวิเคราะห์ความเชื่อมั่นการรับรู้เอนทิตีการวิเคราะห์ไวยากรณ์การจำแนกเนื้อหาและวิสัยทัศน์ AI -ค้นพบและเปรียบเทียบข้อเสนอของภาษา Google Cloud AI, Google Cloud AI Vision, OpenAI GPT-4, Google Bard, Microsoft ใหม่ Bing, Chatgpt Plus-GPT-4, กอดใบหน้า, HuggingGpt และ Google Smart Compose
6 ธันวาคม 2566 อัปเดต: ในรุ่นใหม่ของ Gradio วิธีการกำหนดอินพุตได้รับการปรับปรุง แทนที่จะใช้
gr.inputs.Textbox ใช้ gr.Textbox โดยตรงสำหรับอินพุตและเอาต์พุต
Exploring_and_comparing_advanced_ai_technologies.ipynb

คุณสมบัติที่สำคัญ

ใช้แบบจำลองเช่น Bert, Reformer และ T5 ซึ่งมีประสิทธิภาพสูงกว่าแบบจำลองภาษาคลาสสิก
เปรียบเทียบแอปพลิเคชัน NLP โดยใช้ GPT-3, GPT-2 และหม้อแปลงอื่น ๆ
วิเคราะห์กรณีการใช้งานขั้นสูงรวมถึง polysemy, การเรียนรู้ข้ามภาษาและการมองเห็นคอมพิวเตอร์ ไดเรกทอรีโบนัส GitHub พร้อม SOA chatgpt, GPT-3.5-turbo, GPT-4 และสมุดบันทึก Dall-E

คำอธิบายหนังสือ

Transformers เป็นตัวเปลี่ยนเกมสำหรับการทำความเข้าใจภาษาธรรมชาติ (NLU) และได้กลายเป็นหนึ่งในเสาหลักของปัญญาประดิษฐ์

Transformers สำหรับการประมวลผลภาษาธรรมชาติ, ฉบับที่ 2, ตรวจสอบการเรียนรู้อย่างลึกซึ้งสำหรับการแปลเครื่อง, การสร้างแบบจำลองภาษา, การตอบคำถามและโดเมน NLP อื่น ๆ อีกมากมายที่มีหม้อแปลง

ผู้เชี่ยวชาญด้านอุตสาหกรรม 4.0 AI จำเป็นต้องปรับตัวได้ การรู้เพียงหนึ่งแพลตฟอร์ม NLP นั้นไม่เพียงพออีกต่อไป แพลตฟอร์มที่แตกต่างกันมีประโยชน์ที่แตกต่างกันขึ้นอยู่กับแอปพลิเคชันไม่ว่าจะเป็นค่าใช้จ่ายความยืดหยุ่นความสะดวกในการใช้งานผลลัพธ์ผลลัพธ์หรือประสิทธิภาพ ในหนังสือเล่มนี้เราวิเคราะห์กรณีการใช้งานมากมายด้วย Hugging Face, Google Trax, Openai และ Allennlp

หนังสือเล่มนี้ใช้ความสามารถของ Transformers ต่อไปโดยการรวมเทคนิค NLP หลายอย่างเช่นการวิเคราะห์ความเชื่อมั่นการรับรู้เอนทิตีและการติดฉลากบทบาทความหมายเพื่อวิเคราะห์กรณีการใช้งานที่ซับซ้อนเช่นการผ่าข่าวปลอมบน Twitter นอกจากนี้ดูว่าหม้อแปลงสามารถสร้างรหัสโดยใช้คำอธิบายสั้น ๆ ได้อย่างไร

ในตอนท้ายของหนังสือ NLP เล่มนี้คุณจะเข้าใจหม้อแปลงจากมุมมองด้านวิทยาศาสตร์เกี่ยวกับความรู้ความเข้าใจและมีความเชี่ยวชาญในการใช้แบบจำลองหม้อแปลงที่ผ่านการฝึกฝนไว้กับชุดข้อมูลต่างๆ

สิ่งที่คุณจะเรียนรู้

ค้นพบวิธีการใหม่ในการใช้เทคนิค NLP ด้วยหม้อแปลงล่าสุด
เข้าใจการทำงานของหม้อแปลงดั้งเดิม, GPT-3, Bert, T5, Deberta และ Reformer
สร้างโปรแกรมการทำความเข้าใจภาษา Python โดยใช้แนวคิดที่มีประสิทธิภาพสูงกว่ารูปแบบการเรียนรู้ลึกคลาสสิกแบบคลาสสิก
ใช้โปรแกรม Python, Tensorflow และ Pytorch กับการวิเคราะห์ความเชื่อมั่นการสรุปข้อความการรู้จำเสียงการแปลเครื่องและอื่น ๆ
วัดผลการผลิตของหม้อแปลงหลักเพื่อกำหนดขอบเขตศักยภาพและขีด จำกัด ในการผลิตของพวกเขา

หนังสือเล่มนี้มีไว้สำหรับใคร

หากคุณต้องการเรียนรู้และใช้ Transformers กับข้อมูลภาษาธรรมชาติ (และรูปภาพ) ของคุณหนังสือเล่มนี้เหมาะสำหรับคุณ

จำเป็นต้องมีความเข้าใจที่ดีเกี่ยวกับ NLP, Python และการเรียนรู้อย่างลึกซึ้งเพื่อประโยชน์มากที่สุดจากหนังสือเล่มนี้ หลายแพลตฟอร์มที่ครอบคลุมในหนังสือเล่มนี้ให้ส่วนต่อประสานผู้ใช้แบบโต้ตอบซึ่งอนุญาตให้ผู้อ่านมีความสนใจทั่วไปใน NLP และ AI เพื่อติดตามหลายบทของหนังสือเล่มนี้

สารบัญ

1. Transformers คืออะไร?
2. เริ่มต้นด้วยสถาปัตยกรรมของโมเดลหม้อแปลง
3. รุ่นเบิร์ตการปรับแต่ง
4. การพัฒนาโมเดล Roberta ตั้งแต่เริ่มต้น
5. DOWNSTREAM NLP งานกับ Transformers
6. การแปลด้วยเครื่องด้วยหม้อแปลง
7. การเพิ่มขึ้นของหม้อแปลง suprahuman ด้วยเครื่องยนต์ GPT-3
8. การปรับใช้ Transformers กับเอกสารทางกฎหมายและการเงินสำหรับการสรุปข้อความ AI
9. การจับคู่ tokenizers และชุดข้อมูล
10. การติดฉลากบทบาทที่มีความหมายกับหม้อแปลงที่ใช้เบิร์ต
11. ข้อมูลของคุณพูดคุย: เรื่องราวคำถามและคำตอบ
12. ตรวจจับอารมณ์ของลูกค้าเพื่อทำการคาดการณ์
13. วิเคราะห์ข่าวปลอมกับ Transformers
14. การตีความโมเดลหม้อแปลงกล่องสีดำ
15. จากรุ่น NLP ไปจนถึงโมเดลหม้อแปลง
16. การเกิดขึ้นของ copilots ที่ขับเคลื่อนด้วยหม้อแปลง
17. การรวมหม้อแปลง suprahuman กับ OpenAi's CHATGPT และ GPT-4
ภาคผนวก I: คำศัพท์ของโมเดลหม้อแปลง
ภาคผนวก II: ข้อ จำกัด ของฮาร์ดแวร์สำหรับรุ่นหม้อแปลง
และอีกมากมาย