Transformers for NLP 2nd Edition

محولات-مقابل NLP-2ND

© حقوق الطبع والنشر 2022-2024 ، دينيس روثمان ، Packt Publishing

آخر تحديث: 4 يناير 2024

الدلفين؟ برامج إضافية إضافية لـ Openai ChatGPT (GPT-3.5 Legacy) ، ChatGPT Plus (GPT-3.5 افتراضي ، GPT 3.5 الافتراضي ، و GPT-4).
أمثلة API لـ GPT-3.5-Turbo و GPT-4 و Dall-E 2 و Google Cloud AI Language و Google Cloud AI Vision.
اكتشف HuggingGpt و Google Smart و Google Bard و Microsoft الجديد Bing.
الهندسة المتقدمة المتقدمة مع API ChatGPT و GPT-4 API.

فقط ابحث عن الدلفين؟ واستمتع برحلتك في مستقبل الذكاء الاصطناعي!

اتصل بي على LinkedIn
احصل على الكتاب على أمازون

نماذج المحولات من BERT إلى GPT-4 ، البيئات من معانقة الوجه إلى Openai. صقل ، التدريب ، والأمثلة الهندسية الفوري. قسم مكافآت مع chatgpt و gpt-3.5-turbo و gpt-4 و dall-e ، بما في ذلك GPT-4 القفز ، والخطاب إلى النص ، ونص إلى الكلام ، والتوليد من نص إلى صورة مع dall-e والمزيد.

ابدء

يمكنك تشغيل دفاتر الملاحظات على منصات سحابية مثل Google Colab أو جهازك المحلي. لاحظ أن بعض الفصول تتطلب من وحدة معالجة الرسومات تشغيلها في فترة زمنية معقولة ، لذلك نوصي بأحد منصات السحابة لأنها تأتي مثبتة مسبقًا مع CUDA.

البدء مع Openai API

6 ديسمبر 2023. تقوم Openai حاليًا بتحديث نظامها الأساسي. إذا واجهت مشكلات مع دفاتر ملاحظات هذا المستودع ، فيمكنك تنفيذ النصائح التالية:

• اعتبارًا من 4 يناير 2024 ، تنطبق انخفاضات Openai على "Davinci". الاستبدال الموصى به هو "Davinci-002"
• Google Colab: Cohere (وظائف اللغة) و Tiktoken (BPE Tokenizer) المطلوب لتثبيت Openai (! PIP تثبيت Tiktoken و!
• تم تغيير استدعاء API من "openai.completion.create" إلى "client.chat.completions.create" مع Client = [عميل Openai الخاص بك]
• تم تغيير استدعاء API من المحرك = [اسم الطراز] إلى Model = [اسم الطراز]
• كائن الاستجابة يتطور. التوصية: طباعة "استجابة" أولاً ، ثم قم بتحليل الكائن للوصول إلى ما تحتاجه.
• إذا استمرت المشكلات ، فيمكنك محاولة تثبيت إصدار Openai السابق:! PIP تثبيت Openai == 0.28

يمكنك العثور على أمثلة على نصائح التحديث هذه في دفاتر الملاحظات التالية التي يمكنك تطبيقها على دفاتر الملاحظات الأخرى إذا لزم الأمر: -getting_started_gpt_3.ipynb) ، summarizing_with_chatgpt.ipynb ، و semantic_role_labeling_with_chatgpt.ipynbynb

تشغيل على منصة سحابة أو في بيئتك

لتشغيل دفاتر الملاحظات على منصة سحابة ، فقط انقر فوق إحدى الشارات الموجودة في الجدول أدناه أو تشغيلها في بيئتك.

الفصل	كولاب	kaggle	التدرج	Studiolab
الفصل 2: ​​البدء في بنية نموذج المحولات
multi_head_attention_sub_layer.ipynb الموضعية encoding.ipynb
الفصل 3: نماذج بيرت الدقيقة
bert_fine_tuning_sentence_classification_gpu.ipynb
الفصل الرابع: ما قبل نموذج روبرتا من الصفر
ما قبل نموذج روبرتا من الصفر Kantaibert.ipynb
الفصل 5: مهام NLP المصب مع المحولات
transformer_tasks.ipynb
الفصل 6 الترجمة الآلية مع المحول
trax_translation.ipynb
الفصل السابع: صعود المحولات فوق الإنسانية مع محركات GPT-3
get_started_gpt_3.ipynb fine_tuning_gpt_3 (تم تحديثه باستخدام مكالمات Openai الجديدة في 01/2024)
الفصل الثامن: تطبيق المحولات على المستندات القانونية والمالية لتلخيص نص الذكاء الاصطناعى
Summarizing_text_with_t5.ipynb
الفصل التاسع: مطابقة المميزات ومجموعات البيانات
Tokenizers.ipynb Training_openai_gpt_2_ch09.ipynb Summarizing_with_chatgpt.ipynb
الفصل 10: وضع العلامات على الأدوار الدلالية
srl.ipynb demantic_role_labeling_with_chatgpt.ipynb
الفصل 11: دع بياناتك تفعل الحديث: القصة والأسئلة والأجوبة
qa.ipynb Haystack_qa_pipeline.ipynb
الفصل 12 يكتشف عواطف العملاء لجعل التنبؤات
العاطفة. التحليل
الفصل 13: تحليل الأخبار المزيفة مع المحولات
fake_news.ipynb fake_news_analysis_with_chatgpt.ipynb
الفصل 14: تفسير نماذج محولات الصندوق الأسود
bertviz.ipynb فهم _gpt_2_models_with_ecco.ipynb
الفصل 15: من NLP إلى نماذج محول المهام العظيمة
Vision_transformers.ipynb dall_e.ipynb
الفصل 16: ظهور copilots التي يحركها المحولات
domain_specific_gpt_3_functionality.ipynb Kantaibert_recmamender.ipynb Vision_MLP_Mixer (رمز جديد غير مستقر في Q1-2024) compact_convolutional_transformers.ipynb
الفصل 17:؟ توحيد المحولات أعلاه مع Openai Chatgpt و GPT-4
jump_starting_chatgpt_with_the_openai_api.ipynb chatgpt_plus_writes_and_explains_classification.ipynb get_started_openai_gpt_4.ipynb promper_engineering_as_an_alternative_to_fine_tuning.ipynb get_started_with_the_dall_e_2_api.ipynb تحدث _with_chatgpt.ipynb all_in_one.ipynb
التذييل الثالث: إكمال النص العام مع GPT-2
openai_gpt_2.ipynb
التذييل الرابع: إكمال نص مخصص مع GPT-2
Training_openai_gpt_2.ipynb

دفاتر إضافية Openai Bonus

علاوة	كولاب	kaggle	التدرج	Sagemaker Studio Lab
؟ استكشف وقارن طرز chatgpt و gpt-4 و gpt-3
exploring_gpt_4_api
؟ قم بإنشاء وظيفة ChatGpt Xai التي تشرح ChatGpt ووظيفة Shai Shap
xai_by_chatgpt_for_chatgpt
ارجع إلى الأصول مع GPT-2 و chatgpt
gpt_2_and_chatgpt_the_origins
؟ chatgpt أو davinin_instruct؟ ما هو الأفضل لمشروعك؟
chatgpt_as_a_cobot_chatgpt_versus_davinci_instruct.ipynb
؟ مقارنة نموذج لغة AI -قم بتوضيح نماذج لغة AI المختلفة وقدراتها من خلال هذا الكمبيوتر الدفتري الشامل. -في واجهات برمجة التطبيقات والوظائف المختلفة ، مثل تحليل المشاعر ، والتعرف على الكيانات ، وتحليل بناء الجملة ، وتصنيف المحتوى ، ورؤية الذكاء الاصطناعي. -اكتشاف ومقارنة عروض لغة Google Cloud AI ، و Google Cloud AI Vision ، و Openai GPT-4 ، و Google Bard ، و Microsoft New Bing ، و ChatGPT Plus-GPT-4 ، و Hugging Face ، و HuggingGpt ، و Google Smart Compose.
6 ديسمبر 2023 تحديث: في الإصدارات الأحدث من Gradio ، تم تحديث طريقة تعريف المدخلات. بدلا من استخدام
gr.inputs.Textbox ، استخدم الآن gr.Textbox مباشرة للمدخلات والمخرجات.
exploring_and_comparing_advanced_ai_technologies.ipynb

الميزات الرئيسية

تنفيذ نماذج ، مثل BERT ، و PERENMER ، و T5 ، التي تتفوق على نماذج اللغة الكلاسيكية
قارن تطبيقات NLP باستخدام GPT-3 و GPT-2 وغيرها من المحولات
تحليل حالات الاستخدام المتقدم ، بما في ذلك polysemy ، والتعلم عبر اللغات ، ورؤية الكمبيوتر. دليل مكافأة GitHub مع SOA chatgpt و GPT-3.5-TURBO و GPT-4 و DALL-E

وصف الكتاب

المحولات هي مغير للألعاب لفهم اللغة الطبيعية (NLU) وأصبحت واحدة من أعمدة الذكاء الاصطناعي.

يحول المحولات لمعالجة اللغة الطبيعية ، الطبعة الثانية ، التعلم العميق للترجمات الآلية ، ونمذجة اللغة ، وإجابات الأسئلة ، والعديد من مجالات NLP مع المحولات.

يجب أن يكون أخصائي الصناعة 4.0 منظمة العفو الدولية قابلاً للتكيف ؛ معرفة منصة NLP واحدة فقط لم يعد كافياً. المنصات المختلفة لها فوائد مختلفة اعتمادًا على التطبيق ، سواء كانت التكلفة أو المرونة أو سهولة التنفيذ أو النتائج أو الأداء. في هذا الكتاب ، نقوم بتحليل العديد من حالات الاستخدام مع Hugging Face و Google Trax و Openai و Allennlp.

يأخذ هذا الكتاب قدرات Transformers بشكل أكبر من خلال الجمع بين تقنيات NLP المتعددة ، مثل تحليل المشاعر ، والتعرف على الكيان ، ووضع العلامات على الأدوار الدلالية ، لتحليل حالات الاستخدام المعقدة ، مثل تشريح الأخبار المزيفة على Twitter. أيضًا ، انظر كيف يمكن للمحولات إنشاء رمز باستخدام وصف موجز فقط.

بحلول نهاية كتاب NLP هذا ، ستفهم المحولات من منظور العلوم المعرفية وتكون بارعًا في تطبيق نماذج المحولات المسبقة على مجموعات البيانات المختلفة.

ماذا ستتعلم

اكتشف طرقًا جديدة لأداء تقنيات NLP مع أحدث المحولات المسبقة
فهم أعمال المحول الأصلي ، GPT-3 ، Bert ، T5 ، DeBerta ، والمصلح
إنشاء لغة فهم برامج Python باستخدام المفاهيم التي تتفوق على نماذج التعلم العميق الكلاسيكي
قم بتطبيق برامج Python و TensorFlow و Pytorch على تحليل المشاعر ، وتلخيص النص ، والتعرف على الكلام ، والترجمات الآلية ، والمزيد
قياس إنتاجية المحولات الرئيسية لتحديد نطاقها وإمكاناتها وحدودها في الإنتاج

من هو هذا الكتاب

إذا كنت ترغب في معرفة وتطبيق المحولات على بيانات لغتك الطبيعية (والصورة) ، فإن هذا الكتاب يناسبك.

هناك حاجة إلى فهم جيد لـ NLP و Python والتعلم العميق للاستفادة من هذا الكتاب. توفر العديد من المنصات المغطاة في هذا الكتاب واجهات مستخدم تفاعلية ، والتي تتيح للقراء اهتمامًا عامًا بـ NLP و AI باتباع عدة فصول من هذا الكتاب.

جدول المحتويات

1. ما هي المحولات؟
2. بدأت مع بنية نموذج المحولات
3. نماذج بيرت لضبط
4. إدراك نموذج روبرتا من الصفر
5.Downstream NLP مهام مع المحولات
6. ترجمة machine مع المحول
7. صعود المحولات فوق الإنسانية مع محركات GPT-3
8. تسليم المحولات إلى المستندات القانونية والمالية لتلخيص نص الذكاء الاصطناعى
9. الرمز المميزات ومجموعات البيانات
10. العلامات على الدور الذبي مع المحولات القائمة على بيرت
11.
12. اكتشاف عواطف العملاء لجعل التنبؤات
13. تحليل الأخبار المزيفة مع Transformers
14. تنقص نماذج محول الصندوق الأسود
15. من NLP إلى نماذج محول المهام العظيمة
16. ظهور copilots يحركها المحولات
17. توحيد Transformers Suprahuman مع Openai's Chatgpt و GPT-4
التذييل الأول: مصطلحات نماذج المحولات
التذييل الثاني: قيود الأجهزة لنماذج المحولات
وأكثر!