Transformers for NLP 2nd Edition

Transformers-For-NLP-2nd-Edition

© Copyright 2022-2024, Denis Rothman, Packt Publishing

Zuletzt aktualisiert: 4. Januar 2024

Delphin? Zusätzliche Bonusprogramme für OpenAI CHATGPT (GPT-3.5-Erbe), Chatgpt Plus (GPT-3,5-Standard, GPT 3.5 Standard und GPT-4).
API-Beispiele für GPT-3,5-Turbo, GPT-4, Dall-E 2, Google Cloud AI-Sprache und Google Cloud AI Vision.
Entdecken Sie Hugginggpt, Google Smart Compose, Google Bard und das neue Bing von Microsoft.
Fortgeschrittene Eingabeaufforderung mit der Chatgpt-API und der GPT-4-API.

Suchen Sie einfach nach dem Delphin? Und genießen Sie Ihre Fahrt in die Zukunft der KI!

Kontaktieren Sie mich unter LinkedIn
Holen Sie sich das Buch bei Amazon

Transformatormodelle von Bert zu GPT-4, Umgebungen von Umarmung nach Openai. Beispiele für Feinabstimmungen, Schulungen und sofortige technische Beispiele. Ein Bonusabschnitt mit ChatGPT, GPT-3,5-Turbo, GPT-4 und Dall-E, einschließlich Sprungstart-GPT-4, Speech-to-Text, Text-to-Speech, Text-to-Image-Generation mit Dall-E und mehr.

Erste Schritte

Sie können diese Notebooks auf Cloud -Plattformen wie Google Colab oder Ihrem lokalen Computer ausführen. Beachten Sie, dass in einigen Kapiteln eine GPU in angemessener Zeit ausgeführt werden muss. Wir empfehlen daher eine der Cloud-Plattformen, wenn sie mit CUDA vorinstalliert werden.

Erste Schritte mit Openai API

6. Dezember 2023. OpenAI aktualisiert derzeit seine Plattform. Wenn Sie Probleme mit den Notizbüchern dieses Repositorys begegnen, können Sie die folgenden Tipps implementieren:

• Zum 4. Januar 2024 gelten OpenAI -Abschreibungen für "Davinci". Der empfohlene Ersatz ist 'DaVinci-002'
• Google Colab: Cohere (Sprachfunktionen) und Tiktoken (BPE -Tokenizer), die für die Installation von OpenAI (! PIP Installation Tiktoken und! PIP Installation -Upgrade Cohere) erforderlich sind
• API -Anruf von "openai.completion.create" zu "client.chat.completions.create" mit Client = [Ihrem OpenAI -Client] geändert.
• API -Anruf von Engine = [Modellname] zu Modell = [Modellname]
• Das Antwortobjekt entwickelt sich weiter. Empfehlung: Zuerst "Antwort" drucken und dann das Objekt analysieren, um dann auf das zugreifen zu können, was Sie benötigen.
• Wenn die Probleme bestehen bleiben, können Sie versuchen, eine vorherige OpenAI -Version festzuhalten :! PIP Installation OpenAI == 0.28

Sie können Beispiele für diese Update -Tipps in den folgenden Notizbüchern finden, die Sie bei Bedarf auf andere Notizbücher anwenden können: –Getting_started_gpt_3.ipynb), summarieren_with_chatgpt.ipynb und semantic_role_labeling_with_chatgpt.ipynb

Laufen auf einer Cloud -Plattform oder in Ihrer Umgebung

Um diese Notizbücher auf einer Cloud -Plattform auszuführen, klicken Sie einfach auf eines der Abzeichen in der folgenden Tabelle oder führen Sie sie in Ihrer Umgebung aus.

Kapitel	Colab	Kaggle	Gradient	Studiolab
Kapitel 2: Erste Schritte mit der Architektur des Transformatormodells
Multi_head_attention_sub_layer.ipynb Positional_encoding.ipynb
Kapitel 3: Feinabstimmung Bert-Modelle
BERT_FINE_TUNING_SENTENCE_CLassifization_gpu.ipynb
Kapitel 4: Vorab ein Roberta -Modell von Grund auf neu
Vorab ein Roberta -Modell von Grund auf neu Kantaibert.ipynb
Kapitel 5: Nachgeschaltete NLP -Aufgaben mit Transformatoren
Transformator_tasks.ipynb
Kapitel 6 Maschinelle Übersetzung mit dem Transformator
Trax_translation.ipynb
Kapitel 7: Der Aufstieg der Suprahuman-Transformatoren mit GPT-3-Motoren
Gern_started_gpt_3.ipynb Fine_tuning_gpt_3 (aktualisiert mit neuen OpenAI -Aufrufen in 01.01.2024)
Kapitel 8: Anwenden von Transformatoren auf rechtliche und finanzielle Dokumente für die Zusammenfassung der AI -Text
Summarizing_text_with_t5.ipynb
Kapitel 9: Matching Tokenizer und Datensätze
Tokenizer.ipynb Training_openai_gpt_2_ch09.ipynb Summarizing_with_chatgpt.ipynb
Kapitel 10: Semantische Rollenkennzeichnung
Srl.ipynb Semantic_role_labeling_with_chatgpt.ipynb
Kapitel 11: Lassen Sie Ihre Daten das Sprechen erledigen: Geschichte, Fragen und Antworten
Qa.ipynb Haystack_qa_pipeline.ipynb
Kapitel 12 Erkennen von Kundenemotionen, um Vorhersagen zu treffen
Sentimentanalysis.ipynb
Kapitel 13: Analyse gefälschter Nachrichten mit Transformatoren
Fake_news.ipynb Fake_news_analysis_with_chatgpt.ipynb
Kapitel 14: Interpretation von Black Box -Transformatormodellen
Bertviz.ipynb Verständnis_GPT_2_MODELS_WITH_ECCO.IPYNB
Kapitel 15: Von NLP zu Task-Agnostic-Transformatormodellen
Vision_transformers.ipynb Dall_e.ipynb
Kapitel 16: Die Entstehung von transformatorgetriebenen Copiloten
DOMAIN_SPECIFIC_GPT_3_FUNCTIONALITY.IPYNB Kantaibert_recommender.ipynb Vision_mlp_mixer (instabiler neuer Code in Q1-2024) Compact_convolutional_transformers.ipynb
Kapitel 17:? Konsolidierung von Suprahuman-Transformatoren mit OpenAI-Chatgpt und GPT-4
Jump_Starting_Chatgpt_with_the_openai_api.ipynb CHATGPT_PLUS_WRITES_AND_EXplains_classification.ipynb Gern_started_openai_gpt_4.ipynb Forderd_engineering_as_an_alternative_to_fine_tuning.ipynb Gern_started_with_the_dall_e_2_api.ipynb Spreche_with_chatgpt.ipynb All_in_one.ipynb
ANHANG III: Generische Textabschluss mit GPT-2
Openai_gpt_2.ipynb
Anhang IV: Benutzerdefinierte Textabschluss mit GPT-2
Training_openai_gpt_2.ipynb

Zusätzliche OpenAI -Bonus -Notizbücher

Bonus	Colab	Kaggle	Gradient	Sagemaker Studio Lab
"Chatgpt, GPT-4 und GPT-3-Modelle erforschen und vergleiche
Exploring_GPT_4_API
? Erstellen Sie eine Chatgpt XAI -Funktion, die Chatgpt und eine XAI -Formfunktion erklärt
Xai_by_chatgpt_for_chatgpt
Kehren Sie mit GPT-2 und Chatgpt zurück zu den Ursprüngen
Gpt_2_and_chatgpt_the_origins
? Chatgpt oder Davinin_instruct? Was ist am besten für Ihr Projekt?
CHATGPT_AS_A_COBOT_CHATGPT_VERSUS_DAVINCI_INSTRUCT.IPYNB
? AI -Sprachmodellvergleich -Erforschen Sie verschiedene KI -Sprachmodelle und ihre Funktionen über dieses umfassende Notizbuch. -In unterschiedliche APIs und Funktionen wie Stimmungsanalyse, Entitätserkennung, Syntaxanalyse, Inhaltsklassifizierung und KI -Sicht. -Entdecken Sie und vergleichen Sie die Angebote von Google Cloud AI Language, Google Cloud AI Vision, OpenAI GPT-4, Google Bard, Microsoft New Bing, ChatgPT PLUS-GPT-4, Umarmung Gesicht, Hugginggpt und Google Smart Compose.
6. Dezember 2023 Update: In den neueren Versionen von Gradio wurde die Definition der Eingaben aktualisiert. Anstatt zu verwenden
gr.inputs.Textbox , verwenden Sie jetzt gr.Textbox direkt für die Eingänge und Ausgänge.
Exploring_and_comparing_advanced_ai_technologies.ipynb

Schlüsselmerkmale

Implementieren Sie Modelle wie Bert, Reformer und T5, die klassische Sprachmodelle übertreffen
Vergleichen Sie NLP-Anwendungen mit GPT-3, GPT-2 und anderen Transformatoren
Analysieren Sie fortschrittliche Anwendungsfälle, einschließlich Polysemie, bringliches Lernen und Computer Vision. Ein GitHub-Bonus-Verzeichnis mit SOA-Chatgpt, GPT-3,5-Turbo, GPT-4 und Dall-E-Notizbüchern.

Buchbeschreibung

Transformatoren sind ein Spielveränderer für das Verständnis für natürliches Sprache (NLU) und sind zu einer der Säulen der künstlichen Intelligenz geworden.

Transformers for Natural Language Processing, 2. Auflage, untersucht Deep Learning for Machine-Übersetzungen, Sprachmodellierung, Fragen-Answer und viele weitere NLP-Domänen mit Transformatoren.

Ein KI -Spezialist der Branche 4.0 muss anpassungsfähig sein. Nur eine NLP -Plattform zu wissen, reicht nicht mehr aus. Verschiedene Plattformen haben je nach Anwendung unterschiedliche Vorteile, unabhängig davon, ob es sich um Kosten, Flexibilität, einfache Implementierung, Ergebnisse oder Leistung handelt. In diesem Buch analysieren wir zahlreiche Anwendungsfälle mit Umarmungsgesicht, Google Trax, Openai und Allennlp.

Dieses Buch übernimmt die Funktionen der Transformatoren weiter, indem mehrere NLP -Techniken wie die Stimmungsanalyse, die Erkennung von Entität und die semantische Rollenkennzeichnung kombiniert werden, um komplexe Anwendungsfälle wie das Zerlegen von gefälschten Nachrichten auf Twitter zu analysieren. Sehen Sie außerdem, wie Transformatoren mit nur einer kurzen Beschreibung Code erstellen können.

Am Ende dieses NLP -Buches verstehen Sie Transformers aus der Sicht der kognitiven Wissenschaft und beherrschen die Anwendung vorbereiteter Transformatormodelle auf verschiedene Datensätze.

Was Sie lernen werden

Entdecken Sie neue Wege, um NLP -Techniken mit den neuesten vorbereiteten Transformatoren durchzuführen
Erfassen Sie die Funktionsweise des ursprünglichen Transformators, GPT-3, Bert, T5, DeBerta und Reformer
Erstellen Sie Python -Programme für Sprachverständnisse mit Konzepten, die klassische Deep -Learning -Modelle übertreffen
Wenden Sie Python-, TensorFlow- und Pytorch -Programme auf die Analyse der Stimmung, die Summarisierung von Text, die Spracherkennung, maschinelle Übersetzungen und mehr an
Messen Sie die Produktivität von Schlüsseltransformatoren, um ihren Umfang, ihren Potential und ihre Produktionsgrenzen zu definieren

Für wen dieses Buch ist

Wenn Sie Transformers über Ihre natürlichen Sprach- (und Bild-) Daten lernen und anwenden möchten, ist dieses Buch für Sie.

Ein gutes Verständnis von NLP, Python und Deep Learning ist erforderlich, um am meisten von diesem Buch zu profitieren. Viele in diesem Buch behandelte Plattformen bieten interaktive Benutzeroberflächen, die es den Lesern mit allgemeinem Interesse an NLP und KI ermöglichen, mehrere Kapitel dieses Buches zu folgen.

Inhaltsverzeichnis

1.Was sind Transformatoren?
2. Getting begann mit der Architektur des Transformatormodells
3. FINE-TUNING BERT-Modelle
4. Vorrücken eines Roberta -Modells von Grund auf neu
5. Downstream -NLP -Aufgaben mit Transformatoren
6. Machine -Übersetzung mit dem Transformator
7. Der Aufstieg der Suprahuman-Transformatoren mit GPT-3-Motoren
8. Wenden Sie Transformatoren in rechtliche und finanzielle Dokumente für die Zusammenfassung der AI -Text
9. Tokenisierer und Datensätze
10.Semantische Rollenmarkierung mit Bert-basierten Transformatoren
11. Lassen Sie Ihre Daten das Sprechen tun: Geschichte, Fragen und Antworten
12. Erkennung von Kundenemotionen, um Vorhersagen zu treffen
13. Analyse gefälschte Nachrichten mit Transformatoren
14. Interpretieren von Black Box -Transformer -Modellen
15.From NLP zu Task-Agnostic-Transformatormodellen
16. Die Entstehung von transformatorgetriebenen Kopiloten
17.Die Konsolidierung von Suprahuman-Transformatoren mit OpenAs Chatgpt und GPT-4
Anhang I: Terminologie der Transformatormodelle
Anhang II: Hardwarebeschränkungen für Transformatormodelle
Und noch mehr!