Transformers for NLP 2nd Edition

Transformers-for-NLP-2nd-edição

© Copyright 2022-2024, Denis Rothman, Packt Publishing

Última atualização: 4 de janeiro de 2024

Golfinho? Programas de bônus adicionais para o OpenAi ChatGPT (GPT-3.5 Legacy), ChatGPT Plus (Padrão GPT-3.5, Padrão GPT 3.5 e GPT-4).
Exemplos de API para GPT-3.5-Turbo, GPT-4, Dall-E 2, Google Cloud AI Language e Google Cloud AI Vision.
Descubra HuggingGPT, Google Smart Compose, Google Bard e New Bing da Microsoft.
Engenharia rápida avançada com a API ChatGPT e a API GPT-4.

Basta procurar o golfinho? E aproveite o seu passeio no futuro da IA!

Entre em contato comigo no LinkedIn
Pegue o livro na Amazon

Modelos de transformadores de Bert para GPT-4, ambientes de abraçar o rosto para o Openai. Exemplos de engenharia de ajuste fino, treinamento e imediato. Uma seção de bônus com ChatGPT, GPT-3.5-Turbo, GPT-4 e Dall-E, incluindo o GPT-4 de partida, a geração de texto para texto, texto para falar, text-to-mage com Dall-E e muito mais.

Começando

Você pode executar esses notebooks em plataformas em nuvem como o Google Colab ou sua máquina local. Observe que alguns capítulos exigem que uma GPU seja executada em uma quantidade razoável de tempo, por isso recomendamos uma das plataformas em nuvem, pois elas são pré-instaladas com CUDA.

Introdução ao Openai API

6 de dezembro de 2023. Atualmente, o OpenAI está atualizando sua plataforma. Se você encontrar problemas com os notebooks deste repositório, poderá implementar as seguintes dicas:

• Em 4 de janeiro de 4,2024, as depreciações do Openai se aplicam a 'DaVinci'. A substituição recomendada é 'DaVinci-002'
• Google Colab: Cohere (funções de idioma) e Tiktoken (BPE Tokenizer) necessário para instalar o OpenAI (!
• A chamada da API foi alterada de "OpenAi.completion.create" para "client.chat.completions.create" com o cliente = [seu cliente OpenAI]
• Chamada da API alterada do mecanismo = [nome do modelo] para modelo = [nome do modelo]
• O objeto de resposta está evoluindo. Recomendação: Primeira impressão "Resposta" e, em seguida, analise o objeto para acessar o que você precisa.
• Se os problemas persistirem, você pode tentar fixar uma versão anterior do OpenAi :!

Você pode encontrar exemplos dessas dicas de atualização em The seguintes notebooks que você pode aplicar a outros notebooks, se necessário: -getting_started_gpt_3.ipynb), resumindo_with_chatgpt.ipynb e semantic_role_labeling_with_chatgpt.ipynb

Executando em uma plataforma em nuvem ou em seu ambiente

Para executar esses notebooks em uma plataforma em nuvem, basta clicar em um dos crachás da tabela abaixo ou executá -los em seu ambiente.

Capítulo	Colab	Kaggle	Gradiente	Studiolab
Capítulo 2: Introdução à arquitetura do modelo de transformador
Multi_head_attention_sub_layer.ipynb posicional_encoding.ipynb
Capítulo 3: modelos Bert de ajuste fino
Bert_fine_tuning_sentence_classification_gpu.ipynb
CAPÍTULO 4: Preencher um modelo Roberta do zero
Pré -tremendo um modelo Roberta do zero Kantaibert.ipynb
Capítulo 5: Tarefas de NLP a jusante com Transformers
Transformer_tasks.ipynb
Capítulo 6 Tradução da máquina com o transformador
Trax_translation.ipynb
Capítulo 7: A ascensão dos transformadores suprahumanos com motores GPT-3
Getting_started_gpt_3.ipynb Fine_tuning_gpt_3 (atualizado com novas chamadas do Openai em 01/2024)
Capítulo 8: Aplicando transformadores a documentos legais e financeiros para resumo de texto de IA
Resumindo_text_with_t5.ipynb
Capítulo 9: Tokenizers e conjuntos de dados correspondentes
Tokenizers.ipynb Treinamento_openai_gpt_2_ch09.ipynb Resumindo_with_chatgpt.ipynb
Capítulo 10: rotulagem semântica
Srl.ipynb Semantic_role_labeling_with_chatgpt.ipynb
Capítulo 11: Deixe seus dados falarem: história, perguntas e respostas
QA.IPYNB Haystack_qa_pipeline.ipynb
Capítulo 12 Detectando emoções do cliente para fazer previsões
SentimentAnalysis.ipynb
Capítulo 13: Analisando notícias falsas com transformadores
Falso_news.ipynb Fake_News_analysis_with_chatgpt.ipynb
Capítulo 14: Interpretando modelos de transformadores de caixa preta
Bertviz.ipynb Compreender_gpt_2_models_with_ecco.ipynb
Capítulo 15: De PNL aos modelos de transformadores agnósticos de tarefas
Vision_transformers.ipynb Dall_e.ipynb
Capítulo 16: O surgimento de copilotes orientados a transformadores
Domain_specific_gpt_3_functionity.ipynb Kantaibert_recommender.ipynb Vision_mlp_mixer (novo código instável no Q1-2024) Compact_convolucional_transformers.ipynb
Capítulo 17 :? Consolidação de transformadores suprahumanos com o OpenAi chatgpt e GPT-4
Jump_starting_chatgpt_with_the_openai_api.ipynb Chatgpt_plus_writes_and_explains_classification.ipynb Getter_started_openai_gpt_4.ipynb Prompt_engineering_AS_AN_ALTERNATION_TO_FINE_TUNING.IPYNB Getting_started_with_the_dall_e_2_api.ipynb Fale_with_chatgpt.ipynb All_in_one.ipynb
Apêndice III: conclusão genérica de texto com GPT-2
Openai_gpt_2.ipynb
Apêndice IV: conclusão de texto personalizada com GPT-2
Treinamento_openai_gpt_2.ipynb

Notebooks de bônus do OpenAi adicionais

Bônus	Colab	Kaggle	Gradiente	Sagemaker Studio Lab
? Explorar e comparar modelos ChatGPT, GPT-4 e GPT-3
Exploring_GPT_4_API
? Crie uma função chatgpt xai que explique chatgpt e uma função xai
XAI_BY_CHATGPT_FOR_CHATGPT
? Volte às origens com GPT-2 e Chatgpt
Gpt_2_and_chatgpt_the_origins
? Chatgpt ou Davinin_instruct? O que é melhor para o seu projeto?
ChatGPT_AS_A_COBOT_CHATGPT_VERSUS_DAVINCI_INSTRUCT.IPYNB
? Comparação de modelo de idioma ai -Explore vários modelos de idiomas de IA e seus recursos através deste notebook abrangente. -Dive em diferentes APIs e funcionalidades, como análise de sentimentos, reconhecimento de entidades, análise de sintaxe, classificação de conteúdo e visão de IA. -Discover e compare as ofertas do idioma do Google Cloud AI, Google Cloud AI Vision, OpenAI GPT-4, Google Bard, Microsoft New Bing, ChatGPT Plus-GPT-4, Hugging Face, HuggingGPT e Google Smart Compose.
6 de dezembro de 2023 Atualização: Nas versões mais recentes do Gradio, a maneira como as entradas são definidas foi atualizada. Em vez de usar
gr.inputs.Textbox , agora use gr.Textbox diretamente para as entradas e saídas.
Exploring_and_comparing_advanced_ai_technologies.ipynb

Principais recursos

Implementar modelos, como Bert, Reformer e T5, que superam os modelos de linguagem clássica
Compare aplicativos de PNL usando GPT-3, GPT-2 e outros transformadores
Analise os casos de uso avançado, incluindo polissemia, aprendizado cruzado e visão computacional. Um diretório de bônus do GitHub com notebooks SOA Chatgpt, GPT-3.5-Turbo, GPT-4 e Dall-E.

Descrição do livro

Os transformadores são um divisor de águas para o entendimento da linguagem natural (NLU) e se tornaram um dos pilares da inteligência artificial.

Transformers para processamento de linguagem natural, 2ª edição, investiga o aprendizado profundo para traduções de máquinas, modelagem de idiomas, resposta a perguntas e muitos outros domínios de PNL com transformadores.

Um especialista em IA da Indústria 4.0 precisa ser adaptável; Saber apenas uma plataforma de PNL não é mais suficiente. Plataformas diferentes têm benefícios diferentes, dependendo do aplicativo, seja custo, flexibilidade, facilidade de implementação, resultados ou desempenho. Neste livro, analisamos inúmeros casos de uso com Hugging Face, Google Trax, Openai e Allennlp.

Este livro leva os recursos da Transformers ainda mais, combinando várias técnicas de PNL, como análise de sentimentos, reconhecimento de entidade e rotulagem semântica, para analisar casos de uso complexos, como dissecar notícias falsas no Twitter. Além disso, consulte como os Transformers podem criar código usando apenas uma breve descrição.

No final deste livro da PNL, você entenderá os transformadores de uma perspectiva científica cognitiva e será proficiente na aplicação de modelos de transformadores pré -rastreados a vários conjuntos de dados.

O que você aprenderá

Descubra novas maneiras de realizar técnicas de PNL com os mais recentes transformadores pré -treinados
Entender o funcionamento do transformador original, GPT-3, Bert, T5, Deberta e Reformador
Crie programas de compreensão de idiomas usando conceitos que superam modelos clássicos de aprendizado profundo
Aplique programas Python, Tensorflow e Pytorch para análise de sentimentos, resumo de texto, reconhecimento de fala, traduções de máquinas e muito mais
Meça a produtividade dos principais transformadores para definir seu escopo, potencial e limites na produção

Para quem este livro é para

Se você quiser aprender e aplicar transformadores aos seus dados de linguagem natural (e imagem), este livro é para você.

É necessário um bom entendimento de PNL, Python e aprendizado profundo para se beneficiar mais deste livro. Muitas plataformas abordadas neste livro fornecem interfaces de usuário interativas, que permitem aos leitores um interesse geral na PNL e IA seguir vários capítulos deste livro.

Índice

1. O que são transformadores?
2.Gerting começou com a arquitetura do modelo de transformador
3. Modelos Bert de ajuste de fina
4. Preendo um modelo Roberta do zero
5. Tarefas de NLP do arremesso
6. Tradução da máquina com o transformador
7. A ascensão dos transformadores suprahumanos com motores GPT-3
8. Aplicando transformadores em documentos legais e financeiros para resumo de texto de IA
9. Matando os tokenizadores e conjuntos de dados
10. Rotulagem de papéis semantica com transformadores baseados em Bert
11. Seus dados falam: história, perguntas e respostas
12. Detectando emoções do cliente para fazer previsões
13.Alyzing Fake News com Transformers
14. Interpretando modelos de transformador de caixa preta
15. De NLP a modelos de transformadores agnósticos de tarefas
16.O surgimento de copilotes orientados a transformadores
17.A consolidação de transformadores suprahumanos com ChatGPT e GPT-4 do Openai
Apêndice I: Terminology of Transformer Models
Apêndice II: Restrições de hardware para modelos de transformadores
E mais!