Transformers for NLP 2nd Edition

Transformadores por NLP-2nd-edición

© Copyright 2022-2024, Denis Rothman, Packt Publishing

Última actualización: 4 de enero de 2024

¿Delphin? Programas adicionales de bonificación para OpenAI CHATGPT (GPT-3.5 Legacy), CHATGPT Plus (GPT-3.5 predeterminado, GPT 3.5 predeterminado y GPT-4).
Ejemplos de API para GPT-3.5-TURBO, GPT-4, Dall-E 2, Google Cloud AI Language y Google Cloud AI Vision.
Descubra HuggingGpt, Google Smart Compose, Google Bard y el nuevo Bing de Microsoft.
Ingeniería avanzada rápida con la API CHATGPT y la API GPT-4.

¿Solo busca el delfín? ¡Y disfruta de tu viaje al futuro de la IA!

Contáctame en LinkedIn
Obtenga el libro en Amazon

Modelos de transformadores de Bert a GPT-4, entornos desde abrazar la cara hasta la opción. Ajuste de fino, capacitación y pronunciantes ejemplos de ingeniería. Una sección de bonificación con ChatGPT, GPT-3.5-TURBO, GPT-4 y Dall-E, que incluye a GPT-4 de arranque, habla a texto, texto a voz, generación de texto a imagen con Dall-E y más.

Empezando

Puede ejecutar estos cuadernos en plataformas en la nube como Google Colab o su máquina local. Tenga en cuenta que algunos capítulos requieren que una GPU se ejecute en una cantidad razonable de tiempo, por lo que recomendamos una de las plataformas en la nube a medida que vienen preinstaladas con CUDA.

Comenzando con Operai API

6 de diciembre de 2023. Openai actualmente está actualizando su plataforma. Si encuentra problemas con los cuadernos de este repositorio, puede implementar los siguientes consejos:

• A partir del 4 de enero de 2024, las deprecaciones de Openai se aplican a 'Davinci'. El reemplazo recomendado es 'Davinci-002'
• Google Colab: Cohere (Funciones de idioma) y Tiktoken (BPE Tokenizer) requeridos para instalar OpenAI (! Pip Instalar Tiktoken y!
• La llamada de API cambió de "OpenAi.completion.Create" a "Client.chat.completions.Create" con Client = [su cliente OpenAI]
• La llamada de API cambió de motor = [Nombre del modelo] a Model = [Nombre del modelo]
• El objeto de respuesta está evolucionando. Recomendación: Primero imprima "respuesta", luego analice el objeto para luego acceder a lo que necesita.
• Si los problemas persisten, puede intentar fijar una versión anterior de OpenAI:! Pip install OpenAI == 0.28

Puede encontrar ejemplos de estos consejos de actualización en los siguientes cuadernos que puede aplicar a otros cuadernos si es necesario: -getting_started_gpt_3.ipynb), resuming_with_chatgpt.ipynb y semántico_role_labeling_with_chatgpt.ipynb

Ejecutando en una plataforma en la nube o en su entorno

Para ejecutar estos cuadernos en una plataforma en la nube, simplemente haga clic en una de las insignias de la tabla a continuación o ejecutarlas en su entorno.

Capítulo	Colab	Kaggle	Gradiente	Studiolab
Capítulo 2: Comenzando con la arquitectura del modelo Transformer
Multi_head_attention_sub_layer.ipynb posicional_encoding.ipynb
Capítulo 3: Modelos Bert de ajuste fino
Bert_fine_tuning_sentence_classification_gpu.ipynb
Capítulo 4: Pretrando un modelo de Roberta desde cero
Previamente a la altura de un modelo Roberta desde cero Kantaienbert.ipynb
Capítulo 5: Tareas NLP aguas abajo con Transformers
Transformer_tasks.ipynb
Capítulo 6 Traducción automática con el transformador
Trax_translation.ipynb
Capítulo 7: El surgimiento de los transformadores suprahumanos con motores GPT-3
Getting_started_gpt_3.ipynb FIN_TUNING_GPT_3 (actualizado con nuevas llamadas de Operai en 01/2024)
Capítulo 8: Aplicar transformadores a documentos legales y financieros para la resumen de texto de IA
Resuming_text_with_t5.ipynb
Capítulo 9: Tokenizers y conjuntos de datos coincidentes
Tokenizers.ipynb Entrenamiento_openai_gpt_2_ch09.ipynb Resuming_with_chatgpt.ipynb
Capítulo 10: Etiquetado de rol semántico
Srl.ipynb Semantic_role_labeling_with_chatgpt.ipynb
Capítulo 11: Deje que sus datos hablen: historia, preguntas y respuestas
Qa.ipynb Haystack_qa_pipeline.ipynb
Capítulo 12 Detección de emociones de los clientes para hacer predicciones
Sentimentanálisis.ipynb
Capítulo 13: Análisis de noticias falsas con Transformers
False_news.ipynb False_news_analysis_with_chatgpt.ipynb
Capítulo 14: Interpretación de modelos de transformadores de caja negra
Bertviz.ipynb Entendiendo_gpt_2_models_with_ecco.ipynb
Capítulo 15: Desde NLP hasta modelos de transformadores agnósticos de tareas
Vision_transformers.ipynb Dall_e.ipynb
Capítulo 16: La aparición de copilotos impulsados ​​por transformadores
Dominio_specific_gpt_3_functionality.ipynb Kantaibert_recommender.ipynb Vision_mlp_mixer (nuevo código inestable en el Q1-2024) Compact_convolutional_transformers.ipynb
Capítulo 17 :? Consolidación de transformadores suprahumanos con Operai Chatgpt y GPT-4
Jump_starting_chatgpt_with_the_openai_api.ipynb Chatgpt_plus_writes_and_explains_classification.ipynb Getting_started_openai_gpt_4.ipynb Apt_engineering_as_an_alternative_to_fine_tuning.ipynb Getting_started_with_the_dall_e_2_api.ipynb Hablando_with_chatgpt.ipynb All_in_one.ipynb
Apéndice III: finalización de texto genérico con GPT-2
OPERAI_GPT_2.IPYNB
Apéndice IV: finalización de texto personalizado con GPT-2
Entrenamiento_openai_gpt_2.ipynb

Cuadernos adicionales de Operai Bonus

Prima	Colab	Kaggle	Gradiente	Sagemaker Studio Lab
Explore y compare los modelos ChatGPT, GPT-4 y GPT-3
Exploring_gpt_4_api
? Cree una función chatgpt xai que explique chatgpt y una función de shap xai
Xai_by_chatgpt_for_chatgpt
? Vuelve a los orígenes con GPT-2 y Chatgpt
Gpt_2_and_chatgpt_the_origins
? Chatgpt o davinin_instruct? ¿Qué es lo mejor para su proyecto?
Chatgpt_as_a_cobot_chatgpt_versus_davinci_instruct.ipynb
? Comparación del modelo de idioma ai -Explore varios modelos de lenguaje de IA y sus capacidades a través de este cuaderno integral. -Seve en diferentes API y funcionalidades, como análisis de sentimientos, reconocimiento de entidad, análisis de sintaxis, clasificación de contenido y visión de IA. -Scubre y compare las ofertas del lenguaje de AI de Google Cloud, Google Cloud AI Vision, OpenAI GPT-4, Google Bard, Microsoft New Bing, ChatGPT Plus-GPT-4, Hugging Face, HuggingGPT y Google Smart Compose.
Actualización del 6 de diciembre de 2023: en las versiones más nuevas de Gradio, se ha actualizado la forma en que se definen las entradas. En lugar de usar
gr.inputs.Textbox , ahora use gr.Textbox directamente para las entradas y salidas.
Exploring_and_comparing_advanced_ai_technologies.ipynb

Características clave

Implementar modelos, como Bert, Reformer y T5, que superan a los modelos de idiomas clásicos
Compare aplicaciones NLP utilizando GPT-3, GPT-2 y otros transformadores
Analice casos de uso avanzados, incluyendo polisemia, aprendizaje interlingüístico y visión por computadora. Un directorio de bonificación GitHub con SOA ChatGPT, GPT-3.5-Turbo, GPT-4 y Dall-E cuaderno.

Descripción del libro

Los transformadores cambian el juego para la comprensión del lenguaje natural (NLU) y se han convertido en uno de los pilares de la inteligencia artificial.

Transformadores para el procesamiento del lenguaje natural, la segunda edición, investiga el aprendizaje profundo para las traducciones automáticas, el modelado de idiomas, la respuesta de preguntas y muchos más dominios de PNL con transformadores.

Un especialista en IA de la industria 4.0 debe ser adaptable; Saber que solo una plataforma NLP ya no es suficiente. Las diferentes plataformas tienen diferentes beneficios dependiendo de la aplicación, ya sea costo, flexibilidad, facilidad de implementación, resultados o rendimiento. En este libro, analizamos numerosos casos de uso con cara de abrazo, Google Trax, OpenAI y Allennlp.

Este libro lleva aún más las capacidades de Transformers al combinar múltiples técnicas de PNL, como análisis de sentimientos, reconocimiento de entidad nombrado y etiquetado de roles semánticos, para analizar casos de uso complejos, como diseccionar noticias falsas en Twitter. Además, consulte cómo los transformadores pueden crear código utilizando solo una breve descripción.

Al final de este libro de la PNL, comprenderá los transformadores desde una perspectiva de la ciencia cognitiva y será competente en la aplicación de modelos de transformadores previos a la aparición a varios conjuntos de datos.

Lo que aprenderás

Descubra nuevas formas de realizar técnicas de PNL con los últimos transformadores previos a la aparición
Compre el funcionamiento del transformador original, GPT-3, Bert, T5, Deberta y Reformer
Crear el lenguaje Comprender los programas de Python utilizando conceptos que superan a los modelos clásicos de aprendizaje profundo
Aplicar programas de Python, TensorFlow y Pytorch al análisis de sentimientos, resumen de texto, reconocimiento de voz, traducciones automáticas y más
Mida la productividad de los transformadores clave para definir su alcance, potencial y límites en la producción

Para quién es este libro

Si desea aprender y aplicar transformadores a sus datos de lenguaje natural (e imagen), este libro es para usted.

Se requiere una buena comprensión de PNL, Python y Deep Learning para beneficiarse más de este libro. Muchas plataformas cubiertas en este libro proporcionan interfaces de usuario interactivas, que permiten a los lectores un interés general en PNL y AI seguir varios capítulos de este libro.

Tabla de contenido

1. ¿Qué son los transformadores?
2. La cotización comenzó con la arquitectura del modelo Transformer
3. Modelos Bert de ajuste de fino
4. Presentando un modelo Roberta desde cero
5. Tareas NLP de Downstream con Transformers
6. Traducción de máquinas con el transformador
7. El surgimiento de los transformadores suprahumanos con motores GPT-3
8. Applying Transformers a documentos legales y financieros para el resumen de texto de IA
9.Matching tokenizers y conjuntos de datos
10. Etiquetado de rol emántico con transformadores basados ​​en Bert
11. Sea sus datos para hablar: historia, preguntas y respuestas
12. Detectar las emociones de los clientes para hacer predicciones
13. Analizando noticias falsas con Transformers
14.interpretando modelos de transformador de caja negra
15. De NLP a modelos de transformadores agnósticos de tareas
16. La aparición de copilotos impulsados ​​por transformadores
17. La consolidación de los transformadores suprahumanos con el chatgpt de Openai y GPT-4
Apéndice I: Terminología de modelos Transformer
Apéndice II: restricciones de hardware para modelos de transformadores
¡Y más!