quick start guide to llms

Guía de inicio rápido para modelos de lenguajes grandes - Segunda edición

Obtenga su copia hoy y deje una calificación/reseña para decirme lo que pensó.

Bienvenido al repositorio de GitHub de la "Guía de inicio rápido para modelos de lenguajes grandes - Segunda edición" . Este repositorio contiene los fragmentos de código y los cuadernos utilizados en el libro, que demuestran diversas aplicaciones y técnicas avanzadas para trabajar con modelos Transformer y modelos de lenguaje grande (LLM). Vea el código de la primera edición aquí

Estructura del repositorio

Directorios

• notebooks : Contiene cuadernos Jupyter para cada capítulo del libro.
• data : Contiene los conjuntos de datos utilizados en los cuadernos.
• images : Contiene imágenes y gráficos utilizados en los cuadernos.

Cuadernos

A continuación se muestra una lista de los cuadernos incluidos en el directorio notebooks , organizados por capítulos del libro.

Parte I: Introducción a los modelos de lenguaje grandes

• Capítulo 2: Búsqueda semántica con LLM

  • 02_semantic_search.ipynb : una introducción a la búsqueda semántica utilizando OpenAI y modelos de código abierto.

• Capítulo 3: Primeros pasos con ingeniería rápida

  • 03_prompt_engineering.ipynb : una guía para una ingeniería rápida eficaz para LLM alineados con instrucciones.

• Capítulo 4: El ecosistema de IA: uniendo las piezas

  • 04_rag_retrieval.ipynb : Creación de una canalización de generación aumentada de recuperación (RAG).
  • 04_agent.ipynb : construcción de un agente de IA utilizando LLM y otras herramientas.

Parte II: Aprovechar al máximo los LLM

• Capítulo 5: Optimización de LLM con ajustes personalizados

  • 05_bert_app_review.ipynb : Ajuste de un modelo BERT para la clasificación de revisión de aplicaciones.
  • 05_openai_app_review_fine_tuning.ipynb : Ajuste de modelos OpenAI para la clasificación de revisión de aplicaciones.

• Capítulo 6: Ingeniería rápida avanzada

  • 06_adv_prompt_engineering.ipynb : Técnicas avanzadas en ingeniería rápida, incluida la validación de resultados y el aprendizaje semántico de pocas oportunidades.

• Capítulo 7: Personalización de incrustaciones y arquitecturas de modelos

  • 07_recommendation_engine.ipynb : creación de un motor de recomendación utilizando incrustaciones y LLM personalizados y ajustados.

Parte III - Uso avanzado de LLM

• Capítulo 9: Más allá de los modelos de cimientos

  • 09_constructing_a_vqa_system.ipynb : Guía paso a paso para construir un sistema de respuesta visual a preguntas (VQA) utilizando GPT-2 y Vision Transformer.
  • 09_using_our_vqa.ipynb : Utilizando el sistema VQA integrado en el cuaderno anterior.
  • 09_flan_t5_rl.ipynb : Uso del aprendizaje por refuerzo (RL) para mejorar los resultados del modelo FLAN-T5.

• Capítulo 10: Ajuste avanzado de LLM de código abierto

  • 10_SAWYER_LLAMA_SFT.ipynb : Ajuste del modelo Llama-3 para crear el bot SAWYER.
  • 10_SAWYER_Reward_Model.ipynb : Entrenamiento de un modelo de recompensa a partir de las preferencias humanas para el bot SAWYER.
  • 10_SAWYER_RLF.ipynb : Aplicación del aprendizaje reforzado a partir de la retroalimentación humana (RLHF) para alinear el robot SAWYER.
  • 10_SAWYER_USE_SAWYER.ipynb : Usando el robot SAWYER.
  • 10_anime_category_classification_model_freezing.ipynb : Ajuste de un modelo BERT para la clasificación de categorías de anime, comparando técnicas de congelación de capas.
  • 10_latex_gpt2.ipynb : Ajuste fino de GPT-2 para generar fórmulas LaTeX.
  • 10_optimizing_fine_tuning.ipynb : Mejores prácticas para optimizar el ajuste fino de modelos de transformadores.

• Capítulo 11: Traslado de los LLM a producción

  • 11_distillation_example_1.ipynb : Explorando técnicas de destilación de conocimientos para modelos de transformadores.
  • 11_distillation_example_2.ipynb : métodos y aplicaciones de destilación avanzados.
  • 11_llama_quantization.ipynb : Cuantificación de modelos Llama para una implementación eficiente.

• Capítulo 12: Evaluación de LLM

  • 12_llm_calibration.ipynb : Técnicas para calibrar resultados de LLM.
  • 12_llm_gen_eval.ipynb : Métodos para evaluar las capacidades generativas de los LLM.
  • 12_cluster.ipynb : Técnicas de agrupación para analizar los resultados de LLM.
  • Sondeo: hay más de una docena de cuadernos para sondeo, por lo que aquí solo compartiré algunos de los más importantes:
    • Llama-3 8B Instruir con el mensaje "¿Quién es {NOMBRE}"
    • BERT con carcasa grande sin aviso
    • Mistral-7B-Instruct-v0.3 con mensaje "¿Quién es {NOMBRE}"

Cómo utilizar

Para utilizar este repositorio:

1. Clona el repositorio en tu máquina local:

git clone https://github.com/yourusername/quick-start-llms.git

2. Navegue hasta el directorio de cuadernos y abra el cuaderno Jupyter de su elección:

 cd quick-start-llms

3. Instale las bibliotecas necesarias:

pip install -r requirements.txt

Nota: Algunas notebooks pueden requerir conjuntos de datos específicos, que se pueden encontrar en el directorio de datos.

Contribuyendo

¡Las contribuciones son bienvenidas! Si tiene adiciones, correcciones o mejoras, no dude en enviar una solicitud de extracción.

Descargo de responsabilidad

Este repositorio tiene fines educativos y está destinado a acompañar al libro "Guía de inicio rápido para modelos de lenguaje grandes - Segunda edición". Consulte el libro para obtener explicaciones y debates detallados sobre los temas tratados en los cuadernos.

Más de Sinan

1. Consulte el horario de oficina de AI del boletín de Sinan para obtener más contenido de AI/LLM.
2. Sinan tiene un podcast llamado Practically Intelligent donde habla sobre lo último y lo mejor en IA.
3. Siga la lista de reproducción Introducción a datos, LLM y ChatGPT en O'Reilly para obtener una lista seleccionada del trabajo de Sinan.