awesome llms fine tuning

Impresionante ajuste de LLM

Bienvenido a la colección seleccionada de recursos para ajustar los modelos de lenguajes grandes (LLM) como GPT, BERT, RoBERTa y sus numerosas variantes. En esta era de la inteligencia artificial, la capacidad de adaptar modelos previamente entrenados a tareas y dominios específicos se ha convertido en una habilidad indispensable para investigadores, científicos de datos y profesionales del aprendizaje automático.

Los modelos de lenguaje grandes, entrenados en conjuntos de datos masivos, capturan una amplia gama de conocimientos y matices lingüísticos. Sin embargo, para liberar todo su potencial en aplicaciones específicas, es fundamental ajustarlas en conjuntos de datos específicos. Este proceso no sólo mejora el rendimiento de los modelos sino que también garantiza que se alineen con el contexto, la terminología y los requisitos particulares de la tarea en cuestión.

En esta increíble lista, hemos recopilado meticulosamente una variedad de recursos, incluidos tutoriales, artículos, herramientas, marcos y mejores prácticas, para ayudarlo en su proceso de ajuste. Si usted es un profesional experimentado que busca ampliar su experiencia o un principiante ansioso por ingresar al mundo de los LLM, este repositorio está diseñado para brindar información y pautas valiosas para optimizar sus esfuerzos.

Tabla de contenido

• Proyectos GitHub
• Artículos y blogs
• Cursos en línea
• Libros
• Artículos de investigación
• Vídeos
• Herramientas y software
• Conferencias y Eventos
• Diapositivas y presentaciones
• Pódcasts

Proyectos GitHub

• LlamaIndex?: Un marco de datos para sus aplicaciones LLM. (23010 estrellas)
• ¿Pétalos?: Ejecute LLM en casa, estilo BitTorrent. Ajuste e inferencia hasta 10 veces más rápido que la descarga. (7768 estrellas)
• LLaMA-Factory: un marco de ajuste de LLM fácil de usar (LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, ChatGLM3). (5532 estrellas)
• lit-gpt: Implementación pirateable de LLM de código abierto de última generación basados ​​en nanoGPT. Admite atención flash, cuantificación de 4 y 8 bits, ajuste fino de LoRA y LLaMA-Adapter, preentrenamiento. Con licencia Apache 2.0. (3469 estrellas)
• H2O LLM Studio: un marco y una GUI sin código para ajustar los LLM. Documentación: https://h2oai.github.io/h2o-llmstudio/ (2880 estrellas)
• Phoenix: Observabilidad y evaluación de IA: evalúe, solucione problemas y ajuste sus modelos LLM, CV y ​​NLP en un cuaderno. (1596 estrellas)
• LLM-Adapters: Código para el artículo EMNLP 2023: "LLM-Adapters: una familia de adaptadores para el ajuste eficiente de parámetros de modelos de lenguaje grandes". (769 estrellas)
• Platypus: código para ajustar los LLM de Platypus fam utilizando LoRA. (589 estrellas)
• xtuner: un conjunto de herramientas para ajustar eficientemente LLM (InternLM, Llama, Baichuan, QWen, ChatGLM2). (540 estrellas)
• DB-GPT-Hub: un repositorio que contiene modelos, conjuntos de datos y técnicas de ajuste fino para DB-GPT, con el propósito de mejorar el rendimiento del modelo, especialmente en Text-to-SQL, y logró una mayor acc ejecutiva que GPT-4 en spider eval con 13B LLM utilizó este proyecto. (422 estrellas)
• LLM-Finetuning-Hub: Repositorio que contiene scripts de implementación y ajuste fino de LLM junto con los resultados de nuestra investigación. 416
• Finetune_LLMs: repositorio para ajustar los LLM casuales. 391
• MFTCoder: marco de ajuste multitarea de alta precisión y eficiencia para Code LLM; 业内首个高精度、高效率、多任务、多模型支持、多训练算法，大模型代码能力微调框架. 337
• llmware: proporciona un marco de desarrollo, herramientas y modelos optimizados basados ​​en LLM de nivel empresarial. 289
• LLM-Kit: plataforma integrada WebUI para los últimos LLM | 各大语言模型的全流程工具 WebUI整合包。支持主流大模型API接口和开源模型。支持知识库，数据库，角色扮演， mj文生图，LoRA和全参数微调，数据集制作，live2d等全流程应用工具. 232
• h2o-wizardlm: Implementación de código abierto de WizardLM para convertir documentos en pares Q:A para el ajuste fino de LLM. 228
• hcgf: Ajuste fino del modelo generativo de chat humano | LLM 微 调. 196
• llm_qlora: ajuste de LLM utilizando QLoRA. 136
• Awesome-llm-human-preference-datasets: una lista seleccionada de conjuntos de datos de preferencia humana para ajuste fino de LLM, RLHF y evaluación. 124
• llm_finetuning: contenedor conveniente para el ajuste fino y la inferencia de modelos de lenguaje grandes (LLM) con varias técnicas de cuantificación (GTPQ, bitsandbytes). 114

Artículos y blogs

• Ajuste los LLM en 2024 con Hugging Face: ¿TRL y atención flash?: esta publicación de blog proporciona una guía completa para ajustar los LLM (por ejemplo, Llama 2), utilizando Hugging Face TRL y atención flash en GPU de tamaño de consumidor (24 GB).
• Guía completa de ajuste fino de LLM para principiantes: una guía completa que explica el proceso de ajuste fino de un modelo previamente entrenado para nuevas tareas, cubriendo conceptos clave y brindando un ejemplo concreto.
• Ajuste fino de modelos de lenguajes grandes (LLM): esta publicación de blog presenta una descripción general del ajuste fino de LLM previamente capacitados, analiza conceptos importantes y proporciona un ejemplo práctico con código Python.
• Creación de un LLM experto en dominios: una guía para el ajuste: un artículo que profundiza en el concepto de ajuste utilizando la API de OpenAI y muestra un ejemplo de ajuste de un modelo de lenguaje grande para comprender la trama de una ópera de Handel.
• ¿Una guía para principiantes sobre el ajuste fino de LLM?: Una guía que cubre el proceso de ajuste fino de LLM, incluido el uso de herramientas como QLoRA para configurar y ajustar modelos.
• Gráficos de conocimiento y LLM: ajuste fino vs. Generación aumentada de recuperación: esta publicación de blog explora las limitaciones de los LLM y proporciona información sobre cómo ajustarlos junto con los gráficos de conocimiento.
• Ajuste un LLM en sus datos personales: cree un narrador de “El Señor de los Anillos” ✏️: un artículo que demuestra cómo entrenar su propio LLM en datos personales, ofreciendo control sobre la información personal sin depender del GPT-4 de OpenAI.
• ¿Ajustar un modelo LLM con H2O LLM Studio para generar declaraciones Cypher?: esta publicación de blog proporciona un ejemplo de ajuste de un modelo LLM utilizando H2O LLM Studio para generar declaraciones Cypher, habilitando aplicaciones de chatbot con gráficos de conocimiento.
• Ajuste su propio modelo Llama 2 en un cuaderno de Colab: una introducción práctica al ajuste de LLM, que demuestra cómo implementarlo en un cuaderno de Google Colab para crear su propio modelo de Llama 2.
• ¿Estás pensando en perfeccionar un LLM? Aquí hay tres consideraciones antes de comenzar: este artículo analiza tres ideas a considerar al ajustar los LLM, incluidas formas de mejorar GPT más allá de PEFT y LoRA, y la importancia de invertir recursos sabiamente.
• Introducción a los LLM y la IA generativa: Parte 3: Ajuste fino de LLM con instrucción: este artículo explora el papel de los LLM en aplicaciones de inteligencia artificial y proporciona una descripción general sobre cómo ajustarlos.
• RAG vs Finetuning: cuál es la mejor herramienta para impulsar su aplicación LLM: una publicación de blog que analiza los aspectos a considerar al crear aplicaciones LLM y elegir el método adecuado para su caso de uso. ?‍
• Ajuste de un LLM: RLHF y alternativas (Parte I): un artículo que muestra métodos alternativos a RLHF, específicamente la optimización de preferencias directas (DPO).
• ¿Cuándo debería perfeccionar los LLM? - Explorar la comparación entre ajustar los LLM de código abierto y usar una API cerrada para consultas de LLM a escala. ?
• Ajuste fino de modelos de lenguaje grandes: considerar el ajuste fino de modelos de lenguaje grandes y compararlos con enfoques de cero y pocos intentos.
• GPT privado: LLM de ajuste fino en datos empresariales: exploración de técnicas de capacitación que permiten ajustar los LLM en GPU más pequeñas.
• Ajuste Google PaLM 2 con Scikit-LLM: se demuestra cómo ajustar Google PaLM 2, el LLM más avanzado de Google, utilizando Scikit-LLM. ?
• Una inmersión profunda en el ajuste de modelos de lenguaje grandes: un blog completo sobre el ajuste de LLM como GPT-4 y BERT, que brinda información, tendencias y beneficios.
• Capacitación previa, ajuste y aprendizaje en contexto en modelos de lenguajes grandes: discusión de los conceptos de capacitación previa, ajuste y aprendizaje en contexto en LLM.
• Lista de modelos de lenguajes grandes optimizados de código abierto: una lista seleccionada de LLM optimizados de código abierto que se pueden ejecutar localmente en su computadora. ?
• Guía para profesionales para ajustar los LLM para casos de uso de dominios específicos: una guía que cubre aprendizajes y conclusiones clave sobre el ajuste de LLM para casos de uso de dominios específicos.
• Finetune Llama 3.1 con una pila de producción en AWS, GCP o Azure: una guía y un tutorial sobre cómo ajustar Llama 3.1 (o Phi 3.5) en una configuración de producción diseñada para las mejores prácticas de MLOps. ?

Cursos en línea

• Fundamentos de ajuste: desbloquear el potencial de los LLM | Udemy: un curso práctico para principiantes sobre cómo crear modelos estilo chatGPT y adaptarlos para casos de uso específicos.
• IA generativa con grandes modelos de lenguaje | Coursera: aprenda los fundamentos de la IA generativa con LLM y cómo implementarlos en aplicaciones prácticas. Inscríbete gratis.
• Modelos de lenguaje grandes: aplicación hasta la producción | edX: un curso avanzado para desarrolladores, científicos de datos e ingenieros para crear aplicaciones centradas en LLM utilizando marcos populares y lograr una preparación para la producción de un extremo a otro.
• Ajuste de modelos de lenguaje grandes | Proyecto guiado de Coursera: un proyecto guiado breve que cubre conceptos esenciales de ajuste y entrenamiento de modelos de lenguaje grandes.
• API de OpenAI y ChatGPT: ajuste experto para desarrolladores | Udemy: descubra el poder de GPT-3 en la creación de soluciones de IA conversacional, incluidos temas como ingeniería rápida, ajuste, integración e implementación de modelos ChatGPT.
• Certificado profesional de modelos de lenguaje grandes | edX: aprenda a crear y producir aplicaciones basadas en modelos de lenguaje grande (LLM) utilizando los marcos, técnicas y teorías más recientes detrás de los modelos básicos.
• Mejorar el rendimiento de su LLM más allá del ajuste fino | Udemy: un curso diseñado para líderes empresariales y desarrolladores interesados ​​en perfeccionar modelos LLM y explorar técnicas para mejorar su desempeño.
• Introducción a los modelos de lenguaje grandes | Coursera: un curso de microaprendizaje de nivel introductorio ofrecido por Google Cloud, que explica los conceptos básicos de los modelos de lenguajes grandes (LLM) y sus casos de uso. Inscríbete gratis.
• Programa de estudios | LLM101x | edX: aprenda a utilizar incrustaciones de datos, bases de datos vectoriales y afinar los LLM con datos específicos del dominio para aumentar los procesos de LLM.
• Clase magistral de ajuste del rendimiento de modelos de aprendizaje profundo | Udemy: una clase magistral sobre cómo ajustar modelos de aprendizaje profundo, que cubre técnicas para acelerar el aprendizaje y optimizar el rendimiento.
• Los mejores cursos y certificaciones de modelos de lenguajes grandes (LLM): seleccionados por las principales instituciones educativas y líderes de la industria, esta selección de cursos de LLM tiene como objetivo brindar capacitación de calidad para individuos y equipos corporativos que buscan aprender o mejorar sus habilidades para perfeccionar los LLM.
• Dominar los modelos de lenguaje: liberar el poder de los LLM: en este curso integral, profundizará en los principios fundamentales de la PNL y explorará cómo los LLM han remodelado el panorama de las aplicaciones de inteligencia artificial. Una guía completa sobre PNL y LLM avanzados.
• Dominio de LLM: guía completa para transformadores e IA generativa: este curso proporciona una excelente descripción general de la historia de la IA y cubre el ajuste de los tres modelos principales de LLM: BERT, GPT y T5. Adecuado para aquellos interesados ​​en IA generativa, LLM y aplicaciones a nivel de producción.
• Explorando las tecnologías detrás de ChatGPT, GPT4 y LLM: el único curso que necesita para aprender sobre grandes modelos de lenguaje como ChatGPT, GPT4, BERT y más. Obtenga información sobre las tecnologías detrás de estos LLM.
• Introducción no técnica a los modelos de lenguaje grandes: una descripción general de los modelos de lenguaje grandes para personas sin conocimientos técnicos, que explica los desafíos existentes y brinda explicaciones simples sin jerga compleja.
• Modelos de lenguajes grandes: modelos básicos desde cero: profundice en los detalles de los modelos básicos en LLM, como BERT, GPT y T5. Obtenga una comprensión de los últimos avances que mejoran la funcionalidad LLM.

Libros

• IA generativa con modelos de lenguaje grandes: nuevo curso práctico de Deeplearning.ai y AWS
• Un curso práctico que enseña cómo perfeccionar los modelos de lenguaje grandes (LLM) utilizando modelos de recompensa y aprendizaje por refuerzo, con un enfoque en la IA generativa.
• De la selección de datos al ajuste fino: la guía técnica para la construcción de modelos LLM
• Una guía técnica que cubre el proceso de construcción de modelos LLM, desde la selección de datos hasta el ajuste.
• El libro de cocina de conocimientos de LLM: desde RAG hasta QLoRA, pasando por el ajuste fino y todas las recetas intermedias.
• Un libro de cocina completo que explora varios modelos LLM, incluidas técnicas como Recuperar y Generar (RAG) y Representación del Lenguaje de Consulta (QLoRA), así como el proceso de ajuste.
• Principios para perfeccionar los LLM
• Un artículo que desmitifica el proceso de ajuste de los LLM y explora diferentes técnicas, como el aprendizaje en contexto, los métodos de ajuste clásicos, el ajuste eficiente de parámetros y el aprendizaje por refuerzo con retroalimentación humana (RLHF).
• De la selección de datos al ajuste fino: la guía técnica para la construcción de modelos LLM
• Una guía técnica que proporciona información sobre cómo crear y entrenar modelos de lenguajes grandes (LLM).
• Modelos prácticos de lenguaje grande
• Un libro que cubre los avances en los sistemas de inteligencia artificial del lenguaje impulsados ​​por el aprendizaje profundo, centrándose en grandes modelos de lenguaje.
• Ajuste Llama 2 para la generación de texto en Amazon SageMaker JumpStart
• Aprenda a ajustar los modelos de Llama 2 con Amazon SageMaker JumpStart para optimizar la generación de diálogos.
• Ajuste rápido y rentable de LLaMA 2 con AWS Trainium
• Una publicación de blog que explica cómo lograr un ajuste rápido y rentable de los modelos LLaMA 2 utilizando AWS Trainium.
• Ajuste fino: aprendizaje profundo avanzado con Python [Libro]: un libro que explora la tarea de ajuste después de la tarea de capacitación previa en el aprendizaje profundo avanzado con Python.
• The LLM Knowledge Cookbook: From, RAG, to QLoRA, to Fine...: una guía completa para el uso de modelos de lenguaje grandes (LLM) para diversas tareas, que cubre todo, desde lo básico hasta técnicas avanzadas de ajuste.
• Guía de inicio rápido para modelos de lenguajes grandes: estrategias y mejores...: una guía que se centra en estrategias y mejores prácticas para modelos de lenguajes grandes (LLM) como BERT, T5 y ChatGPT, que muestra su desempeño sin precedentes en diversas tareas de PNL.
• 4. Técnicas avanzadas de GPT-4 y ChatGPT: desarrollo de aplicaciones...: un capítulo que profundiza en técnicas avanzadas para GPT-4 y ChatGPT, incluida la ingeniería rápida, el aprendizaje de cero disparos, el aprendizaje de pocos disparos y la precisión para tareas específicas. sintonización.
• ¿Qué son los modelos de lenguaje grande? - Explicación de LLM AI - AWS: una explicación de los modelos de lenguaje grandes (LLM), que analiza los conceptos de aprendizaje en pocas oportunidades y ajuste para mejorar el rendimiento del modelo.

Artículos de investigación

• LLM-Adapters: ¿Una familia de adaptadores para un ajuste fino eficiente en parámetros?: Este documento presenta LLM-Adapters, un marco fácil de usar que integra varios adaptadores en LLM para un ajuste fino eficiente en parámetros (PEFT) en diferentes tareas.
• ¿Ajuste de LLM en dos etapas con menos especialización?: ProMoT, un marco de ajuste de dos etapas, aborda el tema de la especialización de formato en LLM a través de Prompt Tuning con MODEL Tuning, mejorando su rendimiento general de aprendizaje en contexto.
• ¿Ajustar los modelos de lenguajes de grandes empresas mediante el razonamiento ontológico?: Este artículo propone una arquitectura neurosimbólica que combina modelos de lenguajes grandes (LLM) con gráficos de conocimiento empresarial (EKG) para lograr un ajuste fino de los LLM en un dominio específico.
• QLoRA: ¿Ajuste eficiente de LLM cuantificados?: QLoRA es un enfoque de ajuste eficiente que reduce el uso de memoria al tiempo que preserva el rendimiento de las tareas y ofrece información sobre modelos de lenguaje cuantificados previamente entrenados.
• ¿Ajuste completo de parámetros para modelos de lenguaje grandes con recursos limitados?: Este trabajo presenta LOMO, una técnica de optimización de baja memoria, que permite el ajuste completo de parámetros de LLM grandes con recursos limitados de GPU.
• LoRA: ¿Adaptación de bajo rango de modelos de lenguaje grandes?: LoRA propone una metodología para adaptar grandes modelos previamente entrenados a tareas específicas inyectando matrices de descomposición de rangos entrenables en cada capa, reduciendo la cantidad de parámetros entrenables mientras se mantiene la calidad del modelo.
• ¿Mejora del LLM con ajuste evolutivo para la generación de resúmenes de noticias?: Este artículo presenta un nuevo paradigma para la generación de resúmenes de noticias utilizando LLM, incorporando algoritmos genéticos y poderosas capacidades de comprensión del lenguaje natural.
• ¿Cómo se influyen los idiomas entre sí? ¿Estudiar el intercambio de datos entre idiomas durante el ajuste fino de LLM?: Este estudio investiga el intercambio de datos entre idiomas durante el ajuste de modelos de lenguajes grandes multilingües (MLLM) y analiza la influencia de diferentes idiomas en el rendimiento del modelo.
• ¿Ajuste de modelos de lenguaje con solo pases hacia adelante?: MeZO, un optimizador de orden cero con eficiencia de memoria, permite el ajuste de modelos de lenguaje grandes al tiempo que reduce significativamente los requisitos de memoria.
• Aprender a razonar sobre gráficos de escenas: ¿un estudio de caso sobre el ajuste de los LLM?: Este trabajo explora la aplicabilidad de los LLM GPT-2 en la planificación de tareas robóticas, lo que demuestra el potencial de utilizar LLM en escenarios de planificación de tareas a largo plazo.
• Ajuste privado de modelos de lenguajes grandes con: Este artículo explora la aplicación de privacidad diferencial para agregar garantías de privacidad al ajuste de modelos de lenguajes grandes (LLM).
• DISC-LawLLM: Ajuste de modelos de lenguaje grandes para sistemas legales inteligentes: este documento presenta DISC-LawLLM, un sistema legal inteligente que utiliza LLM optimizados con capacidad de razonamiento legal para brindar una amplia gama de servicios legales.
• Ajuste de la instrucción multitarea de LLaMa para escenarios específicos: A: El artículo investiga la efectividad del ajuste de LLaMa, un LLM fundamental, en tareas de escritura específicas, lo que demuestra una mejora significativa en las habilidades de escritura.
• Entrenamiento de modelos de lenguaje para seguir instrucciones con retroalimentación humana: este artículo propone un método para alinear los modelos de lenguaje con la intención del usuario ajustándolos utilizando retroalimentación humana, lo que da como resultado modelos preferidos a modelos más grandes en evaluaciones humanas.
• Los modelos de lenguaje grandes pueden automejorarse: el documento demuestra que los LLM pueden automejorar sus habilidades de razonamiento afinando el uso de soluciones autogeneradas, logrando un rendimiento de vanguardia sin etiquetas de verdad sobre el terreno.
• Adoptar modelos de lenguaje amplio para aplicaciones médicas: este artículo destaca el potencial de los LLM perfeccionados en aplicaciones médicas, mejorando la precisión del diagnóstico y respaldando la toma de decisiones clínicas.
• Ampliación de modelos de lenguaje ajustados a la instrucción: el artículo explora el ajuste de la instrucción en LLM, demostrando mejoras significativas en el rendimiento y la generalización a tareas invisibles.
• Ajuste federado de modelos de lenguaje de miles de millones de tamaños: este trabajo presenta FwdLLM, un protocolo de aprendizaje federado diseñado para mejorar la eficiencia del ajuste de LLM de gran tamaño en dispositivos móviles, mejorando la memoria y la eficiencia del tiempo.
• Una descripción general completa de los modelos de lenguajes grandes: este documento proporciona una descripción general del desarrollo y las aplicaciones de los modelos de lenguajes grandes y sus capacidades de aprendizaje por transferencia.
• Ajuste de modelos de lenguaje para encontrar acuerdos entre humanos: el artículo explora el ajuste de un LLM grande para generar declaraciones de consenso que maximicen la aprobación de un grupo de personas con opiniones diversas.

Vídeos

• Introducción a los modelos de lenguajes grandes por Andrej Karpathy: esta es una introducción de 1 hora a los modelos de lenguajes grandes. Qué son, hacia dónde se dirigen, comparaciones y analogías con los sistemas operativos actuales y algunos de los desafíos relacionados con la seguridad de este nuevo paradigma informático.
• Ajuste de Llama 2 en su propio conjunto de datos | Entrene un LLM para su...: aprenda a ajustar el modelo Llama 2 en un conjunto de datos personalizado.
• Ajuste de LLM con QLoRA en una sola GPU: entrenamiento de Falcon-7b en...: Este video demuestra el proceso de ajuste de Falcon 7b LLM usando QLoRA.
• Ajuste de un LLM utilizando PEFT | Introducción al lenguaje grande...: Descubra cómo perfeccionar un LLM utilizando PEFT, una técnica que requiere menos recursos.
• LLAMA-2 LLM de código abierto: ajuste personalizado simplificado en un...: una guía paso a paso sobre cómo ajustar el modelo LLama 2 LLM en su conjunto de datos personalizado.
• Nuevo curso: Ajuste de modelos de lenguaje grandes - YouTube: este vídeo presenta un curso sobre ajuste de LLM, que cubre la selección de modelos, la preparación de datos, la capacitación y la evaluación.
• P: Cómo crear un conjunto de datos de instrucciones para ajustar mi LLM...: En este tutorial, los principiantes aprenden sobre cómo ajustar los LLM, incluido cuándo, cómo y por qué hacerlo.
• Módulo 4 de LLM: Ajuste y evaluación de LLM | 4.13.1 Notebook...: una demostración de notebook sobre cómo ajustar y evaluar los LLM.
• Ajuste/adaptación/personalización de Google LLM: introducción...: Comience a ajustar el modelo de lenguaje grande PaLM 2 de Google a través de una guía paso a paso.
• Capacitación previa, ajuste y aprendizaje en contexto de LLM (GPT-x...: una guía definitiva que explica la capacitación previa, el ajuste y el aprendizaje en contexto de LLM como GPT-x.
• Cómo ajustar un LLM con un PDF - Tutorial de Langchain - YouTube: aprenda cómo ajustar GPT LLM de OpenAI para procesar documentos PDF utilizando Langchain y bibliotecas de PDF.
• Tutorial de EasyTune - YouTube: un tutorial sobre cómo ajustar LLM con QLoRA en una sola GPU usando Falcon-7b.
• Liberando el potencial de las lecciones de ChatGPT en capacitación y precisión... - EL ESTUDIANTE presenta el ajuste de instrucciones y el aprendizaje en contexto de los LLM con símbolos.
• AI News: ¡Creando LLM sin código! - YouTube: Maya Akim analiza los 5 principales casos de uso de ajuste de LLM que necesita conocer.
• Los 5 principales casos de uso de ajuste de LLM que necesita conocer - YouTube: un vídeo detallado que destaca los 5 principales casos de uso de ajuste de LLM con enlaces adicionales para una mayor exploración.
• clip2 llm emory - YouTube: aprenda cómo ajustar Llama 2 en su propio conjunto de datos y capacitar a un LLM para su caso de uso específico.
• ¡La forma MÁS FÁCIL de ajustar LLAMA-v2 en una máquina local! - YouTube: una guía en video paso a paso que demuestra la forma más fácil, sencilla y rápida de ajustar LLAMA-v2 en su máquina local para obtener un conjunto de datos personalizado.
• LLM de capacitación y ajuste: Introducción - YouTube: una introducción a la capacitación y el ajuste de los LLM, que incluye conceptos importantes y el Desafío de eficiencia de LLM de NeurIPS.
• Ajuste de LLM con PEFT y LoRA - YouTube: un video completo que explora cómo usar PEFT para ajustar cualquier modelo GPT de estilo decodificador, incluidos los conceptos básicos del ajuste y la carga de LoRA.
• Creación y curación de conjuntos de datos para el ajuste fino de RLHF y LLM... - Obtenga información sobre cómo crear y seleccionar conjuntos de datos para el ajuste fino de RLHF (aprendizaje reforzado a partir de retroalimentación humana) y LLM (modelo de lenguaje grande), con el patrocinio de Argilla.
• Ajuste fino de LLM (OpenAI GPT) con datos personalizados en Python - YouTube: explore cómo ampliar LLM (OpenAI GPT) ajustándolo con un conjunto de datos personalizado para proporcionar preguntas y respuestas, resumen y otras funciones similares a ChatGPT.

Herramientas y software

• LLaMA Efficient Tuning: marco de ajuste LLM fácil de usar (LLaMA-2, BLOOM, Falcon).
• H2O LLM Studio: marco y GUI sin código para ajustar los LLM.
• PEFT: métodos de ajuste fino de parámetros eficientes (PEFT) para la adaptación eficiente de modelos de lenguaje previamente entrenados a aplicaciones posteriores.
• Modelo similar a ChatGPT: ejecute un modelo rápido similar a ChatGPT localmente en su dispositivo.
• Pétalos: ejecute modelos de lenguaje grandes como BLOOM-176B de forma colaborativa, lo que le permite cargar una pequeña parte del modelo y formar equipo con otros para realizar inferencias o realizar ajustes. ?
• NVIDIA NeMo: un conjunto de herramientas para crear modelos de IA conversacional de última generación y diseñado específicamente para Linux.
• H2O LLM Studio: un marco y una herramienta GUI sin código para ajustar modelos de lenguaje grandes en Windows. ?️
• Ludwig AI: un marco de código bajo para crear LLM personalizados y otras redes neuronales profundas. Entrene fácilmente LLM de última generación con un archivo de configuración YAML declarativo. ?
• bert4torch: una elegante implementación de transformadores en PyTorch. Cargue varios pesos de modelos grandes de código abierto para razonar y realizar ajustes.
• Alpaca.cpp: ejecute un modelo rápido similar a ChatGPT localmente en su dispositivo. Una combinación del modelo básico LLaMA y una reproducción abierta de Stanford Alpaca para un ajuste preciso según las instrucciones. ?
• Promptfoo: evalúe y compare resultados de LLM, capture regresiones y mejore las indicaciones mediante evaluaciones automáticas y aportaciones representativas de los usuarios.

Conferencias y Eventos

• Conversación sobre ML/AI: IA neurosimbólica: una alternativa al LLM: esta reunión discutirá la experiencia de perfeccionar los LLM y explorará la IA neurosimbólica como una alternativa.
• Día de desarrollo de IA - Seattle, lunes, 30 de octubre de 2023, 5:00 p. m. - Una charla técnica sobre la observabilidad efectiva de LLM y las oportunidades de ajuste mediante la búsqueda de similitud de vectores.
• Eventos DeepLearning.AI: una serie de eventos que incluyen la mitigación de las alucinaciones de LLM, el ajuste de los LLM con PyTorch 2.0 y ChatGPT, y programas educativos de IA.
• AI Dev Day - Nueva York, jueves, 26 de octubre de 2023, 5:30 p. m. - Charlas técnicas sobre las mejores prácticas en aplicaciones GenAI y el uso de LLM para notificaciones personalizadas en tiempo real.
• Chat LLM y agentes de IA: utilice Gen AI para crear sistemas y agentes de IA: un evento centrado en LLM, agentes de IA y datos en cadena, con oportunidades de interacción a través del chat de eventos.
• NYC AI/LLM/ChatGPT Developers Group: charlas/talleres técnicos periódicos para desarrolladores interesados ​​en IA, LLM, ChatGPT, NLP, ML, datos, etc.
• Aprovechamiento de los LLM para datos empresariales, martes, 14 de noviembre de 2023, 2:00 p. m.: sumérjase en estrategias esenciales de LLM diseñadas para aplicaciones de datos no públicas, incluida la ingeniería y recuperación rápidas.
• Bellevue Applied Machine Learning Meetup: una reunión que se centra en técnicas aplicadas de aprendizaje automático y en mejorar las habilidades de los científicos de datos y los profesionales del aprendizaje automático.
• Encuentro sobre IA e ingeniería rápida Múnich, Do., 5. Okt. 2023, 18:15: presente H2O LLM Studio para perfeccionar los LLM y reunir a entusiastas de la IA de diversos orígenes.
• Seattle AI/ML/Data Developers Group: charlas técnicas sobre la evaluación de agentes de LLM y el aprendizaje de AI/ML/Data a través de la práctica.
• Dojo de ciencia de datos - DC | Meetup: este es un grupo de reunión con sede en DC para profesionales de negocios interesados ​​en enseñar, aprender y compartir conocimientos y comprensión de la ciencia de datos.
• Encuentre eventos y grupos de ciencia de datos en Dubai, AE: descubra eventos y grupos de ciencia de datos en Dubai, AE, para conectarse con personas que comparten sus intereses.
• Reunión de IA (en persona): IA generativa y LLM - Edición de Halloween: Únase a esta reunión de IA para una charla técnica sobre IA generativa y modelos de lenguaje grande (LLM), incluidas herramientas de código abierto y mejores prácticas.
• ChatGPT desatado: demostración en vivo y mejores prácticas para PNL: este evento en línea explora trucos de ajuste para modelos de lenguaje grandes y muestra las aplicaciones prácticas de ChatGPT y LLM.
• Encuentre eventos y grupos de ciencia de datos en Pune, IN: explore eventos y grupos en línea o en persona relacionados con la ciencia de datos en Pune, IN.
• Grupo de desarrolladores de datos, inteligencia artificial y aprendizaje automático de DC | Meetup: este grupo tiene como objetivo reunir a los entusiastas de la IA en el área de DC para aprender y practicar tecnologías de IA, incluida la IA, el aprendizaje automático, el aprendizaje profundo y la ciencia de datos.
• Grupo de desarrolladores de IA/LLM/ChatGPT de Boston | Meetup: únase a este grupo en Boston para aprender y practicar tecnologías de inteligencia artificial como LLM, ChatGPT, aprendizaje automático, aprendizaje profundo y ciencia de datos.
• PNL París | Meetup: este encuentro se centra en las aplicaciones del procesamiento del lenguaje natural (PNL) en diversos campos, y analiza técnicas, investigaciones y aplicaciones de enfoques de PNL tanto tradicionales como modernos.
• Grupo de desarrolladores SF AI/LLM/ChatGPT | Meetup: conéctese con entusiastas de la IA en el área de San Francisco/Bay para aprender y practicar tecnología de IA, incluidos LLM, ChatGPT, PNL, aprendizaje automático, aprendizaje profundo y ciencia de datos.
• Reunión de IA (en persona): GenAI y LLM para la salud: asista a esta charla técnica sobre la aplicación de los LLM en la atención médica y obtenga información sobre los beneficios rápidos al usar los LLM para tareas relacionadas con la salud.

Diapositivas y presentaciones

• Ajuste fino de LM grandes: presentación que analiza el proceso de ajuste fino de modelos de lenguaje grandes como GPT, BERT y RoBERTa.
• LLaMa 2.pptx: Diapositivas que presentan LLaMa 2, un poderoso sucesor de un modelo de lenguaje grande desarrollado por Meta AI.
• LLM.pdf: Presentación que explora el papel de Transformers en PNL, desde BERT hasta GPT-3.
• Bootcamp sobre modelos de lenguaje grandes: diapositivas del Bootcamp que cubren varios aspectos de los modelos de lenguaje grandes, incluida la capacitación desde cero y el ajuste.
• El LHC explicado por CNN: diapositivas que explican el LHC (Gran Colisionador de Hadrones) utilizando CNN y modelos de imagen de ajuste fino.
• Uso de modelos de lenguaje grandes en 10 líneas de código: presentación que demuestra cómo usar modelos de lenguaje grandes en solo 10 líneas de código.
• LLaMA-Adapter: Ajuste eficiente de modelos de lenguaje con atención de inicio cero.pdf: Diapositivas que analizan LLaMA-Adapter, una técnica eficiente para ajustar modelos de lenguaje con atención de inicio cero.
• Introducción a los LLM: presentación que proporciona una introducción a modelos de lenguaje grandes, incluidos modelos base y ajustes con pares de finalización rápida.
• LLM Fine-Tuning (東大松尾研LLM講座 Day5資料) - Plataforma de oradores: diapositivas utilizadas para una conferencia sobre el ajuste de modelos de lenguaje grandes, específicamente para el 東大松尾研サマースクール2023.
• Automatice su trabajo y su negocio con ChatGPT n.° 3: Presentación que analiza los fundamentos de ChatGPT y sus aplicaciones para la automatización de trabajos y tareas comerciales.
• Liberando el poder de la IA generativa: Guía para ejecutivos.pdf: una guía que explica el proceso de ajuste de los modelos de lenguaje grande (LLM) para adaptarlos a las necesidades de una organización.
• Ajustar e implementar modelos de PNL Hugging Face | PPT: una presentación que proporciona información sobre cómo crear e implementar modelos LLM utilizando Hugging Face NLP.
• 大規模言語モデル時代のHuman-in-the-Loop機械学習 - Speaker Deck - Un conjunto de diapositivas que analiza el proceso de ajuste de los modelos de lenguaje para encontrar un acuerdo entre humanos con diversas preferencias.
• Serie AI y ML: Introducción a la IA generativa y los LLM | PPT: una presentación que presenta la IA generativa y los LLM, incluido su uso en aplicaciones específicas.
• Recuperación de generación aumentada en la práctica: GenAI escalable... - Una presentación que analiza los casos de uso de la IA generativa, las limitaciones de los modelos de lenguaje grandes y el uso de la recuperación de generación aumentada (RAG) y técnicas de ajuste.
• Final de presentación del LLM | PPT: una presentación que cubre la Ley de Agencia para la Infancia y la Familia de 2013 y el Principio del Interés Superior en el contexto de los LLM.
• Adaptaciones del paradigma LLM en sistemas de recomendación.pdf: un PDF que explica el proceso de ajuste y las adaptaciones objetivas en los sistemas de recomendación basados ​​en LLM.
• IA conversacional con modelos Transformer | PPT: una presentación que destaca el uso de modelos de transformadores en aplicaciones de IA conversacional.
• Índice de llamas | PPT: una presentación sobre el auge de los LLM y la creación de aplicaciones basadas en LLM.
• LLaMA-Adapter: Ajuste eficiente de modelos de lenguaje con atención de inicio cero.pdf: un PDF que analiza el ajuste eficiente de modelos de lenguaje con atención de inicio cero utilizando LLaMA.

Pódcasts

• IA práctica: aprendizaje automático, ciencia de datos: hacer que la inteligencia artificial sea práctica, productiva y accesible para todos. Participe en debates animados sobre IA, aprendizaje automático, aprendizaje profundo, redes neuronales y más. Información accesible y escenarios del mundo real tanto para principiantes como para profesionales experimentados.
• Disensión de gradiente: exploración del aprendizaje automático, la inteligencia artificial y el aprendizaje profundo: vaya detrás de escena para aprender de los líderes de la industria sobre cómo están implementando el aprendizaje profundo en escenarios del mundo real. Obtenga información sobre la industria del aprendizaje automático y manténgase actualizado con las últimas tendencias.
• Weaviate Podcast: únase a Connor Shorten para la serie de podcasts Weaviate, con entrevistas con expertos y discusiones sobre temas relacionados con la IA.
• Espacio latente: el podcast de ingeniero de inteligencia artificial: Codegen, agentes, visión por computadora, ciencia de datos, AI UX y todo lo relacionado con el software 3.0 - sumergido en el mundo de la ingeniería de IA, que cubre temas como la generación de código, la visión por computadora, la ciencia de datos y los últimos avances en ai ux.
• Aprendizaje no supervisado: obtenga información sobre el panorama de IA en rápido desarrollo y su impacto en las empresas y el mundo. Explore las discusiones sobre aplicaciones de LLM, tendencias y tecnologías de interrupción.
• El podcast TWIML AI (anteriormente esta semana en el aprendizaje automático): sumergir profundamente en enfoques de ajuste fino utilizados en las capacidades y limitaciones de AI, LLM, y aprenda de expertos en el campo.
• AI y el futuro del trabajo en los podcasts de Apple: un podcast presentado por SC Moatti discutiendo el impacto de la IA en el futuro del trabajo.
• AI práctico: aprendizaje automático, ciencia de datos: ajuste fino frente a trapo: este episodio explora la comparación entre la generación aumentada de ajuste y recuperación en el aprendizaje automático y la ciencia de datos.
• El aprendizaje sin supervisión en los podcasts de Apple: el episodio 20 presenta una entrevista con el CEO Anthrope Dario Amodei sobre el futuro de AGI y AI.
• Documentos leídos en ai | Podcast en Spotify: este podcast lo mantiene actualizado con las últimas tendencias y arquitecturas de mejor rendimiento en el campo de la informática.
• Este día en el podcast de IA en Apple Podcasts: cubriendo varios temas relacionados con la IA, este podcast ofrece información emocionante sobre el mundo de la IA.
• Todo sobre la evaluación de aplicaciones LLM // Shahul es // #179 MLOPS: en este episodio, Shahul ES comparte su experiencia en evaluación en modelos de código abierto, incluidas las ideas sobre la depuración, la solución de problemas y los puntos de referencia.
• AI Daily on Apple Podcasts: presentado por Conner, Ethan y Farb, este podcast explora historias fascinantes relacionadas con la IA.
• Videos Yannic Kilcher (solo audio) | Podcast en Spotify: Yannic Kilcher discute trabajos de investigación de aprendizaje automático, programación y el impacto más amplio de la IA en la sociedad.
• Podcast Currated Lesswrong | Podcast en Spotify: versión de audio de las publicaciones compartidas en el boletín curado de Lesswrong.
• SAI: The Security and AI Podcast en Apple Podcasts: un episodio centrado en el programa de subvenciones de seguridad cibernética de OpenAi.

---

Esta versión inicial de la impresionante lista se generó con la ayuda del increíble generador de lista. Es un paquete Python de código abierto que utiliza la potencia de los modelos GPT para curar y generar automáticamente puntos de partida para listas de recursos relacionados con un tema específico.