self learn llms

LLM de autoaprendizaje

Este repositorio constituye algunos de los recursos que utilizaré para aprender sobre los modelos de lenguajes grandes. También intentaré elaborar una hoja de ruta a medida que avance en este viaje de autoaprendizaje, ya que una hoja de ruta clara con hitos será una de las mejores formas de aprender sobre los LLM de manera adecuada.

Para ello, incluiré una combinación de recursos prácticos teóricos y prácticos para aprender.

PD: Necesito hacer esto más visual.

Editar: 6 de noviembre de 2024

• Es necesario refactorizar en gran medida el repositorio.

• Elimine cursos o recursos que no sean relevantes.

• En la carrera de modelos, no podemos seguir enumerando modelos en el repositorio ya que es difícil realizar un seguimiento de los modelos y las actualizaciones harán que los modelos anteriores sean inútiles. Necesito pensar en una mejor manera de organizar un zoológico modelo.

• Tal vez agregue 1 o 2 contribuyentes o abra el repositorio de contribuciones para ayudar.

• ¿Cómo podemos convertirlo en una excelente experiencia de aprendizaje, albergar notas y tutoriales, debates abiertos y una página web?

Cursos

Fundamentos de PNL

1. CS224N Procesamiento del lenguaje natural con aprendizaje profundo, Stanford

2. Especialización en procesamiento del lenguaje natural, Coursera

Transformadores

1. Curso HuggingFace PNL + Transformers

2. CS25: Transformers United V2, Stanford CS25, versión otoño 2021

Modelos de lenguaje grandes

Cursos industriales y de código abierto

1. Activeloop Learn, esta iniciativa GenAI360 ofrece 3 cursos gratuitos sobre RAG, ajuste de LLM, LangChain y VectorDB.

2. Curso LLM de Maxime Labonne, Curso para adentrarse en Large Language Models (LLM) con hojas de ruta y cuadernos Colab.

3. Curso práctico de LLM: obtenga información sobre LLM, LLMOps y Vector DB de forma gratuita mediante el diseño, la capacitación y la implementación de un código fuente del sistema LLM de asesor financiero en tiempo real + videos y materiales de lectura.

4. Full Stack Deep Learning, que comenzó como un bootcamp de aprendizaje profundo y evolucionó hasta convertirse en un bootcamp de LLM alrededor de abril de 2023, ahora es gratuito.

5. LLM University by Cohere, este curso consta de 8 módulos impartidos por el famoso Luis Serrano, conocido por enseñar conceptos de una manera fácil y visualmente atractiva. El curso contiene temas como fundamentos, implementación, búsqueda semántica y RAG.

6. Cursos cortos de Deeplearning.ai, cursos cortos de DL.AI sobre varios dominios de LLM e IA generativa. Estos cursos cortos son realmente útiles ya que tienen la combinación perfecta de sesiones teóricas y prácticas. Los cursos suelen realizarse en colaboración con empresas como Hugging Face, Mistral, OpenAI, Microsoft, Meta, Google, etc.

7. LLM Zoomcamp de DataTalksClub, LLM Zoomcamp: un curso en línea gratuito sobre cómo crear un sistema de preguntas y respuestas.

8. Curso Applied LLMs Mastery 2024 de Aishwarya N Reganti, curso gratuito de 10 semanas con una hoja de ruta definida que va desde fundamentos, herramientas y técnicas de LLM, implementación y evaluación hasta desafíos y tendencias futuras.

9. Cursos de pesos y sesgos, ofrece diferentes cursos sobre MLOps, aplicaciones impulsadas por LLM, etc.

10. Curso LLM Models, DataBricks x ed, certificación profesional por DataBricks.

11. Deeplearning.ai ofrece varios cursos cortos sobre LLM como LangChain para desarrollo de aplicaciones LLM, LLM sin servidor con AWS Bedrock, LLM de ajuste fino, LLM con búsqueda semántica, etc.

12. Introducción a la ruta de aprendizaje de IA generativa, Google Cloud.

13. La Universidad de Arize alberga cursos como evaluación de llm, herramientas y cadenas de agentes de llm, observabilidad de llm, etc.

Cursos Universitarios

1. [CS 324, Stanford](https://stanford-cs324.github.io/winter2022/) 2. [COMP790-101: Modelos de lenguaje grandes, UNC Chapel Hill](https://github.com/craffel/ llm-seminar) 3. [Modelos de lenguajes grandes S-23, ETH Zurich](https://rycolab.io/classes/llm-s23/) 4. [Fundamentos de los modelos de lenguajes grandes, Universidad de Waterloo](https://uwaterloo.ca/watspeed/programs-and-courses/foundations-large-language-models)

Libros

1. Procesamiento del lenguaje natural con el libro Transformers

2. 
   

Blogs y guías

Blogs de Langchain

1. Blog de AIMultiple sobre modelos de lenguajes grandes: guía completa en 2023

2. Cohere documentos

3. Blog de FutureSmart AI sobre la creación de chatbots utilizando LangChain y ChatGPT

4. Agente autónomo basado en tareas que utiliza GPT-4, Pinecone y LangChain para diversas aplicaciones

Documentos importantes

1. Una encuesta de modelos de lenguajes grandes Consulte también este repositorio: https://github.com/RUCAIBox/LLMSurvey

2. Comprensión de modelos de lenguaje grandes: una lista de lectura transformadora, Sebastian Raschka

3. 
   

Grupos de lectura

1. Wiki CLSP, NLP Reading Group, una lista de grupos de lectura relacionados con PNL que se actualiza con frecuencia.

Tutoriales y Charlas

Charlas TED

1. La historia interna del asombroso potencial de ChatGPT | Greg Brockman | TED

2. Por qué la IA es increíblemente inteligente y sorprendentemente estúpida | Yejin Choi | TED

Próximas Charlas

1. 25 de abril de 2023, Arize: Observar

2. 27 de abril de 2023, LLM de ajuste con PyTorch 2.0 y ChatGPT

Conjuntos de datos, cuadernos y espacios

Conjuntos de datos

Cuadernos

Espacios

1. Organización H2O, HuggingFaces

2. Organización OpenAssistant, HuggingFaces

3. Organización DataBricks, HuggingFaces

4. Organización BigScience, HuggingFaces

5. Organización EleutherAI, HuggingFaces

6. Organización NomicAI, HuggingFaces

7. Organización de Cerebras, HuggingFaces

Bibliotecas, marcos y kits de herramientas

1. LLMStudio, H2O AI

2. LlamaIndex

3. NeMo Guardrails, NVIDIA, para prevenir alucinaciones y añadir guardrails programables

4. MLC LLM, desarrollar, optimizar e implementar LLM de forma nativa en los dispositivos de todos)

5. LaMini LLM

Modelos de lenguaje

1. ChatGPT, OpenAI, lanzado el 30 de noviembre de 2022

2. Google Bard, lanzado el 21 de marzo de 2023

3. Tongyi Qianwen AI, Alibaba, lanzado el 11 de abril de 2023

4. StableLM, IA de estabilidad, lanzado el 20 de abril de 2023

5. Titán Amazonas

6. HuggingChat, HuggingFaces, publicado el 25 de abril de 2023

7. H2OGPT

8. Modelo Bloom, uso comercial permitido con RAIL

9. GPT-J, EleutherAI, Apache 2.0

10. GPT-NeoX, EleutherAI, Apache 2.0

11. GPT4All, NomicAI, Licencia MIT

12. Licencia GPT4All-J, NomicAI, MIT

13. Licencia Pythia, EleutherAI, MIT

14. GLM-130B

15. Palm, Google

16. OPT, Meta

17. FLAN-T5

18. LLaMA, Meta

19. Alpaca, Stanford

20. Vicuña, lm-sys

Comunidades

Casos de uso

1. CompartirGPT

Proyectos e Ideas

Bases de datos vectoriales

1. Piña

2. Weaviate

3. milvus

4. cromadb

Agentes Autónomos

1. BebéAGI

2. AutoGPT

Influencers del LLM

Personas a las que definitivamente deberías seguir para mantenerte actualizado sobre los LLM. Investigadores/Fundadores/Desarrolladores/Creadores de contenido de IA involucrados en la producción/investigación/desarrollo de LLM

1. Sebastian Raschka, es una leyenda y hará estallar tu burbuja de LLM con sus increíbles tweets, blogs y tutoriales. Suscríbete a su newsletter Ahead of AI

2. Andrej Karpathy, así que esta leyenda trabajó en Tesla, se tomó un descanso, comenzó su canal de YouTube para enseñar los fundamentos y nos sorprendió a todos con su increíble video sobre la implementación de GPT desde cero y finalmente se reincorporó a OpenAI. Supongo que no puedes perder una leyenda :D

3. Jay Alammar, sí, si no conoces su blog ELI sobre Transformers, léelo primero y asegúrate de seguirlo para obtener actualizaciones.

4. Tomaz Bratanic, es autor del famoso libro Graph Algorithms for Data Science y actualmente escribe excelentes blogs en Medium relacionados con GPT, Langchain y demás.