self learn llms

LLMs de autoaprendizagem

Este repositório constitui alguns dos recursos que utilizarei para aprender sobre grandes modelos de linguagem. Também tentarei elaborar um roteiro à medida que avanço nesta jornada de autoaprendizagem, uma vez que um roteiro claro com marcos será uma das melhores maneiras de aprender sobre LLMs de maneira adequada.

Para isso, incluirei uma combinação de recursos práticos teóricos e práticos para aprender.

PS: Preciso tornar isso mais visual

Editar: 6 de novembro de 2024

• Precisa refatorar principalmente o repositório.

• Remova cursos ou recursos que não sejam relevantes.

• Na corrida de modelos, não podemos continuar listando modelos no repositório, pois é difícil acompanhar os modelos e as atualizações tornarão os modelos anteriores inúteis. Preciso pensar em uma maneira melhor de organizar um zoológico modelo.

• Talvez adicione 1 ou 2 contribuidores ou abra o repositório para contribuições para ajudar.

• Como podemos tornar isso uma ótima experiência de aprendizado, hospedando notas e tutoriais, discussões abertas, página da web?

Cursos

Fundamentos da PNL

1. Processamento de linguagem natural CS224N com aprendizado profundo, Stanford

2. Especialização em Processamento de Linguagem Natural, Coursera

Transformadores

1. Curso HuggingFace PNL + Transformadores

2. CS25: Transformers United V2, Stanford CS25, versão outono de 2021

Grandes modelos de linguagem

Cursos industriais e de código aberto

1. Activeloop Learn, esta iniciativa GenAI360 oferece 3 cursos gratuitos sobre RAGs, LLMs de ajuste fino, LangChain e VectorDBs.

2. Curso LLM de Maxime Labonne, Curso para entrar em Large Language Models (LLMs) com roadmaps e cadernos Colab.

3. Curso prático LLM, aprenda sobre LLMs, LLMOps e Vector DBs gratuitamente, projetando, treinando e implantando um código-fonte do sistema LLM de consultor financeiro em tempo real + vídeo e materiais de leitura.

4. Full Stack Deep Learning, começou como um bootcamp de deep learning e evoluiu para um bootcamp LLM por volta de abril de 2023, agora é gratuito.

5. LLM University by Cohere, este curso é composto por 8 módulos ministrados pelo famoso Luis Serrano, que se destaca por ensinar conceitos de forma fácil e visualmente atraente. O curso contém tópicos como fundamentos, implantação, pesquisa semântica e RAG.

6. Cursos de curta duração Deeplearning.ai, cursos de curta duração da DL.AI em vários domínios de LLMs e IA generativa. Esses minicursos são muito úteis porque combinam perfeitamente sessões teóricas e práticas. Os cursos geralmente são realizados em colaboração com empresas como Hugging Face, Mistral, OpenAI, Microsoft, Meta, Google etc.

7. LLM Zoomcamp da DataTalksClub, LLM Zoomcamp - um curso online gratuito sobre a construção de um sistema de perguntas e respostas.

8. Curso LLMs Mastery 2024 aplicado por Aishwarya N Reganti, curso gratuito de 10 semanas com um roteiro definido que vai desde Fundamentos de LLM, ferramentas e técnicas, implantação e avaliação até desafios e tendências futuras.

9. Cursos de Pesos e Vieses, oferece diferentes cursos sobre MLOps, LLM Powered Apps, etc.

10. Curso LLM Models, DataBricks x ed, certificação profissional pela DataBricks.

11. Deeplearning.ai oferece vários cursos de curta duração em LLMs, como LangChain para desenvolvimento de aplicativos LLM, LLMs sem servidor com AWS Bedrock, LLMs de ajuste fino, LLMs com pesquisa semântica, etc.

12. Introdução ao caminho de aprendizagem de IA generativa, Google Cloud.

13. A Arize University hospeda cursos como avaliação de llm, ferramentas e cadeias de agentes llm, observabilidade de llm, etc.

Cursos Universitários

1. [CS 324, Stanford](https://stanford-cs324.github.io/winter2022/) 2. [COMP790-101: Large Language Models, UNC Chapel Hill](https://github.com/craffel/ llm-seminário) 3. [Modelos de Grandes Linguagens S-23, ETH Zurique](https://rycolab.io/classes/llm-s23/) 4. [Fundamentos de Grandes Modelos de Linguagem, Universidade de Waterloo](https://uwaterloo.ca/watspeed/programs-and-courses/foundations- modelos de linguagem grande)

Livros

1. Livro Processamento de Linguagem Natural com Transformers

2. 
   

Blogs e guias

Blogs da Langchain

1. Blog da AIMultiple sobre grandes modelos de linguagem: guia completo em 2023

2. Cohere Documentos

3. Blog FutureSmart AI sobre construção de chatbots usando LangChain e ChatGPT

4. Agente autônomo orientado a tarefas utilizando GPT-4, Pinecone e LangChain para diversas aplicações

Artigos importantes

1. Uma pesquisa de grandes modelos de linguagem Confira também este repositório: https://github.com/RUCAIBox/LLMSurvey

2. Compreendendo grandes modelos de linguagem – Uma lista de leitura transformadora, Sebastian Raschka

3. 
   

Grupos de leitura

1. Wiki CLSP, NLP Reading Group, uma lista de grupos de leitura relacionados à PNL que é atualizada frequentemente.

Tutoriais e palestras

Palestras TED

1. A história interna do potencial surpreendente do ChatGPT | Greg Brockman | TED

2. Por que a IA é incrivelmente inteligente – e chocantemente estúpida | Yejin Choi | TED

Próximas palestras

1. 25 de abril de 2023, Arize: Observe

2. 27 de abril de 2023, LLMs de ajuste fino com PyTorch 2.0 e ChatGPT

Conjuntos de dados, notebooks e espaços

Conjuntos de dados

Cadernos

Espaços

1. Organização H2O, HuggingFaces

2. Organização OpenAssistant, HuggingFaces

3. Organização DataBricks, HuggingFaces

4. Organização BigScience, HuggingFaces

5. Organização EleutherAI, HuggingFaces

6. Organização NomicAI, HuggingFaces

7. Organização Cerebras, HuggingFaces

Bibliotecas, Frameworks e Kits de Ferramentas

1. LLMStudio, H2O AI

2. LLamaIndex

3. NeMo Guardrails, NVIDIA, para evitar alucinações e adicionar guarda-corpos programáveis

4. MLC LLM, desenvolver, otimizar e implantar LLMs nativamente nos dispositivos de todos)

5. LaMini LLM

Modelos de Linguagem

1. ChatGPT, OpenAI, lançado em 30 de novembro de 2022

2. Google Bard, lançado em 21 de março de 2023

3. Tongyi Qianwen AI, Alibaba, lançado em 11 de abril de 2023

4. StableLM, Stability AI, lançado em 20 de abril de 2023

5. Amazona Titã

6. HuggingChat, HuggingFaces, lançado em 25 de abril de 2023

7. H2OGPT

8. Modelo Bloom, uso comercial permitido com RAIL

9. GPT-J, EleutherAI, Apache 2.0

10. GPT-NeoX, EleutherAI, Apache 2.0

11. Licença GPT4All, NomicAI, MIT

12. Licença GPT4All-J, NomicAI, MIT

13. Pythia, EleutherAI, licença MIT

14. GLM-130B

15. PaLM, Google

16. OPTAR, Meta

17. FLAN-T5

18. LLaMA, Meta

19. Alpaca, Stanford

20. Vicuna, lm-sys

Comunidades

Casos de uso

1. CompartilharGPT

Projetos e Ideias

Bancos de dados vetoriais

1. Pinha

2. Tecer

3. Milvus

4. ChromaDB

Agentes Autônomos

1. BebêAGI

2. AutoGPT

Influenciadores LLM

Pessoas que você definitivamente deveria seguir para se manter atualizado sobre os LLMs. Pesquisadores/fundadores/desenvolvedores/criadores de conteúdo de IA envolvidos na produção/pesquisa/desenvolvimento de LLM

1. Sebastian Raschka, ele é uma lenda e vai estourar sua bolha de LLM com seus tweets, blogs e tutoriais incríveis. Assine seu boletim informativo Ahead of AI

2. Andrej Karpathy, então essa lenda trabalhou na Tesla, fez uma pausa, iniciou seu canal no YouTube para ensinar os fundamentos e surpreendeu a todos nós com seu vídeo incrível sobre a implementação do GPT do zero e finalmente voltou ao OpenAI. Acho que você não pode perder uma lenda :D

3. Jay Alammar, sim, se você não conhece o blog ELI dele sobre Transformers, leia-o primeiro e certifique-se de segui-lo para atualizações.

4. Tomaz Bratanic, ele é o autor do famoso livro Graph Algorithms for Data Science, e atualmente escreve ótimos blogs no Medium relacionados a GPT, Langchain e outras coisas.