LLMOps incríveis
Índice
- Índice
- O que é LLMOps?
- Engenharia imediata
- Modelos
- Otimização
- Ferramentas (GitHub)
- Ferramentas (Outras)
- RLHF
- Incrível
- Contribuindo
O que é LLMOps?
LLMOps faz parte das práticas MLOps, uma forma especializada de MLOps que se concentra no gerenciamento de todo o ciclo de vida de grandes modelos de linguagem (LLM).
A partir de 2021, à medida que os LLMs evoluíram rapidamente e a tecnologia amadureceu, começamos a focar em práticas para gerenciar LLMs de forma eficiente, e os LLMOps, que são adaptações das práticas tradicionais de MLOps para LLMs, começaram a ser falados.
LLMOps versus MLOps
| LLMOps | MLOps |
|---|
| Definição | Ferramentas e infraestrutura específicas para o desenvolvimento e implantação de grandes modelos de linguagem | Ferramentas e infraestrutura para fluxos de trabalho gerais de aprendizado de máquina |
| Foco | Requisitos e desafios únicos de grandes modelos de linguagem | Fluxos de trabalho gerais de aprendizado de máquina |
| Principais tecnologias | Modelo de linguagem, biblioteca Transformers, plataformas de anotação human-in-the-loop | Kubeflow, MLflow, TensorFlow estendido |
| Habilidades principais | Experiência em PNL, conhecimento de grandes modelos de linguagem, gerenciamento de dados para dados de texto | Engenharia de dados, DevOps, Engenharia de software, Experiência em aprendizado de máquina |
| Principais desafios | Gerenciar e rotular grandes quantidades de dados de texto, ajustando modelos básicos para tarefas específicas, garantindo justiça e ética nos modelos de linguagem | Gerenciar pipelines de dados complexos, garantindo a interpretabilidade e explicabilidade do modelo, abordando o preconceito e a justiça do modelo |
| Adoção da indústria | Emergentes, com um número crescente de startups e empresas focadas em LLMOps | Estabelecido, com um grande ecossistema de ferramentas e estruturas disponíveis |
| Perspectivas futuras | Espera-se que LLMOps se torne uma área de estudo cada vez mais importante à medida que grandes modelos de linguagem se tornam mais prevalentes e poderosos | Os MLOps continuarão a ser um componente crítico da indústria de aprendizado de máquina, com foco na melhoria da eficiência, escalabilidade e confiabilidade do modelo |
⬆️ Ir para o topo
Engenharia imediata
- PromptBase - Marketplace da engenharia imediata
- PromptHero - O site para engenharia imediata
- Prompt Search - O mecanismo de busca para a engenharia imediata
- Prompt Perfeito - Otimizador de Prompt Automático
- Aprenda Prompting - O site do tutorial para a engenharia imediata
- Blog: Explorando ataques de injeção imediata
- Blog: Vazamento de prompt
- Artigo: Ajuste de prefixo: otimizando prompts contínuos para geração
⬆️ Ir para o topo
Modelos
| Nome | Tamanho do parâmetro | Data do anúncio |
|---|
| BERT-Grande (336M) | 336 milhões | 2018 |
| T5 (11B) | 11 bilhões | 2020 |
| Esquilo (280B) | 280 bilhões | 2021 |
| GPT-J (6B) | 6 bilhões | 2021 |
| LaMDA (137B) | 137 bilhões | 2021 |
| Megatron-Turing NLG (530B) | 530 bilhões | 2021 |
| T0 (11B) | 11 bilhões | 2021 |
| Arara (11B) | 11 bilhões | 2021 |
| GlaM (1.2T) | 1,2 trilhão | 2021 |
| FLAN T5 (540B) | 540 bilhões | 2022 |
| OPT-175B (175B) | 175 bilhões | 2022 |
| Bate-papoGPT (175B) | 175 bilhões | 2022 |
| GPT3.5 (175B) | 175 bilhões | 2022 |
| AlexaTM (20B) | 20 bilhões | 2022 |
| Florescer (176B) | 176 bilhões | 2022 |
| Bardo | Ainda não anunciado | 2023 |
| GPT4 | Ainda não anunciado | 2023 |
| Código Alfa (41.4B) | 41,4 bilhões | 2022 |
| Chinchila (70B) | 70 bilhões | 2022 |
| Pardal (70B) | 70 bilhões | 2022 |
| PaLM (540B) | 540 bilhões | 2022 |
| NLLB (54,5B) | 54,5 bilhões | 2022 |
| AlexaTM (20B) | 20 bilhões | 2022 |
| Galáctica (120B) | 120 bilhões | 2022 |
| UL2 (20B) | 20 bilhões | 2022 |
| Jurássico-1 (178B) | 178 bilhões | 2022 |
| LLaMA (65B) | 65 bilhões | 2023 |
| Alpaca de Stanford (7B) | 7 bilhões | 2023 |
| GPT-NeoX 2.0 (20B) | 20 bilhões | 2023 |
| BloombergGPT | 50 bilhões | 2023 |
| Boneca | 6 bilhões | 2023 |
| Jurássico-2 | Ainda não anunciado | 2023 |
| OpenAssistant LLaMa | 30 bilhões | 2023 |
| Coala | 13 bilhões | 2023 |
| Vicunha | 13 bilhões | 2023 |
| PaLM2 | Ainda não anunciado, menor que PaLM1 | 2023 |
| LIMA | 65 bilhões | 2023 |
| MPT | 7 bilhões | 2023 |
| Falcão | 40 bilhões | 2023 |
| Lhama 2 | 70 bilhões | 2023 |
| Google Gêmeos | Ainda não anunciado | 2023 |
| Microsoft Phi-2 | 2,7 bilhões | 2023 |
| Grok-0 | 33 bilhões | 2023 |
| Grok-1 | 314 bilhões | 2023 |
| Solar | 10,7 bilhões | 2024 |
| Gema | 7 bilhões | 2024 |
| Grok-1.5 | Ainda não anunciado | 2024 |
| DBRX | 132 bilhões | 2024 |
| Cláudio 3 | Ainda não anunciado | 2024 |
| Gema 1.1 | 7 bilhões | 2024 |
| Lhama 3 | 70 bilhões | 2024 |
⬆️ Ir para o topo
Otimização
- Blog: Uma introdução suave à multiplicação de matrizes de 8 bits para transformadores em escala usando Hugging Face Transformers, Accelerate e bitsandbytes
- Blog: Ajustando LLMs de 20B com RLHF em uma GPU de consumidor de 24GB
- Blog: Manipulando grandes modelos para inferência
- Blog: Como ajustar o modelo Alpaca para qualquer idioma | Alternativa ChatGPT
- Artigo: LLM.int8(): Multiplicação de matrizes de 8 bits para transformadores em escala
- Gist: Script para decompor/recompor modelos LLAMA LLM com diferentes números de fragmentos
⬆️ Ir para o topo
Ferramentas (GitHub)
- Stanford Alpaca - - Um repositório do projeto Stanford Alpaca, um modelo ajustado a partir do modelo LLaMA 7B em demonstrações de acompanhamento de instruções de 52K.
- LoRA - - Uma implementação de "LoRA: Adaptação de baixo nível de modelos de linguagem grande".
- Dolly - - Um grande modelo de linguagem treinado na plataforma Databricks Machine Learning.
- DeepSpeed - - Uma biblioteca de otimização de aprendizado profundo que torna o treinamento distribuído e a inferência fáceis, eficientes e eficazes.
- LMFlow - - Um kit de ferramentas extensível para ajuste fino e inferência de modelos de fundações grandes. Modelo grande para todos.
- Promptify - - Um utilitário / takeit para engenharia Prompt.
- Auto-GPT - - Uma tentativa experimental de código aberto para tornar o GPT-4 totalmente autônomo.
- Jarvis - - Um sistema para conectar LLMs com a comunidade de ML, um conector de modelo composto por meio da interface LLM.
- dalai - - A ferramenta cli para executar o LLaMA na máquina local.
- haystack - uma estrutura de PNL de código aberto para interagir com os dados usando modelos Transformer e LLMs.
- langchain - - A biblioteca que auxilia no desenvolvimento de aplicações com LLM.
- langflow - - Uma UI para LangChain, projetada com react-flow para fornecer uma maneira fácil de experimentar e prototipar fluxos.
- deeplake - - Data Lake para aprendizado profundo. Crie, gerencie, consulte, versione e visualize conjuntos de dados.
- alpaca-lora - - Instrua o ajuste do LLaMA em hardware de consumo.
- bosquet - - LLMOps para aplicações baseadas em modelos de linguagem grande.
- llama_index - - Um projeto que fornece uma interface central para conectar seus LLMs com dados externos.
- gradio - - Um auxiliar de UI para o modelo de aprendizado de máquina.
- sharegpt - - Uma extensão de código aberto do Chrome para você compartilhar suas conversas mais loucas do ChatGPT com um clique.
- keras-nlp - - Uma biblioteca de processamento de linguagem natural que oferece suporte aos usuários durante todo o ciclo de desenvolvimento.
- Snowkel AI - - A plataforma de dados para modelos de base.
- promptflow - - Um kit de ferramentas que simplifica o desenvolvimento de aplicativos de IA baseados em LLM, desde a concepção até a implantação.
⬆️ Ir para o topo
Ferramentas (Outras)
- API PaLM2: um serviço de API que disponibiliza PaLM2, Large Language Models (LLMs), para o Google Cloud Vertex AI.
- API Perspective – Uma ferramenta que pode ajudar a mitigar a toxicidade e garantir um diálogo saudável online.
⬆️ Ir para o topo
RLHF
- evals - - Uma lista selecionada de aprendizagem por reforço com recursos de feedback humano.
- trlx - - Um repositório para treinamento distribuído de modelos de linguagem com Aprendizado por Reforço via Feedback Humano. (RLF)
- PaLM-rlhf-pytorch - - Implementação de RLHF (Aprendizagem por Reforço com Feedback Humano) no topo da arquitetura PaLM.
⬆️ Ir para o topo
Incrível
- Hannibal046/Incrível-LLM
- Kennethan Ceyer/incrível-llm
- f/incríveis-chatgpt-prompts
- promptslab/Awesome-Prompt-Engineering
- tensorchord/incrível-código-aberto-llmops
- openlab/incrível-RLHF
⬆️ Ir para o topo
Contribuindo
Congratulamo-nos com contribuições para a lista Awesome LLMOps! Se desejar sugerir um acréscimo ou fazer uma correção, siga estas orientações:
- Bifurque o repositório e crie um novo branch para sua contribuição.
- Faça suas alterações no arquivo README.md.
- Certifique-se de que sua contribuição seja relevante para o tema LLMOps.
- Use o seguinte formato para adicionar sua contribuição:
[ Name of Resource ] (Link to Resource) - Description of resource
- Adicione sua contribuição em ordem alfabética dentro de sua categoria.
- Certifique-se de que sua contribuição ainda não esteja listada.
- Forneça uma breve descrição do recurso e explique por que ele é relevante para LLMOps.
- Crie uma solicitação pull com um título e uma descrição claros de suas alterações.
Agradecemos suas contribuições e obrigado por ajudar a tornar a lista Awesome LLMOps ainda mais incrível!
⬆️ Ir para o topo
