hands on llms

Curso prático de LLMs

Aprenda a treinar e implantar um consultor financeiro em tempo real

por Paul Iusztin, Pau Labarta Bajo e Alexandru Razvant

Índice

• 1. Blocos de construção
  • 1.1. Pipeline de treinamento
  • 1.2. Pipeline de streaming em tempo real
  • 1.3. Pipeline de inferência
  • 1.4. Conjunto de dados de perguntas e respostas financeiras
• 2. Configurar serviços externos
  • 2.1. Alpaca
  • 2.2. Qdrant
  • 2.3. Cometa ML
  • 2.4. Feixe
  • 2.5. AWS
• 3. Instalação e uso
• 4. Palestras
  • 4.1. Custos
  • 4.2. Fazer perguntas
  • 4.3. Vídeo-aulas
  • 4.4. Artigos
• 5. Licença
• 6. Colaboradores e professores

---

1. Blocos de construção

Usando o design de 3 pipelines, é isso que você aprenderá a construir neste curso ↓

1.1. Pipeline de treinamento

Pipeline de treinamento que:

• carrega um conjunto de dados proprietário de perguntas e respostas
• ajusta um LLM de código aberto usando QLoRA
• registra os experimentos de treinamento no rastreador de experimentos do Comet ML e os resultados de inferência no painel LLMOps do Comet ML
• armazena o melhor modelo no registro de modelos do Comet ML

O pipeline de treinamento é implantado usando o Beam como uma infraestrutura de GPU sem servidor.

-> Encontrado no diretório modules/training_pipeline .

Requisitos mínimos de hardware

• CPU: 4 núcleos
• RAM: 14 GiB
• VRAM: 10 GiB (GPU Nvidia habilitada para CUDA obrigatória)

Nota: Não se preocupe se não tiver os requisitos mínimos de hardware. Mostraremos como implantar o pipeline de treinamento na infraestrutura sem servidor do Beam e treinar o LLM lá.

1.2. Pipeline de streaming em tempo real

Pipeline de recursos em tempo real que:

• ingere notícias financeiras da Alpaca
• limpa e transforma os documentos de notícias em incorporações em tempo real usando Bytewax
• armazena os embeddings no Qdrant Vector DB

O pipeline de streaming é implantado automaticamente em uma máquina AWS EC2 usando um pipeline de CI/CD criado em ações do GitHub.

-> Encontrado no diretório modules/streaming_pipeline .

Requisitos mínimos de hardware

• CPU: 1 Núcleo
• RAM: 2 GiB
• VRAM: -

1.3. Pipeline de inferência

Pipeline de inferência que usa LangChain para criar uma cadeia que:

• baixa o modelo ajustado do registro de modelos do Comet
• recebe perguntas do usuário como entrada
• consulta o Qdrant Vector DB e aprimora o prompt com notícias financeiras relacionadas
• chama o LLM ajustado para aconselhamento financeiro usando a consulta inicial, o contexto do banco de dados vetorial e o histórico de bate-papo
• persiste o histórico de bate-papo na memória
• registra o prompt e a resposta no recurso de monitoramento LLMOps do Comet ML

O pipeline de inferência é implantado usando o Beam como uma infraestrutura de GPU sem servidor, como uma API RESTful. Além disso, ele é agrupado em uma UI para fins de demonstração, implementada no Gradio.

-> Encontrado no diretório modules/financial_bot .

Requisitos mínimos de hardware

• CPU: 4 núcleos
• RAM: 14 GiB
• VRAM: 8 GiB (GPU Nvidia habilitada para CUDA obrigatória)

Nota: Não se preocupe se não tiver os requisitos mínimos de hardware. Mostraremos como implantar o pipeline de inferência na infraestrutura sem servidor do Beam e chamar o LLM a partir daí.

1.4. Conjunto de dados de perguntas e respostas financeiras

Usamos GPT3.5 para gerar um conjunto de dados de perguntas e respostas financeiras para ajustar nosso LLM de código aberto para nos especializarmos no uso de termos financeiros e na resposta a perguntas financeiras. Usar um LLM grande, como GPT3.5 para gerar um conjunto de dados que treina um LLM menor (por exemplo, Falcon 7B) é conhecido como ajuste fino com destilação .

→ Para entender como geramos o conjunto de dados financeiros de perguntas e respostas, confira este artigo escrito por Pau Labarta.

→ Para ver uma análise completa do conjunto de dados de perguntas e respostas financeiras, verifique a subseção dataset_análise do curso escrito por Alexandru Razvant.

2. Configurar serviços externos

Antes de mergulhar nos módulos, você deve configurar algumas ferramentas externas adicionais para o curso.

NOTA: Você pode configurá-los conforme avança para cada módulo, pois indicaremos em cada módulo o que você precisa.

2.1. Alpaca

financial news data source

Siga este documento para mostrar como criar uma conta GRATUITA e gerar as chaves de API necessárias neste curso.

Nota: 1 conexão de dados Alpaca é GRATUITA.

2.2. Qdrant

serverless vector DB

Vá para Qdrant e crie uma conta GRATUITA.

Depois, siga este documento sobre como gerar as chaves API que você precisará neste curso.

Observação: usaremos apenas o plano freemium do Qdrant.

2.3. Cometa ML

serverless ML platform

Vá para Comet ML e crie uma conta GRATUITA.

Depois, siga este guia para gerar uma API KEY e um novo projeto, que você precisará dentro do curso.

Nota: Usaremos apenas o plano freemium do Comet ML.

2.4. Feixe

serverless GPU compute | training & inference pipelines

Vá para o Beam e crie uma conta GRATUITA.

Depois, você deve seguir o guia de instalação para instalar a CLI e configurá-la com suas credenciais do Beam.

Para ler mais sobre o Beam, aqui está um guia de introdução.

Observação: você tem aproximadamente 10 horas de computação gratuitas. Depois, você paga apenas pelo que usar. Se você tiver uma GPU Nvidia >8 GB VRAM e não quiser implantar os pipelines de treinamento e inferência, usar o Beam é opcional.

Solução de problemas

Ao usar o Poetry, tivemos problemas para localizar a CLI do Beam dentro de um ambiente virtual do Poetry. Para corrigir isso, após instalar o Beam, criamos um link simbólico que aponta para os binários do Poetry, como segue:

 export COURSE_MODULE_PATH= < your-course-module-path > # e.g., modules/training_pipeline
 cd $COURSE_MODULE_PATH
 export POETRY_ENV_PATH= $( dirname $( dirname $( poetry run which python ) ) )

 ln -s /usr/local/bin/beam ${POETRY_ENV_PATH} /bin/beam

2.5. AWS

cloud compute | feature pipeline

Acesse AWS, crie uma conta e gere um par de credenciais.

Depois, baixe e instale o AWS CLI v2.11.22 e configure-o com suas credenciais.

Observação: você pagará apenas pelo que usar. Você implantará apenas uma VM EC2 t2.small , que custa apenas ~$0.023 /hora. Se você não quiser implantar o pipeline de recursos, usar a AWS será opcional.

3. Instalação e uso

Cada módulo tem suas dependências e scripts. Numa configuração de produção, cada módulo teria seu repositório, mas neste caso de uso, para fins de aprendizagem, colocamos tudo em um só lugar:

Portanto, verifique o README de cada módulo individualmente para ver como instalá-lo e usá-lo:

1. q_and_a_dataset_generator
2. treinamento_pipeline
3. streaming_pipeline
4. inference_pipeline

4. Palestras

Recomendamos fortemente que você clone este repositório e replique tudo o que fizemos para aproveitar ao máximo este curso.

Nas vídeo-aulas, nos artigos e na documentação README de cada módulo, você encontrará instruções passo a passo.

Feliz aprendizado!

4.1. Custos

O código GitHub (lançado sob a licença MIT) e as videoaulas (lançadas no YouTube) são totalmente gratuitos. Sempre será.

As aulas do Medium são lançadas no mural pago do Medium. Se você já tem, eles são gratuitos. Caso contrário, você deverá pagar uma taxa mensal de US$ 5 para ler os artigos.

4.2. Fazer perguntas

Se você tiver alguma dúvida ou problema durante o curso, encorajamos você a criar um problema neste repositório onde você possa explicar tudo o que precisa em profundidade.

Caso contrário, você também pode entrar em contato com os professores no LinkedIn:

• Paulo Iusztin
• Pau Labarta

4.3. Palestras em vídeo

4.3.1. Introdução ao curso

Clique aqui para assistir ao vídeo?

4.3.2. Ajustando nosso LLM de código aberto (visão geral)

Clique aqui para assistir ao vídeo?

4.3.3. Ajustando nosso LLM de código aberto (prático!)

Clique aqui para assistir ao vídeo?

4.3.4. Pipeline de incorporação de texto em tempo real

Clique aqui para assistir ao vídeo?

4.3.5. Pipeline de inferência

Clique aqui para assistir ao vídeo?

4.4. Artigos

To understand the entire code step-by-step, check out our articles ↓

Projeto do sistema

• Lição 1: O kit LLMs: construa um sistema de consultoria financeira em tempo real pronto para produção usando pipelines de streaming, RAG e LLMOps

Pipeline de recursos

• Lição 2: Por que você deve escolher streaming em vez de pipelines em lote ao fazer RAG em aplicativos LLM
• Lição 3: é assim que você pode construir e implantar um pipeline de streaming para preencher um banco de dados vetorial para RAG em tempo real

Pipeline de treinamento

• Lição 4: 5 conceitos que devem estar em seu kit de ajuste fino LLM
• Lição 5: O segredo de escrever código genérico para ajustar qualquer LLM usando QLoRA
• Lição 6: Do desenvolvimento de LLM aos pipelines de treinamento contínuo usando LLMOps

Pipeline de inferência

• Lição 7: Projete um aplicativo RAG LangChain aproveitando a arquitetura de 3 pipelines
• Lição 8: Prepare seu aplicativo RAG LangChain para produção

5. Licença

Este curso é um projeto de código aberto lançado sob a licença do MIT. Assim, desde que você distribua nossa LICENÇA e reconheça nosso trabalho, você pode clonar ou bifurcar este projeto com segurança e usá-lo como fonte de inspiração para o que quiser (por exemplo, projetos universitários, projetos de graduação universitária, etc.).

6. Colaboradores e professores

	Pau Labarta Baixo | Engenheiro Sênior de ML e MLOps Professor principal. O cara das videoaulas. LinkedIn Twitter/X YouTube Boletim informativo sobre ML do mundo real Site de ML do mundo real
	Alexandru Razvant | Engenheiro Sênior de ML Segundo chef. O engenheiro nos bastidores. LinkedIn Neura salta
	Paulo Iusztin | Engenheiro Sênior de ML e MLOps Chefe principal. A galera que aparece aleatoriamente nas videoaulas. LinkedIn Twitter/X Decodificando boletim informativo de ML Site pessoal | Centro de ML e MLOps