Updated Langchain for GenAI Pet project v2

Construindo Chatbot usando LLMs pagos e de código aberto usando Langchain e Ollama

Este projeto ponta a ponta que simplifica o ciclo de vida de aplicativos Large Language Model (LLM), incluindo desenvolvimento, produção e implantação. O repositório contém pastas e arquivos como componentes do projeto, como agentes, APIs, cadeias, chatbots, GROQ (uma linguagem de consulta), modelos Hugging Face, ObjectBox (um banco de dados incorporado), modelos OpenAI e Retrieval-Augmented Generation (RAG). ). O projeto visa fornecer uma solução abrangente para trabalhar com LLMs, abrangendo tratamento de dados, desenvolvimento de chatbot e integração com diversas ferramentas e frameworks.

Projeto Langchain

---

Construindo um chatbot usando LLMs pagos e de código aberto com Langchain e Ollama

Visão geral do projeto

Este projeto demonstra a criação de um chatbot usando modelos de linguagem em larga escala (LLMs) pagos e de código aberto via Langchain e Ollama. Abrange todo o ciclo de vida dos aplicativos LLM, incluindo desenvolvimento, produção e implantação.

Segurança da informação:

Sim. Todas as APIs são secretas, com acesso restrito do usuário e .gitignore anônimo e outra camada de segurança através dos ambientes secretos do Github (desculpe! você terá que usar o seu próprio!)

Componentes Mínimos do Projeto

• Agentes
• APIs/FastAPI
• Correntes
• Bots de bate-papo
• GROQ (linguagem de consulta)
• Abraçando Modelos Face22
• ObjectBox (banco de dados incorporado)
• Modelos OpenAI
• Modelos Meta Llama2 (código aberto)
• Modelos de geração aumentada de recuperação (RAG)

Configuração e instalação

1. Configuração do ambiente

conda create -p venv python==3.10 -y
venv S cripts a ctivate
pip install -r requirements.txt

2. Configuração

Configure as chaves e configurações de API necessárias no arquivo app.py

Usar

1. Execução do chatbot

python app.py

2. Acesso à interface web

Abra um navegador da web e navegue até (ou a porta progressiva atribuída em seu computador). o meu é esse:

http://localhost:8502

---

Vamos configurar app.py e executar a sessão no host local

• Criamos o arquivo chamando as 3 principais funções encadeadas do nosso chatbot base.

• Carregamos requisitos para módulos e bibliotecas:

• Executamos nosso app.py

  Terminamos de configurar app.py e executamos
  

• Ele retorna a rota e abre o host no navegador de teste

  Local URL: http://localhost:8502
  Network URL: http://192.168.100.30:8502

• Vamos verificar a página:

• Vamos revisar o projeto na estrutura Langchain:

• Vejamos a estrutura da saída conforme a definimos:

  

• Vemos o StrOutputParser em detalhes:

  

• Perguntaremos sobre “fornecer código python que troque dois valores” para avaliar custo, tokenização e tempo de atraso para resolver a questão:

• *proveeme de un código python que swapee 2 valores.* :

  

   # Definir los dos valores a intercambiar
  a = 5
  b = 10
  
  print ( "Valores originales:" )
  print ( "a =" , a )
  print ( "b =" , b )
  
  # Intercambiar los valores
  temp = a
  a = b
  b = temp
  
  print ( " n Valores intercambiados:" )
  print ( "a =" , a )
  print ( "b =" , b )

• Finalmente, geramos uma consulta comum:

  “pergunta": "Quando começar a escovar os dentes dos cachorrinhos?"

  

Vamos configurar uma versão local com Ollama

• Carregaremos o Llamama especificamente baixando o Llama2 em nosso computador para executá-lo em meu ambiente local

  • eu abro um cmd

    ollama run llama2

  • baixamos llama2

  

  

  • Consultaremos as mesmas 2 últimas questões para avaliar o nível de resposta, coerência e consistência com Llama2 em comparação com o gerado com gpt3.5 turbo
  • Vemos as respostas no navegador de teste:

  

  • Vamos revisar o Langsmith no Langchain para revisar o rastreamento de consultas, latência, tokenização e todo o processo.

  

  • “forneça-me um código python para trocar 2 números”

  

  • Como vemos o tempo do processo e geração da resposta
  • Foi muito maior e a tokenização disparou rapidamente para 388 tokens.
  • O tamanho e a extensão da resposta são gerados pela pergunta, mas muito mais. E o nível de informação e completude também é alto, o que significa que o modelo OpenAI procuro responder com brevidade e precisão, sem entrar em detalhes semânticos enquanto o modelo funciona.
  • O Lama 2 foi muito mais verbal ou prolixo e com impacto associado ao tempo de processamento local que depende do computador em que o modelo está rodando e da inteligência por trás da resposta gerada pelo próprio modelo.

---

Características gerais do projeto

• Integração com modelos OpenAI GPT
• Suporte local LLM usando Ollama (Llama2)
• Interface web para fácil interação
• Comparação de desempenho entre LLMs baseados em nuvem e locais

Comparação de desempenho

O projeto inclui uma comparação entre o GPT-3.5-turbo da OpenAI e o modelo Llama2 executado localmente:

• Tempo de resposta (latência)
• Uso de token
• Qualidade e consistência das respostas

Monitoramento e Análise

Usamos Langsmith no Langchain para monitorar:

• Layout de consulta
• Latência
• Uso de token
• Fluxo geral do processo

Contribuições

Contribuições para melhorar o chatbot ou ampliar suas capacidades são sempre bem-vindas. Envie solicitações pull ou problemas em aberto para quaisquer melhorias.

#### Você quer aprender? me mande um DM!

Licença

Este projeto é de código aberto e está disponível sob a licença MIT.