gptq_for_langchain

Modelos GPTQ em LangChain

Introdução

Este repositório fornece uma estrutura potencial com exemplos práticos para o desenvolvimento de aplicativos alimentados por Language Model Models (LLMs) quantizados de código aberto em conjunto com LangChain. Especificamente, este guia concentra-se na implementação e utilização de variantes GPTQ quantizadas de 4 bits de vários LLMs, como WizardLM e WizardLM-Mega. Embora os recursos dedicados a este tópico específico sejam limitados online, este repositório visa preencher essa lacuna e oferecer guias abrangentes.

A execução de LLMs localmente oferece inúmeras vantagens, sendo a privacidade um fator chave. Ao manter seus dados em seu próprio hardware, você pode aproveitar os recursos desses modelos sem depender de APIs externas, garantindo maior controle sobre seus dados e permitindo o desenvolvimento de aplicativos interessantes.

Pré-requisitos

• Ubuntu 22.04/WSL2 Ubuntu para Windows
• GPU Nvidia com pelo menos 6 GB de VRAM
  • 6GB VRAM é suficiente para carregar modelos 7B de 4 bits
• 8 threads de CPU
• Recomenda-se 16 GB de RAM
• Drivers Nvidia já instalados (o comando nvidia-smi deve funcionar)
• Espaço em disco suficiente para pacotes, drivers e arquivos de modelo (~30GB, pode variar dependendo do sistema)
• Git LFS

Nota: o suporte Docker será adicionado.

Modelos testados

Os seguintes modelos GPTQ são suportados por enquanto:

• assistenteLM-7B-GPTQ
• WizardLM-7B-sem censura-GPTQ

Levantando-se e funcionando

Para começar a usar modelos GPTQ com langchain, existem algumas etapas importantes:

1. Configurar ambiente Python
2. Instale as versões corretas do kit de ferramentas Pytorch e CUDA
3. Configure corretamente quant_cuda
4. Baixe os modelos GPTQ do HuggingFace
5. Após as etapas acima, você pode executar demo.py e usar o LLM com LangChain da mesma forma que faz para modelos OpenAI.

Criando o ambiente conda

Instale o Miniconda seguindo as instruções do site oficial.

Para verificar se o conda foi configurado corretamente

$ conda --version

Inicialize o conda no seu shell

$ conda init

Crie um novo ambiente conda, certifique-se de usar a versão especificada do Python porque ela foi testada apenas em 3.10.9

$ conda create -n wizardlm_langchain python=3.10.9

Assim que o novo ambiente for criado, ative-o.

$ conda activate wizardlm_langchain

Configurando o ambiente

Todo o processo discutido acima, de 2 a 4, é automatizado usando o script bash setup.sh . Sinta-se à vontade para modificá-lo de acordo com sua preferência.

$ bash ./setup.sh

Idealmente, todas as etapas devem ser executadas sem erros se o ambiente estiver configurado corretamente.

Se você estiver enfrentando a seguinte exceção ao executar a demonstração:

 Exception: Error while deserializing header: HeaderTooLarge

Então, isso significa que o modelo não foi baixado totalmente, então você pode tentar baixá-lo novamente usando o comando git clone encontrado em setup.py .

Antes de executar a demonstração, é bom desativar e reativar o ambiente ao configurá-lo pela primeira vez.

Execute a demonstração:

$ python demo.py

Usar o setup.sh por padrão, fará o download do modelo WizardLM-7B-GPTQ, mas se você quiser usar outros modelos que foram testados com este projeto, você pode usar o script download_model.sh .

$ download_model.sh < HUGGING FACE MODEL NAME >
# Example
$ ./download_model.sh " TheBloke/WizardLM-7B-uncensored-GPTQ "

Nota: Se você não conseguir baixar os modelos completos do HF, certifique-se de que o Git LFS esteja configurado corretamente. O comando git lfs install às vezes pode dar conta do recado.

Uso

Depois de concluir o processo de configuração, você pode usar os modelos GPTQ com LangChain seguindo estas etapas:

Certifique-se de anexar o diretório raiz do projeto wizardlm_langchain ao PYTHONPATH para usá-lo globalmente

Consulte o script de exemplo demo.py para entender como usá-lo.

Contribuindo

Contribuições para este repositório são bem-vindas. Se você encontrar algum problema ou tiver sugestões de melhorias, sinta-se à vontade para abrir um problema ou enviar uma solicitação pull.

Ao contribuir, siga as seguintes diretrizes:

• Bifurque o repositório e crie um novo branch para sua contribuição.
• Inclua documentação e comentários quando necessário.
• Escreva mensagens de commit claras.
• Teste suas alterações completamente antes de enviar uma solicitação pull.

Licença

Este repositório está licenciado sob a Licença Pública GNU. Consulte o arquivo LICENSE para obter mais informações.

Agradecimentos

Gostaríamos de agradecer as contribuições da comunidade de código aberto e dos desenvolvedores dos modelos GPTQ originais usados ​​neste repositório. Um milhão de agradecimentos a oobabooga/text-generation-webui, seu trabalho tem sido de grande ajuda para configurar modelos GPTQ com langchain.