gptq_for_langchain

Модели GPTQ в LangChain

Введение

Этот репозиторий предоставляет потенциальную структуру с практическими примерами для разработки приложений на основе квантованных моделей языковых моделей (LLM) с открытым исходным кодом в сочетании с LangChain. В частности, в этом руководстве основное внимание уделяется реализации и использованию 4-битных вариантов квантованного GPTQ различных LLM, таких как WizardLM и WizardLM-Mega. Хотя ресурсы, посвященные этой конкретной теме, в Интернете ограничены, цель этого репозитория — восполнить этот пробел и предложить подробные руководства.

Проведение программ LLM на местном уровне дает множество преимуществ, при этом конфиденциальность является ключевым фактором. Храня свои данные на собственном оборудовании, вы можете использовать возможности этих моделей, не полагаясь на внешние API, обеспечивая больший контроль над своими данными и позволяя разрабатывать интересные приложения.

Предварительные условия

• Ubuntu 22.04/WSL2 Ubuntu для Windows
• Графический процессор Nvidia с видеопамятью не менее 6 ГБ
  • 6 ГБ видеопамяти достаточно для загрузки 4-битных моделей 7B.
• 8 потоков процессора
• Рекомендуется 16 ГБ ОЗУ
• Драйверы Nvidia уже установлены (команда nvidia-smi должна работать)
• Достаточно места на диске для пакетов, драйверов и файлов моделей (~30 ГБ, может варьироваться в зависимости от системы)
• Git ОФС

Примечание. Будет добавлена ​​поддержка Docker.

Протестированные модели

На данный момент поддерживаются следующие модели GPTQ:

• мастерLM-7B-GPTQ
• WizardLM-7B-без цензуры-GPTQ

Приступаем к работе

Чтобы начать использовать модели GPTQ с langchain, необходимо выполнить несколько важных шагов:

1. Настройка среды Python
2. Установите правильные версии Pytorch и инструментария CUDA.
3. Правильно настраиваем quant_cuda
4. Загрузите модели GPTQ с HuggingFace.
5. После описанных выше шагов вы можете запустить demo.py и использовать LLM с LangChain точно так же, как вы это делаете для моделей OpenAI.

Создание среды conda

Установите Miniconda, следуя инструкциям с официального сайта.

Чтобы проверить, правильно ли настроен конда

$ conda --version

Инициализируйте conda в вашей оболочке

$ conda init

Создайте новую среду conda, обязательно используйте указанную версию Python, поскольку она была протестирована только в 3.10.9

$ conda create -n wizardlm_langchain python=3.10.9

Как только новая среда будет создана, активируйте ее.

$ conda activate wizardlm_langchain

Настройка среды

Весь рассмотренный выше процесс со 2 по 4 автоматизирован с помощью bash-скрипта setup.sh . Не стесняйтесь изменять его по своему вкусу.

$ bash ./setup.sh

В идеале все шаги должны выполняться без ошибок, если среда настроена правильно.

Если при запуске демо-версии вы столкнулись со следующим исключением:

 Exception: Error while deserializing header: HeaderTooLarge

Тогда это означает, что модель не была загружена полностью, поэтому вы можете попробовать загрузить ее повторно с помощью команды git clone найденной в setup.py .

Перед запуском демо-версии полезно деактивировать и повторно активировать среду при ее первой настройке.

Запустите демо:

$ python demo.py

При использовании setup.sh по умолчанию загружается модель WizardLM-7B-GPTQ, но если вы хотите использовать другие модели, протестированные в этом проекте, вы можете использовать сценарий download_model.sh .

$ download_model.sh < HUGGING FACE MODEL NAME >
# Example
$ ./download_model.sh " TheBloke/WizardLM-7B-uncensored-GPTQ "

Примечание. Если вы не можете загрузить полные модели с HF, убедитесь, что Git LFS настроен правильно. Иногда команда git lfs install может выполнить свою работу.

Использование

После завершения процесса установки вы можете использовать модели GPTQ с LangChain, выполнив следующие действия:

Обязательно добавьте корневой каталог проекта wizardlm_langchain в PYTHONPATH, чтобы использовать его глобально.

Обратитесь к примеру сценария demo.py , чтобы понять, как его использовать.

Содействие

Вклады в этот репозиторий приветствуются. Если вы обнаружите какие-либо проблемы или у вас есть предложения по улучшению, пожалуйста, не стесняйтесь открыть проблему или отправить запрос на включение.

При внесении вклада, пожалуйста, придерживайтесь следующих правил:

• Создайте форк репозитория и создайте новую ветку для вашего вклада.
• При необходимости включите документацию и комментарии.
• Пишите четкие сообщения о фиксации.
• Тщательно проверьте свои изменения, прежде чем отправлять запрос на включение.

Лицензия

Этот репозиторий распространяется под лицензией GNU Public License. Дополнительную информацию смотрите в файле LICENSE.

Благодарности

Мы хотели бы отметить вклад сообщества открытого исходного кода и разработчиков оригинальных моделей GPTQ, используемых в этом репозитории. Огромное спасибо ooboooga/text-generation-webui, их работа очень помогла в настройке моделей GPTQ с помощью langchain.