gpt j chatbot

Шаблон чат-бота для девушки-персонажа на базе GPT-J с искусственным интеллектом

Цель этого шаблона — служить кратким вводным руководством для коллег-разработчиков, желающих создавать персонализированных персонажей на основе искусственного интеллекта.

Живая веб-демо

Джини — виртуальная подруга на базе GPT-J, основанная на этом репозитории.

Требования для локального запуска на ноутбуке

• Windows/Mac/Linux с установленным Git
• Питон 3.5+
• API-токен MessengerX.io — БЕСПЛАТНО для независимых разработчиков
• Нгрок для туннелирования
• Настольный компьютер/ноутбук с оперативной памятью не менее 16 ГБ.
• Для более быстрого вывода требуется графический процессор
• EleutherAI/gpt-neo-1.3B (Будьте терпеливы, первая загрузка и/или первый вывод могут занять некоторое время)
• Токен NLPCloud.io — (необязательно)

Локальная установка

Загрузите или клонируйте этот репозиторий

 git clone [email protected]:machaao/gpt-j-chatbot.git

cd gpt-j-chatbot

Требования к установке

pip install -r requirements.txt

Создайте новый файл .env в каталоге gpt-j-chatbot.

nano -w .env

 API_TOKEN = <Machaao API Token>
BASE_URL = <Machaao Base Url> ex: https://ganglia.machaao.com
NAME = <Your Bot Display Name> ex: Jess
DASHBOT_KEY = <Your dashbot token> (Optional) (Conversational Analytics)
MODEL_NAME=EleutherAI/gpt-neo-1.3B # for local inference / testing [we recommend using GPT-NEO 1.3B for 16GB ram - load can take up to 1 min and inference avg is about 10 - 20 seconds] See https://huggingface.co/EleutherAI for additional models
NLP_CLOUD_TOKEN = <NLP Cloud Token>  # for faster remote inference


# BOT PARAMS - Unset Parameters would use their default values.
# Don't use Top_p and Temperature parameters simultaneously.
# Default Values are mentioned below.
# The higher this value, the less deterministic the result will be
TOP_P="1.0" 
# The higher this value, the less deterministic the result will be
TEMPERATURE="0.8"
# The lower this value, the less likely GPT-J is going to generate off-topic text
TOP_K="50"
# The maximum number of tokens that the generated text should contain
MAX_LENGTH="50"

Для лучшего понимания вышеуказанных параметров GPT-J ознакомьтесь с документацией nlpcloud.io.

Получить API-ключ MessengerX.io

• Получите БЕСПЛАТНЫЙ токен API разработчика через MessengerX.io, замените его в файле .env под записью API_TOKEN
• MessengerX.io позволяет вам создавать и интегрировать собственного чат-бота на ваш веб-сайт или в приложение.

Получите ключ API NLPCloud.io (рекомендуется для производства)

• Вы можете получить ключ API NLPCloud через NLP Cloud и заменить его в файле .env под записью NLP_CLOUD_TOKEN

Получите ключ API Dashbot.io (рекомендуется для производства)

• Вы можете получить ключ API через Dashbot.io и заменить его в файле .env под записью DASHBOT_KEY

Измените файл log/prompt.txt, чтобы изменить сценарий символов.

 bot_name is a very understanding girl
bot_name and stranger are seeing each other
Here is a recent discussion between stranger and bot_name
###
stranger: hi
bot_name: hello there

Измените функцию core() в файле logic/bot_logic.py, чтобы персонализировать ответы.

 def core(self, req: str, user_id: str):

• Обратитесь к документации платформы для получения информации о возможностях персонализации.

Запустите сервер чат-бота из корневого каталога репозитория.

 python app.py

Запустить туннель ngrok.io

 ngrok http 5000

Обновите свой вебхук

Обновите URL-адрес веб-перехватчика вашего бота на портале MessengerX.io, указав URL-адрес, указанный ниже, чтобы продолжить разработку.

 If you use [Ngrok.io](https://ngrok.io), your webhook URL would be of the format as in the example below
https://1234-115-187-40-104.ngrok.io/machaao/hook

Проверьте своего бота:

Посетите: https://messengerx.io/<bot-name>

Удаленная настройка (Хероку)

Мы предполагаем, что у вас есть доступ к учетной записи Heroku и установлен клиент командной строки Heroku для вашей ОС.

Войти в Героку

 heroku login

Создайте новое приложение на Heroku и запишите название своего приложения Heroku.

 heroku create

Зафиксируйте изменения и отправьте репозиторий в Heroku.

 git commit -m ".env updated"
git push heroku master

Откройте журналы, чтобы подтвердить успешное развертывание.

 heroku logs --tail

Обновите свой вебхук

Обновите URL-адрес веб-перехватчика бота на портале MessengerX.io, указав URL-адрес приложения Heroku.

 Webhook Url: <YOUR-HEROKU-APP-URL>/machaao/hook

Проверьте своего бота:

Посетите: https://messengerx.io/<your-character-name>

Известные проблемы (на компьютерах Mac M1+)

 Tips for MPS on Mac [Use Nightly Build]
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

• Работа на MPS нестабильна
• Работа на процессоре надежнее, но медленнее
• Приблизительное время вывода > 60 секунд на Mac M1 Pro 2021 г. / 16 ГБ (GPT-Neo)

Примечания/Дополнительные ресурсы

• Обратите внимание, что этот документ не предназначен для использования в качестве руководства по настройке производственной среды.
• Свяжитесь с нами в Твиттере по любым вопросам.