gpt j chatbot

Eine GPT-J-basierte KI-Charakter-Chatbot-Vorlage für Freundinnen

Der Zweck dieser Vorlage besteht darin, anderen Entwicklern, die KI-gestützte personalisierte Charaktere erstellen möchten, als kurze Einführungsanleitung zu dienen

Live-Webdemo

Jeanie ist eine GPT-J-basierte virtuelle Freundin, die auf diesem Repository basiert

Voraussetzungen für die lokale Ausführung auf einem Laptop

• Windows/Mac/Linux mit installiertem Git
• Python 3.5+
• MessengerX.io API-Token – KOSTENLOS für Indie-Entwickler
• Ngrok für Tunnelbau
• Desktop/Laptop mit mindestens 16 GB RAM
• Für eine schnellere Inferenz ist eine GPU erforderlich
• EleutherAI/gpt-neo-1.3B (Seien Sie geduldig, das erste Laden und/oder die erstmalige Schlussfolgerung kann einige Zeit dauern)
• NLPCloud.io-Token – (optional)

Lokales Setup

Laden Sie dieses Repository herunter oder klonen Sie es

 git clone [email protected]:machaao/gpt-j-chatbot.git

cd gpt-j-chatbot

Installationsanforderungen

pip install -r requirements.txt

Erstellen Sie eine neue .env-Datei im Verzeichnis gpt-j-chatbot

nano -w .env

 API_TOKEN = <Machaao API Token>
BASE_URL = <Machaao Base Url> ex: https://ganglia.machaao.com
NAME = <Your Bot Display Name> ex: Jess
DASHBOT_KEY = <Your dashbot token> (Optional) (Conversational Analytics)
MODEL_NAME=EleutherAI/gpt-neo-1.3B # for local inference / testing [we recommend using GPT-NEO 1.3B for 16GB ram - load can take up to 1 min and inference avg is about 10 - 20 seconds] See https://huggingface.co/EleutherAI for additional models
NLP_CLOUD_TOKEN = <NLP Cloud Token>  # for faster remote inference


# BOT PARAMS - Unset Parameters would use their default values.
# Don't use Top_p and Temperature parameters simultaneously.
# Default Values are mentioned below.
# The higher this value, the less deterministic the result will be
TOP_P="1.0" 
# The higher this value, the less deterministic the result will be
TEMPERATURE="0.8"
# The lower this value, the less likely GPT-J is going to generate off-topic text
TOP_K="50"
# The maximum number of tokens that the generated text should contain
MAX_LENGTH="50"

Weitere Informationen zu den oben genannten GPT-J-Parametern finden Sie in der Dokumentation zu nlpcloud.io

Holen Sie sich den MessengerX.io-API-Schlüssel

• Holen Sie sich Ihr KOSTENLOSES Entwickler-API-Token über MessengerX.io und ersetzen Sie es in der .env Datei unter dem Eintrag API_TOKEN
• Mit MessengerX.io können Sie einen benutzerdefinierten Chatbot erstellen und in Ihre Website oder App integrieren

Holen Sie sich den NLPCloud.io-API-Schlüssel (für die Produktion empfohlen)

• Sie können einen NLPCloud-API-Schlüssel über NLP Cloud erwerben und ihn in der .env Datei unter dem Eintrag NLP_CLOUD_TOKEN ersetzen

Holen Sie sich den Dashbot.io-API-SCHLÜSSEL (empfohlen für die Produktion)

• Sie können den API Key über Dashbot.io erwerben und in der .env Datei unter dem Eintrag DASHBOT_KEY ersetzen

Ändern Sie „logic/prompt.txt“, um das Zeichenskript zu ändern

 bot_name is a very understanding girl
bot_name and stranger are seeing each other
Here is a recent discussion between stranger and bot_name
###
stranger: hi
bot_name: hello there

Ändern Sie die Funktion „core()“ in „logic/bot_logic.py“, um Antworten zu personalisieren

 def core(self, req: str, user_id: str):

• Informationen zu Personalisierungsoptionen finden Sie in der Plattformdokumentation

Führen Sie den Chatbot-Server aus dem Stammverzeichnis des Repos aus

 python app.py

Starten Sie den ngrok.io-Tunnel

 ngrok http 5000

Aktualisieren Sie Ihren Webhook

Aktualisieren Sie die Webhook-URL Ihres Bots im MessengerX.io-Portal mit der unten angegebenen URL, um mit der Entwicklung fortzufahren

 If you use [Ngrok.io](https://ngrok.io), your webhook URL would be of the format as in the example below
https://1234-115-187-40-104.ngrok.io/machaao/hook

Testen Sie Ihren Bot:

Besuchen Sie: https://messengerx.io/<bot-name>

Remote-Setup (Heroku)

Wir gehen davon aus, dass Sie Zugriff auf ein Heroku-Konto haben und den Heroku-Befehlszeilen-Client für Ihr Betriebssystem installiert haben.

Melden Sie sich bei Heroku an

 heroku login

Erstellen Sie eine neue App auf Heroku und notieren Sie sich den Namen Ihrer Heroku-App

 heroku create

Übernehmen Sie die Änderungen und übertragen Sie das Repository an Heroku

 git commit -m ".env updated"
git push heroku master

Öffnen Sie die Protokolle, um die erfolgreiche Bereitstellung zu bestätigen

 heroku logs --tail

Aktualisieren Sie Ihren Webhook

Aktualisieren Sie die Webhook-URL Ihres Bots im MessengerX.io-Portal mit der Heroku-App-URL

 Webhook Url: <YOUR-HEROKU-APP-URL>/machaao/hook

Testen Sie Ihren Bot:

Besuchen Sie: https://messengerx.io/<your-character-name>

Bekannte Probleme (auf M1+ Macs)

 Tips for MPS on Mac [Use Nightly Build]
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

• Das Laufen mit MPS ist instabil
• Die Ausführung auf der CPU ist zuverlässig, aber langsamer
• Ungefähre Inferenzzeit > 60 Sekunden auf Mac M1 Pro 2021 / 16 GB (GPT-Neo)

Hinweise / Zusätzliche Ressourcen

• Bitte beachten Sie, dass dieses Dokument nicht als Leitfaden für die Einrichtung der Produktionsumgebung dienen soll.
• Kontaktieren Sie uns bei Fragen auf Twitter