gpinterface

gpinterface (generative Eingabeaufforderungschnittstelle)

Was ist gpinterface?

Mit gpinterface können Sie einfach API für Ihre Eingabeaufforderungen erstellen.

Demo

Eine Live -Demo ist unter gpinterface.com erhältlich.

Hier sind einige spezifische Beispiele dafür, was gpinterface kann:

• Textübersicht
• Übersetzung
• Textkorrektur

Wie funktioniert es?

Sie können das LLM -Modell auswählen und Kontext hinzufügen. Nach der Bereitstellung erhalten Sie Endpunkte für:

1. Einmalige Chat-Interaktionen

2. Erstellung von Chat -Sitzungen

3.. Laufende Gespräche innerhalb einer Sitzung

4.. Konversation Abruf aus einer Sitzung

Merkmale

Es ist ein leistungsstarkes Tool, das das Testen und die Bereitstellung von generativen Eingabeaufforderungen über mehrere große Sprachmodelle (LLMs) hinweg rationalisiert. Mit einer benutzerfreundlichen Weboberfläche ermöglicht gpinterface eine schnelle Konfiguration und Experimente.

• Einfache Bereitstellung : Stellen Sie Ihre konfigurierten Eingabeaufforderungen bereit und erstellen Sie sofort zugängliche Endpunkte.
• Einfache Eingabeaufforderungstest : Verwenden Sie eine Weboberfläche, um Eingabeaufforderungen mühelos mit verschiedenen Konfigurationen zu testen.
• Unterstützung für mehrere LLMs : Integrieren und verwenden Sie verschiedene Großsprachenmodelle nahtlos, um sicherzustellen, dass Ihre Anwendung vielseitig und robust ist.

Unterstützte LLMs

gpinterface unterstützt derzeit eine Vielzahl führender großer Sprachmodelle, darunter:

• AI21 JAMBA
• Anthropic Claude
• Cohere -Befehl
• Google Gemini
• Meta Lama
• Mistral ai Mistral
• Openai Chatgpt

Mit dieser vielfältigen Unterstützung können Sie das beste Modell für Ihre spezifischen Anforderungen und Anforderungen auswählen.

Sehen Sie Ihr Lieblingsmodell nicht? Fühlen Sie sich frei, PR zu öffnen oder kontaktieren Sie mich!

Entwickeln

Datenbank

Die Anwendung benötigt eine PostgreSQL -Datenbank. Starten Sie die Datenbank mit Docker:

 cd backend
docker-compose up -d

Das Backend nutzt Prisma, um das Datenbankschema und Migrationen zu verwalten. Führen Sie die folgenden Befehle bei der Datenbankinitialisierung aus:

npm run prisma:migrate

Führen Sie die folgenden Befehle aus:

npx ts-node prisma/seed

Umgebungsvariablen

Backend

Das Backend erfordert, dass die folgenden Umgebungsvariablen festgelegt werden:

CLIENT_URL= " http://localhost:3003 "
DATABASE_URL= " postgresql://postgres:[email protected]:5432/postgres " # can be replaced with your DB endpoint
AI21_API_KEY= " YOUR_AI21_API_KEY "
ANTHROPIC_API_KEY= " YOUR_ANTHROPIC_API_KEY "
COHERE_API_KEY= " YOUR_COHERE_API_KEY "
GOOGLE_API_KEY= " YOUR_GOOGLE_API_KEY "
MISTRAL_API_KEY= " YOUR_MISTRAL_API_KEY "
OPENAI_API_KEY= " YOUR_OPENAI_API_KEY "
AWS_ACCESS_KEY_ID= " AWS_ACCESS_KEY " # you need Llama model access in AWS Bedrock
AWS_SECRET_ACCESS_KEY= " AWS_SECRET_KEY " # you need Llama model access in AWS Bedrock
JWT_SECRET= " SECURE_RANDOM_STRING "
COOKIE_SECRET= " SECURE_RANDOM_STRING "
NODE_ENV= " development " # for development logging

Stellen Sie sicher, dass diese Variablen in einer .env -Datei im Backend -Verzeichnis eingestellt sind, bevor Sie die Anwendung starten.

Frontend

Die Frontend -Anwendung erfordert die folgenden Umgebungsvariablen:

NEXT_PUBLIC_API_ENDPOINT= " http://localhost:3000 "
NEXT_PUBLIC_CHAT_ENDPOINT= " http://localhost:3001 "
NEXT_PUBLIC_HOSTNAME= " http://localhost:3003 "
NEXT_PUBLIC_GOOGLE_OAUTH_CLIENT_KEY= " "

Diese sollten so konfiguriert werden, dass sie den Endpunkten entsprechen, an denen die Backend -Dienste verfügbar sind, und sicherstellen, dass der Frontend mit dem Backend ordnungsgemäß kommunizieren kann.

Lokale Entwicklung

Um die Anwendungskomponenten für Entwicklungszwecke separat auszuführen:

Backend laufen

  cd backend && npm run dev

Frontend laufen

  cd frontend && npm run dev

Bauen

Befolgen Sie diese Schritte nacheinander, um alle Komponenten für die Bereitstellung der Produktion zu erstellen

 cd shared
npm run build
cd ../backend
npm run build
cd ../frontend
npm run build

Ausführen des Servers

Um den Server zu starten

Backend laufen

  cd backend && npm run start

Chat -Server ausführen (API -Server)

  cd backend && npm run start:chat

Frontend laufen

  cd frontend && npm run start