gpinterface

gpinterface (интерфейс генеративного приглашения)

Что такое gpinterface?

С gpinterface вы можете легко создать API для ваших подсказок.

Демо

Живая демонстрация доступна на gpinterface.com.

Вот несколько конкретных примеров того, что может сделать gpinterface :

• Текстовое суммирование
• Перевод
• Текстовая коррекция

Как это работает?

Вы можете выбрать модель LLM и добавить контекст. После развертывания вы получите конечные точки для:

1. Одноразовые взаимодействия в чате

2. Создание сеанса чата

3. Продолжающиеся разговоры в течение сеанса

4. Поиск разговора с сеанса

Функции

Это мощный инструмент, предназначенный для оптимизации тестирования и развертывания генеративных подсказок для нескольких крупных языковых моделей (LLMS). С помощью простого в использовании веб-интерфейс gpinterface обеспечивает быструю конфигурацию и эксперименты.

• Простое развертывание : разверните ваши настроенные подсказки, мгновенно создавая доступные конечные точки.
• Легкое быстрое тестирование : используйте веб -интерфейс для тестирования подсказок с различными конфигурациями без усилий.
• Поддержка нескольких LLMS : плавно интегрировать и использовать различные крупные языковые модели, чтобы гарантировать, что ваше приложение является универсальным и надежным.

Поддерживается LLMS

gpinterface в настоящее время поддерживает различные ведущие крупные языковые модели, в том числе:

• AI21 Джамба
• Антропический Клод
• Команда COUCE
• Google Gemini
• Мета Лама
• Мишстраль Ай Мистраль
• Openai Chatgpt

Эта разнообразная поддержка позволяет вам выбрать лучшую модель для ваших конкретных потребностей и требований.

Не видите свою любимую модель? Не стесняйтесь открывать PR или свяжитесь со мной!

Развивать

База данных

Приложение требует базы данных PostgreSQL. Запустите базу данных с помощью Docker:

 cd backend
docker-compose up -d

Бэкэнд использует Prisma для управления схемой базы данных и миграциями. Выполнить следующие команды при инициализации базы данных:

npm run prisma:migrate

Чтобы заселить базу данных начальными данными для каждой поддерживаемой большой языковой модели, запустите следующие команды:

npx ts-node prisma/seed

Переменные среды

Бэкэнд

Бэкэнд требует, чтобы следующие переменные среды были установлены:

CLIENT_URL= " http://localhost:3003 "
DATABASE_URL= " postgresql://postgres:[email protected]:5432/postgres " # can be replaced with your DB endpoint
AI21_API_KEY= " YOUR_AI21_API_KEY "
ANTHROPIC_API_KEY= " YOUR_ANTHROPIC_API_KEY "
COHERE_API_KEY= " YOUR_COHERE_API_KEY "
GOOGLE_API_KEY= " YOUR_GOOGLE_API_KEY "
MISTRAL_API_KEY= " YOUR_MISTRAL_API_KEY "
OPENAI_API_KEY= " YOUR_OPENAI_API_KEY "
AWS_ACCESS_KEY_ID= " AWS_ACCESS_KEY " # you need Llama model access in AWS Bedrock
AWS_SECRET_ACCESS_KEY= " AWS_SECRET_KEY " # you need Llama model access in AWS Bedrock
JWT_SECRET= " SECURE_RANDOM_STRING "
COOKIE_SECRET= " SECURE_RANDOM_STRING "
NODE_ENV= " development " # for development logging

Убедитесь, что эти переменные устанавливаются в файле .env в каталоге бэкэнд перед началом приложения.

внешний интерфейс

Приложение Frontend требует следующих переменных среды:

NEXT_PUBLIC_API_ENDPOINT= " http://localhost:3000 "
NEXT_PUBLIC_CHAT_ENDPOINT= " http://localhost:3001 "
NEXT_PUBLIC_HOSTNAME= " http://localhost:3003 "
NEXT_PUBLIC_GOOGLE_OAUTH_CLIENT_KEY= " "

Они должны быть настроены в соответствии с конечными точками, где доступны сервисы бэкэнд, гарантируя, что фронт может правильно общаться с бэкэндом.

Местное развитие

Для запуска компонентов приложения отдельно для целей разработки:

Бежать бэкэнд

  cd backend && npm run dev

Запустить фронт

  cd frontend && npm run dev

Строить

Чтобы создать все компоненты для развертывания производства, выполните следующие действия последовательно

 cd shared
npm run build
cd ../backend
npm run build
cd ../frontend
npm run build

Запуск сервера

Чтобы запустить сервер

Бежать бэкэнд

  cd backend && npm run start

Запустите сервер чата (сервер API)

  cd backend && npm run start:chat

Запустить фронт

  cd frontend && npm run start