Скачать AI tamago - Скачать исходный код AI tamago

AI tamago

Другой исходный код

1.0.0

Скачать

ИИ Тамаго??

100% локальный, созданный и управляемый LLM виртуальный питомец с мыслями, чувствами и отзывами. Оживите свои теплые воспоминания о Тамагочи! https://ai-tamago.fly.dev/

Все ascii-анимации создаются с помощью chatgpt (подсказки включены в репозиторий).

Есть вопросы? Присоединяйтесь к разработчикам AI Stack и найдите меня на канале #ai-tamago.

Демо ?

ai-tamago-demo.mov

Куча

Локальный режим

? Вывод: Оллама с возможностью использования OpenAI или репликации.
? Состояние игры: Ингест
Транзакционная и векторная база данных: Supabase pgvector
? LLM оркестровка: Langchain.js
?️ Логика приложения: Next.js.
? Генерация вложений: Transformer.js и all-MiniLM-L6-v2.
?️ Пользовательский интерфейс: Magic Patterns и Vercel v0

Режим Prod

Все вышеперечисленное плюс:

? Аутентификация и управление пользователями: клерк
☁️ Хостинг: Fly
? Ограничение скорости: Upstash

Обзор

Быстрый старт
Руководство по развертыванию

Предварительные условия

Установить Докер

Быстрый старт

1. Репозиторий вилки и клонирования

Создайте форк репозитория в своей учетной записи Github, затем выполните следующую команду, чтобы клонировать репозиторий:

 git clone [email protected]:[YOUR_GITHUB_ACCOUNT_NAME]/AI-tamago.git

2. Установите зависимости

 cd ai-tamago
npm install

Весь клиентский код тамагочи находится в Tamagotchi.tsx.

3. Установите Олламу

Инструкции здесь.

4. Запустите Supabase локально.

Установите интерфейс командной строки Supabase.

 brew install supabase/tap/supabase

Запустить Супабазу

Убедитесь, что вы находитесь в каталоге /ai-tamago , и запустите:

 supabase start

Советы: Чтобы запустить миграцию или сбросить базу данных — файлseed.sql и миграция запустят supabase db reset

5. Заполните секреты

Примечание. Секреты здесь относятся к вашему локальному экземпляру супабазы.

 cp .env.local.example .env.local

Затем получите SUPABASE_PRIVATE_KEY , запустив

 supabase status

Скопируйте service_role key и сохраните его как SUPABASE_PRIVATE_KEY в .env.local

6. Настройте Инжест

npx inngest-cli@latest dev

Убедитесь, что ваше приложение запущено и работает — функции Inngest (которые используются для управления состоянием игры) должны регистрироваться автоматически.

7. Запустите приложение локально

Теперь вы готовы протестировать приложение локально! Для этого просто запустите npm run dev в корне проекта и посетите http://localhost:3000 .

Руководство по развертыванию

Теперь вы поигрались с тамаго ИИ локально — пришло время развернуть его где-нибудь на более постоянном месте, чтобы вы могли получить к нему доступ в любое время!

0. Выберите, какую модель вы хотите использовать в производстве.

Если вы хотите протестировать использование Chatgpt в продукте, просто удалите LLM_MODEL=ollama из .env.local и заполните OPENAI_API_KEY
Если вы хотите попробовать репликацию, установите LLM_MODEL=replicate_llama и заполните REPLICATE_API_TOKEN
Если вы хотите развернуть Ollama самостоятельно, вы можете следовать этому замечательному руководству — Масштабирование больших языковых моделей до нуля с помощью Ollama. Можно запустить Ollama на виртуальной машине Fly performance-4x (ЦП) с объемом 100gb , но если вы можете получить доступ к графическим процессорам, они будут работать намного быстрее. Присоединяйтесь к списку ожидания Fly GPU здесь, если у вас еще нет доступа!

1. Переключитесь на ветку deploy — эта ветка включает в себя все необходимое для развертывания такого приложения.

git co deploy

Эта ветка содержит приложение, готовое к мультитенантности (спасибо Clerk), что означает, что каждый пользователь может получить свой собственный AI-тамаго, и имеет встроенный лимит токенов — вы можете установить, сколько раз пользователь может отправлять запросы в приложении. ( ratelimit.ts )

2. Перейдите в облако Supabase:

Создайте здесь проект Supabase, затем перейдите в «Настройки проекта» -> «API». Заполните секреты в .env.local
SUPABASE_URL — это значение URL-адреса в разделе «URL-адрес проекта».
SUPABASE_PRIVATE_KEY — это ключ, начинающийся с ey в разделе «Ключи API проекта».
Скопируйте идентификатор проекта Supabase, который вы можете найти по URL-адресу https://supabase.com/dashboard/project/[project-id]

Из корня проекта Ai-tamago запустите:

 supabase link --project-ref [insert project-id]
supabase migration up
supabase db reset --linked

3. Создайте экземпляр Upstash Redis для ограничения скорости.

Это гарантирует, что ни один пользователь не вызовет какой-либо API слишком много раз и не возьмет на себя всю рабочую нагрузку вывода. Здесь мы используем потрясающий SDK ограничения скорости Upstash.

Войдите в Upstash
В разделе «Redis» в верхней части навигации нажмите «Создать базу данных».
Дайте ему имя, а затем выберите регионы и другие параметры в зависимости от ваших предпочтений. Нажмите «Создать»
Прокрутите вниз до раздела «REST API» и нажмите «.env». Теперь вы можете скопировать и вставить обе переменные среды ( UPSTASH_REDIS_REST_URL и UPSTASH_REDIS_REST_TOKEN ) в ваш .env.local.

4. Теперь вы готовы развернуть все на Fly.io!

Зарегистрируйте учетную запись на сайте Fly.io, а затем установите Flyctl.
Запустите fly launch под корнем проекта. Это создаст файл fly.toml , включающий все необходимые вам конфигурации.
Запустите fly scale memory 512 , чтобы увеличить память Fly VM для этого приложения.
Запустите fly deploy --ha=false чтобы развернуть приложение. Флаг --ha гарантирует, что Fly запускает только один экземпляр, который включен в бесплатный план.
В любой другой среде, отличной от локального хоста, существующий экземпляр разработки Clerk должен продолжать работать. Вы можете загрузить секреты в Fly, запустив cat .env.local | fly secrets import
Если вы хотите превратить это в настоящий продукт, вам следует создать рабочую среду под текущим экземпляром Clerk. Более подробную информацию о развертывании рабочего приложения с помощью Clerk можно найти здесь. Обратите внимание, что вам, скорее всего, потребуется управлять своим собственным доменом и выполнять проверку домена в рамках этого процесса.
Создайте локально новый файл .env.prod и заполните все секреты производственной среды. Не забудьте обновить NEXT_PUBLIC_CLERK_PUBLISHABLE_KEY и CLERK_SECRET_KEY скопировав секреты из производственного экземпляра Clerk — cat .env.prod | fly secrets import для загрузки секретов.