react native ai vision

Реагировать на собственный ИИ

Полнофункциональная платформа для создания кроссплатформенных мобильных приложений искусственного интеллекта, поддерживающих LLM в реальном времени/потоковые пользовательские интерфейсы текста и чата, сервисы изображений и естественный язык для изображений с несколькими моделями, а также обработку изображений.

Посмотрите видеоурок здесь

Функции

• Поддержка LLM для OpenAI ChatGPT, Anthropic Claude, Cohere, Cohere Web и Mistral.
• Массив моделей изображений, предоставленный Fal.ai.
• Ответы в режиме реального времени/потоковые ответы от всех поставщиков
• Помощники OpenAI, включая интерпретатор и поиск кода
• Прокси-сервер для простого включения аутентификации и авторизации с выбранным поставщиком аутентификации.
• Темы (поставляется с 5 темами) — легко добавляйте дополнительные темы с помощью всего лишь нескольких строк кода.
• Обработка изображений с помощью ByteScale

Использование

Создайте новый проект, запустив:

npx rn-ai

Затем либо настройте переменные среды с помощью CLI, либо сделайте это позже.

Запуск приложения

Перейдите в каталог приложения и запустите:

npm start

Запуск сервера

Перейдите в каталог сервера и запустите:

npm run dev

Тематика

Чтобы добавить новую тему, откройте app/src/theme.ts и добавьте новую тему со следующей конфигурацией:

 const christmas = {
  // extend an esisting theme or start from scratch
  ... lightTheme ,
  name : 'Christmas' ,
  label : 'christmas' ,
  tintColor : '#ff0000' ,
  textColor : '#378b29' ,
  tabBarActiveTintColor : '#378b29' ,
  tabBarInactiveTintColor : '#ff0000' ,
  placeholderTextColor : '#378b29' ,
}

В нижней части файла экспортируйте новую тему:

 export {
  lightTheme , darkTheme , hackerNews , miami , vercel , christmas
} 

Настройка моделей LLM

Вот как добавить новые или удалить существующие модели LLM.

В приложении

Вы можете добавить или настроить модель, обновив MODELS в constants.ts .

Чтобы удалить модели, просто удалите те модели, которые вы не хотите поддерживать.

Для добавления моделей после добавления определения модели в массив MODELS вам следует обновить src/screens/chat.tsx для поддержки новой модели:

1. Создайте локальное состояние для хранения данных новой модели.
2. Обновите функцию chat() для обработки нового типа модели.
3. Создайте generateModelReponse для вызова новой модели.
4. Обновите getChatType в utils.ts , чтобы настроить тип LLM, который будет соответствовать пути вашего сервера.
5. Рендеринг новой модели в пользовательском интерфейсе

 {
  chatType . label . includes ( 'newModel' ) && (
    < FlatList
      data = { newModelReponse . messages }
      renderItem = { renderItem }
      scrollEnabled = { false }
    / >
  )
}

На сервере

Создайте в папке server/src/chat новый файл, соответствующий типу модели, созданной вами в мобильном приложении. Вероятно, для начала вы можете скопировать и повторно использовать большую часть кода потоковой передачи из других существующих путей.

Затем обновите server/src/chat/chatRouter чтобы использовать новый маршрут.

Настройка моделей изображений

Вот как можно добавить новые или удалить существующие модели изображений.

В приложении

Вы можете добавить или настроить модель, обновив IMAGE_MODELS в файле constants.ts .

Чтобы удалить модели, просто удалите те модели, которые вы не хотите поддерживать.

Для добавления моделей после добавления определения модели в массив IMAGE_MODELS вам следует обновить src/screens/images.tsx для поддержки новой модели.

Основное внимание уделяется вводу. Принимает ли модель в качестве входных данных текст, изображение или и то, и другое?

Приложение настроено для обработки обоих, но вам необходимо обновить функцию generate , чтобы соответствующим образом передавать значения в API.

На сервере

Фал.ай

В server/src/images/fal обновите функцию-обработчик, чтобы она учитывала новую модель.

Другие поставщики API

Создайте новый файл в server/src/images/modelName и обновите функцию-обработчик для обработки нового вызова API.

Затем обновите server/src/images/imagesRouter чтобы использовать новый маршрут.