ai companion

AI-компаньон v1

Один маленький двоичный файл, обладающий всеми необходимыми функциями!

AI Companion — это проект, целью которого является предоставление быстрого, простого, легкого и удобного способа создания чат-ботов с искусственным интеллектом на вашем локальном компьютере. Он не требует какого-либо внешнего API, установки каких-либо библиотек, вы просто устанавливаете двоичный файл, соответствующий вашей операционной системе. систему и устройство, загрузите выбранную модель, и вы сможете начать использовать этот инструмент как: WebUI для общения с LLM, WebUI для ролевых игр с персонажем AI или использовать в качестве API для других ваших проектов, требующих чат-бота AI.

Проект включает в себя множество уникальных функций, таких как кратковременная память, поддержка CUDA, OpenCL и Metal, долговременная память, настройка диалогов, распознавание времени, обучение в чате, возможность работать как REST API, чтение карточек персонажей, простота и удобство работы. удобный веб-интерфейс, позволяющий редактировать данные, редактировать конфигурацию, отправлять, редактировать и удалять сообщения.

Установка

Загрузите отсюда двоичный файл, соответствующий вашей операционной системе и устройству (например, ai-companion-windows-cuda.exe ), а затем установите модель llm с расширением .gguf (например, этот), затем запустите двоичный файл ai-companion, откройте веб-браузер по адресу http://localhost:3000 , и вы увидите веб-интерфейс AI Companion, затем щелкните значок шестеренки на веб-сайте, перейдите в config и замените путь к вашей большой языковой модели (LLM) на путь в вашу модель .gguf на вашем диске, после этого вы сможете начать общаться со своим собеседником!

Функции

• работает локально - не требует API-ключей для других сервисов, что делает его использование полностью бесплатным (ну, кроме затрат на электроэнергию - ваш компьютер должен как-то работать), также не требует для работы Интернета
• конфиденциальность — все разговоры хранятся локально в базе данных SQLite, а это означает, что ваши разговоры или характеристики вашего ИИ остаются только на вашем компьютере.
• API — вы можете использовать его в качестве бэкэнда для других своих проектов, требующих LLM, пользовательских чат-ботов или персонажей с искусственным интеллектом.
• скорость — написанный на Rust показывает хорошую эффективность, когда дело касается процессора, графического процессора (ничего не замедляет вашу генерацию) и оперативной памяти (не нужно использовать более слабые модели ИИ)
• простота использования - все можно изменить в веб-интерфейсе пользователя, и все скомпилировано в один двоичный файл, который можно запустить на вашем компьютере (не нужно играть с сотнями запутанных файлов и не нужно бороться с неправильной библиотекой/интерпретатором /версии фреймворка)
• настройка — вы можете изменить имя, личность, внешний вид ИИ и первое отправленное сообщение. Также можно изменить кратковременную и долговременную память ИИ.
• кратковременная память – искусственный интеллект запоминает недавно полученные/отправленные сообщения
• долговременная память — ИИ может запоминать разговоры даже через тысячи подсказок, используя долговременную память — связывая вещи с разными словами, фразами, предложениями или даже датами
• обучение в режиме реального времени — общаясь с ИИ, он может создавать «воспоминания», а также узнавать о людях, с которыми общается (какая у них профессия, что они любят есть, пить и т. д.)
• кормление ИИ пользовательскими данными - с помощью API можно сохранять в долговременную память ИИ, например, фрагменты документов, статьи, тексты песен, стихи.
• ролевая игра — чат-бот с искусственным интеллектом может (если он включен) выполнять действия между звездочками (*), например, приближаться , махать рукой «Привет»
• вы можете загружать файлы персонажей в формате .json или .png (карточки персонажей). Например, вы можете создать свой собственный с помощью этого инструмента.
• вы можете использовать {{char}} и {{user}} в профиле собеседника, примере диалога, первом сообщении и профиле пользователя (если вы меняете имя пользователя или имя компаньона, вам не нужно их менять, оно изменится автоматически)
• время — AI Chatbot может получать информацию о текущем времени с компьютера, а его долговременная память запоминает, в какие дни происходили те или иные разговоры.

Поддерживаемые модели ИИ

небольшой список протестированных и работающих моделей ИИ:

• Мистраль 7Б
• Зефир 7Б Бета
• Лама 3 8Б Инструктировать

И многие другие модели LLM в формате .gguf.

Документация по API

Документацию по API можно найти здесь.

Проекты на базе ai-companion Backend/API/Library

• местный помощник - виртуальный помощник с искусственным интеллектом на базе llm
• бот-компаньон матрицы — чат-бот на базе искусственного интеллекта, работающий по протоколу Matrix.

Использовать как библиотеку Python (Устарело)

Если вы ищете библиотеку Python, которая позволит вам использовать серверную часть ai-companion в ваших проектах, она доступна здесь ai-companion-py.

Компиляция из исходного кода:

Для сборки исполняемого файла вам понадобятся: Node.js и npm, Rust и Cargo.

Чтобы программное обеспечение работало с CUDA, OpenCL и Metal, вы также должны выполнить шаги, аналогичные описанным в этой документации.

сделайте git-клон репозитория:

 git clone https://github.com/Hukasx0/ai-companion

перейти в папку

 cd ai-companion/

установить узловые модули

 npm i

скомпилировать все в один бинарник

 npm run build-full

или

скомпилируйте все в один бинарник с поддержкой CUDA

 npm run build-full-cuda

или

скомпилируйте все в один бинарный файл с поддержкой OpenCL

 npm run build-full-opencl

или

скомпилируйте все в один бинарный файл с поддержкой Metal

 npm run build-full-metal

(после компиляции двоичный файл должен находиться в папке ai-companion/backend/target/release)

а затем действуйте так же, как и при установке