AI Runner — это интерфейс, который позволяет запускать модели большого языка (LLM) с открытым исходным кодом и генераторы изображений AI (Stable Diffusion) на вашем собственном оборудовании.
Он прост в использовании, имеет простой и интуитивно понятный интерфейс, который позволяет запускать модели искусственного интеллекта без необходимости использования веб-сервера или облачного сервиса.
Он был оптимизирован для скорости и эффективности, что позволяет вам создавать изображения и общаться с чат-ботами в режиме реального времени.
AI Runner — это AI-интерфейс, который позволяет запускать модели большого языка (LLM) с открытым исходным кодом и генераторы изображений AI (Stable Diffusion) на вашем собственном оборудовании.
Особенность | Описание |
---|---|
LLM и общение | |
Голосовые разговоры с чат-ботами | Общайтесь с чат-ботом, используя свой голос |
Преобразование текста в речь | Преобразование текста в голосовой звук |
Преобразование речи в текст | Преобразование разговорного звука в текст |
Настраиваемые чат-боты с LLM | Генерация текста с использованием больших языковых моделей |
RAG по местным документам и веб-сайтам | Взаимодействуйте с местными документами с помощью LLM |
? Генерация изображений | |
Стабильная диффузия (все версии) | Создавайте изображения с помощью Stable Diffusion |
Инструменты рисования | Превратите эскизы в искусство |
Преобразование текста в изображение | Генерируйте изображения из текстовых описаний |
Изображение к изображению | Генерация изображений на основе входных изображений |
?️ Манипулирование изображениями | |
Inpaint и Outpaint | Изменение частей изображения, сохраняя контекст |
Контрольная сеть | Управляйте генерацией изображения с помощью дополнительного ввода |
ЛоРА | Эффективная точная настройка моделей с помощью LoRA |
Текстовые вложения | Используйте текстовые внедрения для управления генерацией изображений. |
Фильтры изображений | Размытие, зернистость пленки, пиксельная графика и многое другое |
? Утилита | |
Запуск в автономном режиме, локально | Запускайте на своем оборудовании без Интернета |
Быстрое поколение | Генерация изображений примерно за 2 секунды (RTX 2080-е) |
Запускайте несколько моделей одновременно | Используйте несколько моделей одновременно |
Темный режим | Комфортный просмотр в условиях низкой освещенности |
Бесконечная прокрутка холста | Плавно прокручивайте созданные изображения |
Переключение фильтра NSFW | Помогите контролировать видимость контента NSFW. |
Переключение ограждений NSFW | Помогите предотвратить создание вредного контента LLM |
Полностью настраиваемый | Легко настроить все параметры |
Быстрая загрузка, отзывчивый интерфейс | Наслаждайтесь плавным и отзывчивым пользовательским интерфейсом |
Чистый питон | Никакой зависимости от веб-сервера, реализация на чистом Python. |
Существует несколько способов начать работу с AI Runner, например, в виде пакета, исходного кода или библиотеки.
Подробные инструкции по упаковке и установке можно найти в вики.
Установка
pip install airunner
Бег
airunner
AI Runner устанавливает все модели, необходимые для запуска чат-бота с возможностями преобразования текста в речь и речи в текст, а также основные модели, необходимые для Stable Diffusion. Однако вы должны предоставить свои собственные модели художественных генераторов.
Вы можете загрузить модели с сайтов Huggingface.co или civitai.com.
Поддерживаемые модели стабильной диффузии:
Модели должны быть размещены в соответствующих каталогах в каталоге airunner
.
~/.local/share/airunner
├── art
│ ├── models
│ │ ├── SD 1.5
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ ├── SDXL 1.0
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ └── SDXL Turbo
│ │ ├── lora
│ │ └── embeddings
Запустите все модульные тесты
python -m unittest discover -s src/airunner/tests
Запустите отдельные модульные тесты python -m unittest src/airunner/tests/<file_name>
Пример
python -m unittest src/airunner/tests/test_prompt_weight_convert.py
Хотя AI Runner v3.0 создан на основе библиотек Huggingface, мы позаботились о том, чтобы исключить из приложения любые функции телеметрии или отслеживания.
Только мастеру установки требуется доступ к Интернету для загрузки необходимых моделей.
Для получения дополнительной информации см. библиотеки Darklock и Facehuggershield.
Доступ на запись для библиотеки преобразователей отключен, что не позволяет ей создавать каталог кэша HuggingFace во время выполнения.
Само приложение по-прежнему может получать доступ к диску для чтения и записи, однако мы ограничили чтение и запись в предоставленный пользователем каталог airunner
(по умолчанию он находится в ~/.local/share/airunner
).
Все остальные попытки доступа к диску блокируются и сохраняются на ваше рассмотрение.
Для получения дополнительной информации см. src/security/restrict_os_access.py
.
Huggingface Hub содержит функции телеметрии и отслеживания, которые были полностью отключены в AI Runner.
Меры безопасности, принятые для этой библиотеки, следующие:
См. Facehuggershield для получения дополнительной информации.