Важный
Этот репозиторий устарел и предназначен только для запуска проектов Instill Core до версии v0.12.0-beta
, где версия Instill Model соответствует версии v0.9.0-alpha
в этом устаревшем репозитории. Проверьте последний проект Instill Core в репозитории instill-ai/instill-core.
⚗️Instill Model , или просто Model — неотъемлемый компонент проекта Instill Core. Он служит передовой платформой ModelOps/LLMOps, предоставляющей пользователям возможность беспрепятственно импортировать, обслуживать, настраивать и отслеживать модели машинного обучения (ML) для непрерывной оптимизации.
macOS или Linux . Модель Instill работает на macOS или Linux, но пока не поддерживает Windows.
Docker и Docker Compose — модель Instill использует Docker Compose (в частности, Compose V2
и Compose specification
) для локального запуска всех сервисов. Прежде чем использовать Instill Model, установите последнюю стабильную версию Docker и Docker Compose.
yq
> v4.x
Пожалуйста, следуйте руководству по установке.
(Необязательно) NVIDIA Container Toolkit . Чтобы включить поддержку графического процессора в Instill Model, обратитесь к документации NVIDIA Cloud Native для установки NVIDIA Container Toolkit. Если вы хотите специально выделить графические процессоры для Instill Model, вы можете установить переменную среды NVIDIA_VISIBLE_DEVICES
. Например, NVIDIA_VISIBLE_DEVICES=0,1
заставит triton-server
использовать идентификаторы графического устройства конкретно 0
и 1
. По умолчанию для NVIDIA_VISIBLE_DEVICES
установлено значение all
, чтобы использовать все доступные графические процессоры на компьютере.
Примечание. Получение образа серверной части модели (~2 ГБ) и сервера вывода Triton (~23 ГБ) может занять некоторое время, но это должно быть единоразовой попыткой при первой настройке.
Используйте стабильную версию
Выполните следующие команды, чтобы получить готовые образы со всеми зависимостями для запуска:
$ git clone -b v0.10.0-alpha https://github.com/instill-ai/deprecated-model.git && cd deprecated-model
# Launch all services
$ make all
Вот и все! Как только все службы будут в рабочем состоянии, пользовательский интерфейс будет готов к работе по адресу http://localhost:3000. Учетные данные для входа по умолчанию можно найти в документации.
Чтобы закрыть все работающие службы:
$ make down
Изучите документацию, чтобы узнать обо всех доступных вариантах развертывания.
Мы составляем список готовых к использованию моделей. Эти предварительно обученные модели взяты из разных источников и были обучены и развернуты нашей командой. Хотите представить новую модель? Пожалуйста, создайте проблему, мы будем рады добавить ее в список?.
Модель | Задача | Источники | Рамки | Процессор | графический процессор |
---|---|---|---|---|---|
МобилНет v2 | Классификация изображений | GitHub-DVC | ОННКС | ✅ | ✅ |
Vision Transformer (ВиТ) | Классификация изображений | Обнимающее лицо | ОННКС | ✅ | |
YOLOv4 | Обнаружение объектов | GitHub-DVC | ОННКС | ✅ | ✅ |
YOLOv7 | Обнаружение объектов | GitHub-DVC | ОННКС | ✅ | ✅ |
YOLOv7 W6 Поза | Обнаружение ключевых точек | GitHub-DVC | ОННКС | ✅ | ✅ |
PSNet + EasyOCR | Оптическое распознавание символов (OCR) | GitHub-DVC | ОННКС | ✅ | ✅ |
Маска РЦНН | Сегментация экземпляров | GitHub-DVC | PyTorch | ✅ | ✅ |
Lite R-ASPP на базе MobileNetV3 | Семантическая сегментация | GitHub-DVC | ОННКС | ✅ | ✅ |
Стабильная диффузия | Текст в изображение | GitHub-DVC, локальный процессор, локальный графический процессор | ОННКС | ✅ | ✅ |
Стабильная диффузия XL | Текст в изображение | GitHub-DVC | PyTorch | ✅ | |
Сеть управления — Канни | Изображение к изображению | GitHub-DVC | PyTorch | ✅ | |
Мегатрон GPT2 | Генерация текста | GitHub-DVC | БыстрееТрансформер | ✅ | |
Лама2 | Генерация текста | GitHub-DVC | vLLM, PyTorch | ✅ | ✅ |
Код Ламы | Генерация текста | GitHub-DVC | vLLM | ✅ | |
Лама2 Чат | Чат генерации текста | GitHub-DVC | vLLM | ✅ | |
МозаикаML MPT | Чат генерации текста | GitHub-DVC | vLLM | ✅ | |
Мистраль | Чат генерации текста | GitHub-DVC | vLLM | ✅ | |
Зефир-7б | Чат генерации текста | GitHub-DVC | PyTorch | ✅ | ✅ |
Ллава | Визуальный ответ на вопрос | GitHub-DVC | PyTorch | ✅ |
Примечание. Источник GitHub-DVC
в таблице означает импорт модели в Instill Model из репозитория GitHub, который использует DVC для управления большими файлами.
Информацию о лицензировании смотрите в файле LICENSE.