расширение рабочего стола podman ai lab
v1.3.1
Podman AI Lab — это расширение с открытым исходным кодом для Podman Desktop, предназначенное для работы с LLM (большими языковыми моделями) в локальной среде. Благодаря каталогу рецептов с распространенными вариантами использования ИИ, специально подобранному набору моделей с открытым исходным кодом и игровой площадке для обучения, прототипирования и экспериментов, Podman AI Lab поможет вам быстро и легко приступить к внедрению ИИ в ваши приложения, не завися от внешней инфраструктуры. ваш ноутбук, обеспечивая конфиденциальность и безопасность данных.
Podman AI Lab использует машины Podman для запуска серверов вывода для моделей LLM и приложений искусственного интеллекта. Модели искусственного интеллекта можно загрузить, поддерживаются распространенные форматы, такие как GGUF, Pytorch или Tensorflow.
Podman AI Lab предоставляет тщательно подобранный список моделей искусственного интеллекта с открытым исходным кодом и программ LLM. После загрузки модели доступны для использования в приложениях искусственного интеллекта, модельных сервисах и игровых площадках.
После загрузки модели можно запустить службу модели. Служба модели — это сервер вывода, который работает в контейнере и предоставляет модель через известный API чата, общий для многих поставщиков.
Интегрированные среды игровой площадки позволяют экспериментировать с доступными моделями в локальной среде. Интуитивно понятная подсказка пользователю помогает изучить возможности и точность различных моделей, а также помогает найти лучшую модель для конкретного варианта использования. Интерфейс Playground также позволяет параметризовать модели для дальнейшей оптимизации настроек и атрибутов каждой модели.
Как только модель ИИ станет доступна через хорошо известную конечную точку, легко представить новый мир приложений, которые будут подключаться и использовать модель ИИ. Podman AI Lab поддерживает приложения ИИ в виде набора контейнеров, соединенных вместе.
Podman AI Lab поставляется с так называемым каталогом рецептов, который помогает вам ориентироваться в ряде основных вариантов использования ИИ и проблемных областей, таких как чат-боты, генераторы кода и сумматоры текста. Каждый рецепт сопровождается подробными пояснениями и примерами приложений, которые можно запускать с различными моделями больших языков (LLM). Экспериментирование с несколькими моделями позволяет найти оптимальную для вашего случая использования.
ОС:
Совместимость с Windows, macOS и Linux
Программное обеспечение:
Аппаратное обеспечение
Модели LLM AI потребляют много ресурсов как с точки зрения памяти, так и процессора. Каждая из предоставленных моделей потребляет около 4 ГБ памяти и требует для работы как минимум 4 процессора.
Поэтому мы рекомендуем иметь минимум 12 ГБ памяти и как минимум 4 процессора для машины Podman.
В качестве дополнительной рекомендуемой практики не запускайте одновременно более трех моделей.
Обратите внимание, что это не относится к WSL в Windows, поскольку технология WSL объединяет память и процессор с главным рабочим столом.
Вы можете установить расширение Podman AI Lab непосредственно внутри Podman Desktop.
Откройте «Расширения» > «Каталог» > «Установить Podman AI Lab».
Чтобы установить версию для разработки, используйте действие Install custom... как показано в записи ниже.
Имя используемого образа — ghcr.io/containers/podman-desktop-extension-ai-lab . Вы можете получить выпущенные теги для изображения по адресу https://github.com/containers/podman-desktop-extension-ai-lab/pkgs/container/podman-desktop-extension-ai-lab.
Давайте выберем модель из каталога и загрузим ее локально на нашу рабочую станцию.
Как только модель станет доступна локально, давайте запустим сервер вывода.
Хотите помочь в разработке и внести свой вклад в Podman AI Lab?
Вы можете использовать pnpm watch --extension-folder из каталога Podman Desktop, чтобы автоматически перестроить и протестировать расширение AI Lab:
Примечание . Убедитесь, что у вас установлены соответствующие предварительные требования.
git clone https://github.com/containers/podman-desktop
git clone https://github.com/containers/podman-desktop-extension-ai-lab
cd podman-desktop-extension-ai-lab
corepack enable pnpm
pnpm install
pnpm build
cd ../podman-desktop
pnpm watch --extension-folder ../podman-desktop-extension-ai-lab/packages/backendЕсли вы редактируете пакет внешнего интерфейса в реальном времени, из папки packages/frontend:
$ pnpm watch
Мы добавим возможность, позволяющую пользователю очищать свою среду: см. проблему № 469. На данный момент, пожалуйста, рассмотрите следующие действия:
$HOME/podman-desktop/ai-labРасширение по умолчанию предоставляет тщательно подобранный список рецептов, моделей и категорий. Однако эта система является расширяемой, и вы можете определить свою собственную.
Чтобы улучшить существующий каталог, вы можете создать файл, расположенный в папке хранилища расширений $HOME/.local/share/containers/podman-desktop/extensions-storage/redhat.ai-lab/user-catalog.json .
Он должен иметь тот же формат, что и каталог по умолчанию в источниках расширения.
Поведение по умолчанию — добавление элементов каталога пользователя к каталогу по умолчанию.
️ Каждый элемент (рецепты, модели или категории) имеет уникальный идентификатор. При обнаружении конфликта между каталогом по умолчанию и пользовательским каталогом пользовательские элементы перезаписывают значения по умолчанию.
В каталог можно добавить образцы приложений. Подробную информацию смотрите в руководстве по упаковке.
Дорожная карта всегда открыта, и мы ждем ваших отзывов. Пожалуйста, создавайте новые задачи и голосуйте за те проблемы, которые кажутся вам наиболее важными.
Мы будем работать над следующими пунктами:
Вы можете оставить свой отзыв о расширении с помощью этой формы или создать проблему в этом репозитории.
