Extension de bureau Podman, laboratoire ai
v1.3.1
Podman AI Lab est une extension open source pour Podman Desktop permettant de fonctionner avec des LLM (Large Language Models) dans un environnement local. Doté d'un catalogue de recettes avec des cas d'utilisation courants de l'IA, d'un ensemble organisé de modèles open source et d'un terrain de jeu pour l'apprentissage, le prototypage et l'expérimentation, Podman AI Lab vous aide à commencer rapidement et facilement à intégrer l'IA dans vos applications, sans dépendre d'une infrastructure au-delà. votre ordinateur portable assurant la confidentialité et la sécurité des données.
Podman AI Lab utilise des machines Podman pour exécuter des serveurs d'inférence pour les modèles LLM et les applications d'IA. Les modèles d'IA peuvent être téléchargés et les formats courants tels que GGUF, Pytorch ou Tensorflow sont pris en charge.
Podman AI Lab fournit une liste organisée de modèles d'IA et de LLM open source. Une fois téléchargés, les modèles peuvent être utilisés pour les applications d'IA, les services de modèles et les terrains de jeux.
Une fois un modèle téléchargé, un service de modèles peut être démarré. Un service de modèle est un serveur d'inférence qui s'exécute dans un conteneur et expose le modèle via l'API de chat bien connue et commune à de nombreux fournisseurs.
Les environnements Playground intégrés permettent d'expérimenter les modèles disponibles dans un environnement local. Une invite utilisateur intuitive aide à explorer les capacités et la précision des différents modèles et à trouver le meilleur modèle pour le cas d'utilisation concerné. L'interface Playground permet en outre de paramétrer les modèles pour optimiser davantage les paramètres et les attributs de chaque modèle.
Une fois qu'un modèle d'IA est disponible via un point de terminaison bien connu, il est facile d'imaginer un nouveau monde d'applications qui se connecteront et utiliseront le modèle d'IA. Podman AI Lab prend en charge les applications d'IA sous la forme d'un ensemble de conteneurs connectés entre eux.
Podman AI Lab est livré avec un soi-disant catalogue de recettes qui vous aide à naviguer dans un certain nombre de cas d'utilisation fondamentaux de l'IA et de domaines problématiques tels que les chatbots, les générateurs de code et les résumés de texte. Chaque recette est accompagnée d'explications détaillées et d'exemples d'applications qui peuvent être exécutées avec divers grands modèles de langage (LLM). Expérimenter plusieurs modèles permet de trouver celui qui est optimal pour votre cas d'utilisation.
Système d'exploitation :
Compatible sur Windows, macOS et Linux
Logiciel:
Matériel
Les modèles d’IA LLM sont de gros consommateurs de ressources, tant en termes de mémoire que de CPU. Chacun des modèles fournis consomme environ 4 Go de mémoire et nécessite au moins 4 processeurs pour fonctionner.
Nous recommandons donc un minimum de 12 Go de mémoire et au moins 4 processeurs pour la machine Podman.
Comme pratique recommandée supplémentaire, n’exécutez pas plus de 3 modèles simultanés simultanément.
Veuillez noter que cela n'est pas pertinent pour WSL sous Windows car la technologie WSL gère la mémoire et le processeur avec le bureau hôte.
Vous pouvez installer l'extension Podman AI Lab directement dans Podman Desktop.
Accédez à Extensions > Catalogue > Installer Podman AI Lab.
Pour installer une version de développement, utilisez l'action Install custom... comme indiqué dans l'enregistrement ci-dessous.
Le nom de l'image à utiliser est ghcr.io/containers/podman-desktop-extension-ai-lab . Vous pouvez obtenir des balises publiées pour l'image sur https://github.com/containers/podman-desktop-extension-ai-lab/pkgs/container/podman-desktop-extension-ai-lab.
Sélectionnons un modèle dans le catalogue et téléchargeons-le localement sur notre poste de travail.
Une fois qu'un modèle est disponible localement, démarrons un serveur d'inférence
Vous souhaitez aider à développer et contribuer à Podman AI Lab ?
Vous pouvez utiliser pnpm watch --extension-folder depuis le répertoire Podman Desktop pour reconstruire et tester automatiquement l'extension AI Lab :
Remarque : assurez-vous d'avoir installé les pré-requis appropriés.
git clone https://github.com/containers/podman-desktop
git clone https://github.com/containers/podman-desktop-extension-ai-lab
cd podman-desktop-extension-ai-lab
corepack enable pnpm
pnpm install
pnpm build
cd ../podman-desktop
pnpm watch --extension-folder ../podman-desktop-extension-ai-lab/packages/backendSi vous modifiez en direct le package frontend, à partir du dossier packages/frontend :
$ pnpm watch
Nous allons ajouter un moyen de permettre à un utilisateur de nettoyer son environnement : voir le numéro 469. Pour le moment, veuillez envisager les actions suivantes :
$HOME/podman-desktop/ai-labL'extension fournit par défaut une liste organisée de recettes, de modèles et de catégories. Cependant, ce système est extensible et vous pouvez définir le vôtre.
Pour améliorer le catalogue existant, vous pouvez créer un fichier situé dans le dossier de stockage d'extension $HOME/.local/share/containers/podman-desktop/extensions-storage/redhat.ai-lab/user-catalog.json .
Il doit suivre le même format que le catalogue par défaut dans les sources de l'extension.
Le comportement par défaut consiste à ajouter les éléments du catalogue de l'utilisateur à celui par défaut.
️ Chaque élément (recettes, modèles ou catégories) a un identifiant unique, lorsqu'un conflit entre le catalogue par défaut et celui de l'utilisateur est détecté, les éléments de l'utilisateur écrasent les valeurs par défaut.
Des exemples d’applications peuvent être ajoutés au catalogue. Voir le guide d’emballage pour des informations détaillées.
La feuille de route est toujours ouverte et nous recherchons vos commentaires. Veuillez créer de nouveaux problèmes et voter pour les problèmes qui vous semblent les plus importants.
Nous travaillerons sur les éléments suivants :
Vous pouvez donner votre avis sur l'extension avec ce formulaire ou créer un ticket sur ce référentiel.
