Podman Desktop-Erweiterung AI Lab
v1.3.1
Podman AI Lab ist eine Open-Source-Erweiterung für Podman Desktop zur Arbeit mit LLMs (Large Language Models) in einer lokalen Umgebung. Mit einem Rezeptkatalog mit gängigen KI-Anwendungsfällen, einem kuratierten Satz von Open-Source-Modellen und einem Spielplatz zum Lernen, Prototyping und Experimentieren hilft Ihnen Podman AI Lab dabei, schnell und einfach damit zu beginnen, KI in Ihre Anwendungen zu integrieren, ohne von der darüber hinausgehenden Infrastruktur abhängig zu sein Ihr Laptop sorgt für Datenschutz und Sicherheit.
Podman AI Lab nutzt Podman-Maschinen, um Inferenzserver für LLM-Modelle und KI-Anwendungen auszuführen. Die KI-Modelle können heruntergeladen werden und gängige Formate wie GGUF, Pytorch oder Tensorflow werden unterstützt.
Podman AI Lab bietet eine kuratierte Liste von Open-Source-KI-Modellen und LLMs. Nach dem Herunterladen stehen die Modelle zur Verwendung für KI-Anwendungen, Modelldienste und Spielplätze zur Verfügung.
Sobald ein Modell heruntergeladen ist, kann ein Modelldienst gestartet werden. Ein Modelldienst ist ein Inferenzserver, der in einem Container ausgeführt wird und das Modell über die bekannte Chat-API offenlegt, die bei vielen Anbietern üblich ist.
Die integrierten Playground-Umgebungen ermöglichen das Experimentieren mit verfügbaren Modellen in einer lokalen Umgebung. Eine intuitive Benutzerführung hilft dabei, die Fähigkeiten und Genauigkeit verschiedener Modelle zu erkunden und das beste Modell für den jeweiligen Anwendungsfall zu finden. Die Playground-Schnittstelle ermöglicht außerdem die Parametrisierung von Modellen, um die Einstellungen und Attribute jedes Modells weiter zu optimieren.
Sobald ein KI-Modell über einen bekannten Endpunkt verfügbar ist, kann man sich leicht eine neue Welt von Anwendungen vorstellen, die das KI-Modell verbinden und nutzen. Podman AI Lab unterstützt KI-Anwendungen als eine Reihe miteinander verbundener Container.
Podman AI Lab wird mit einem sogenannten Rezeptkatalog geliefert, der Sie bei der Navigation durch eine Reihe zentraler KI-Anwendungsfälle und Problembereiche wie Chat Bots, Codegeneratoren und Textzusammenfassungsprogramme unterstützt. Zu jedem Rezept gehören ausführliche Erläuterungen und Beispielanwendungen, die mit verschiedenen großen Sprachmodellen (LLMs) ausgeführt werden können. Durch das Experimentieren mit mehreren Modellen können Sie das optimale Modell für Ihren Anwendungsfall finden.
Betriebssystem:
Kompatibel unter Windows, macOS und Linux
Software:
Hardware
Die KI-Modelle von LLM verbrauchen große Ressourcen sowohl in Bezug auf Speicher als auch CPU. Jedes der bereitgestellten Modelle verbraucht etwa 4 GB Speicher und erfordert zum Betrieb mindestens 4 CPUs.
Wir empfehlen daher mindestens 12 GB Arbeitsspeicher und mindestens 4 CPUs für die Podman-Maschine.
Als weitere empfohlene Vorgehensweise sollten Sie nicht mehr als drei Modelle gleichzeitig ausführen.
Bitte beachten Sie, dass dies für WSL unter Windows nicht relevant ist, da die WSL-Technologie den Speicher und die CPU mit dem Host-Desktop verbindet.
Sie können die Podman AI Lab-Erweiterung direkt in Podman Desktop installieren.
Gehen Sie zu Erweiterungen > Katalog > Podman AI Lab installieren.
Um eine Entwicklungsversion zu installieren, verwenden Sie die Aktion Install custom... wie in der Aufzeichnung unten gezeigt.
Der Name des zu verwendenden Bildes lautet ghcr.io/containers/podman-desktop-extension-ai-lab . Freigegebene Tags für das Bild erhalten Sie unter https://github.com/containers/podman-desktop-extension-ai-lab/pkgs/container/podman-desktop-extension-ai-lab.
Wählen wir ein Modell aus dem Katalog aus und laden es lokal auf unseren Arbeitsplatz herunter.
Sobald ein Modell lokal verfügbar ist, starten wir einen Inferenzserver
Möchten Sie bei der Entwicklung des Podman AI Lab mithelfen und dazu beitragen?
Sie können pnpm watch --extension-folder aus dem Podman Desktop-Verzeichnis verwenden, um die AI Lab-Erweiterung automatisch neu zu erstellen und zu testen:
Hinweis : Stellen Sie sicher, dass die entsprechenden Voraussetzungen installiert sind.
git clone https://github.com/containers/podman-desktop
git clone https://github.com/containers/podman-desktop-extension-ai-lab
cd podman-desktop-extension-ai-lab
corepack enable pnpm
pnpm install
pnpm build
cd ../podman-desktop
pnpm watch --extension-folder ../podman-desktop-extension-ai-lab/packages/backendWenn Sie das Frontend-Paket live bearbeiten, im Ordner „packages/frontend“:
$ pnpm watch
Wir werden eine Möglichkeit hinzufügen, einem Benutzer die Bereinigung seiner Umgebung zu ermöglichen: siehe Problem Nr. 469. Bitte erwägen Sie vorerst die folgenden Maßnahmen:
$HOME/podman-desktop/ai-labDie Erweiterung bietet standardmäßig eine kuratierte Liste von Rezepten, Modellen und Kategorien. Dieses System ist jedoch erweiterbar und Sie können Ihr eigenes System definieren.
Um den vorhandenen Katalog zu erweitern, können Sie eine Datei erstellen, die sich im Erweiterungsspeicherordner $HOME/.local/share/containers/podman-desktop/extensions-storage/redhat.ai-lab/user-catalog.json befindet.
Es muss demselben Format wie der Standardkatalog in den Quellen der Erweiterung folgen.
Das Standardverhalten besteht darin, die Elemente des Benutzerkatalogs an den Standardkatalog anzuhängen.
️ Jedes Element (Rezepte, Modelle oder Kategorien) hat eine eindeutige ID. Wenn ein Konflikt zwischen dem Standardkatalog und dem Benutzerkatalog festgestellt wird, überschreiben die Elemente des Benutzers die Standardeinstellungen.
Beispielanwendungen können dem Katalog hinzugefügt werden. Detaillierte Informationen finden Sie im Verpackungsleitfaden.
Die Roadmap ist immer offen und wir freuen uns über Ihr Feedback. Bitte erstellen Sie neue Themen und stimmen Sie den Themen zu, die Ihnen am wichtigsten erscheinen.
Wir werden an folgenden Punkten arbeiten:
Mit diesem Formular können Sie Ihr Feedback zur Erweiterung abgeben oder ein Problem in diesem Repository erstellen.
