IOPaint

IOPaint

Ein kostenloses und quelloffenes Inpainting- und Outpainting-Tool, das auf dem SOTA AI-Modell basiert.

Löschen (LaMa)	Objekt ersetzen (PowerPaint)
IOPaint-erase-markdown.mp4	iopaint-inpaint-markdown.mp4

Text zeichnen (AnyText)	Ausmalen (PowerPaint)
AnyText-markdown.mp4	outpainting.mp4

Merkmale

• Völlig kostenlos und Open Source, vollständig selbst gehostet, unterstützt CPU, GPU und Apple Silicon

• Windows 1-Klick-Installationsprogramm

• OptiClean: macOS- und iOS-App zum Löschen von Objekten

• Unterstützt verschiedene KI-Modelle zum Ausführen von Lösch-, Inpainting- oder Outpainting-Aufgaben.

• runwayml/stable-diffusion-inpainting

• diffusers/stable-diffusion-xl-1.0-inpainting-0.1

• andregn/Realistic_Vision_V3.0-inpainting

• Lykon/Dreamshaper-8-inpainting

• Sanster/anything-4.0-inpainting

• BrushNet

• PowerPaintV2

• Sanster/AnyText

• Fantasy-Studio/Malen nach Beispiel

• Modelle löschen: Mit diesen Modellen können unerwünschte Objekte, Defekte, Wasserzeichen und Personen aus Bildern entfernt werden.

• Diffusionsmodelle: Diese Modelle können zum Ersetzen von Objekten oder zum Durchmalen verwendet werden. Zu den beliebten Gebrauchtmodellen gehören:

• Plugins:

• Alles segmentieren: Präzise und schnelle interaktive Objektsegmentierung

• RemoveBG: Bildhintergrund entfernen oder Masken für Vordergrundobjekte erstellen

• Anime-Segmentierung: Ähnlich wie RemoveBG ist das Modell speziell für Anime-Bilder trainiert.

• RealESRGAN: Superauflösung

• GFPGAN: Gesichtswiederherstellung

• RestoreFormer: Gesichtswiederherstellung

• Dateimanager: Durchsuchen Sie Ihre Bilder bequem und speichern Sie sie direkt im Ausgabeverzeichnis.

Schnellstart

Webui starten

IOPaint bietet eine praktische Web-Benutzeroberfläche für die Verwendung der neuesten KI-Modelle zum Bearbeiten Ihrer Bilder. Sie können IOPaint einfach installieren und starten, indem Sie den folgenden Befehl ausführen:

 # Um die GPU zu verwenden, installieren Sie zuerst die Cuda-Version von Pytorch.# pip3 install Torch==2.1.2 Torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118# AMD GPU Benutzer verwenden bitte den folgenden Befehl. Funktioniert nur unter Linux, da Pytorch unter Windows mit ROCm noch nicht unterstützt wird.# pip3 install Torch==2.1.2 Torchvision==0.16.2 --index-url https://download.pytorch.org/whl/rocm5.6pip3 iopaint installieren
iopaint start --model=lama --device=cpu --port=8080

Das war's, Sie können IOPaint verwenden, indem Sie http://localhost:8080 in Ihrem Webbrowser aufrufen.

Alle Modelle werden beim Start automatisch heruntergeladen. Wenn Sie das Download-Verzeichnis ändern möchten, können Sie --model-dir hinzufügen. Weitere Dokumentation finden Sie hier

Weitere unterstützte Modelle finden Sie hier und Informationen zur Verwendung der lokalen SD-Cckpt/Safetensors-Datei finden Sie hier.

Plugins

Sie können angeben, welche Plugins beim Starten des Dienstes verwendet werden sollen, und Sie können die Befehle zum Aktivieren von Plugins anzeigen, indem Sie iopaint start --help verwenden.

Weitere Demonstrationen des Plugins finden Sie hier

 iopaint start --enable-interactive-seg --interactive-seg-device=cuda

Stapelverarbeitung

Sie können IOPaint auch in der Befehlszeile verwenden, um Bilder stapelweise zu verarbeiten:

 iopaint führt --model=lama --device=cpu aus
 --image=/path/to/image_folder
 --mask=/path/to/mask_folder
 --output=Ausgabeverzeichnis

--image ist der Ordner mit Eingabebildern, --mask ist der Ordner mit entsprechenden Maskenbildern. Wenn --mask ein Pfad zu einer Maskendatei ist, werden alle Bilder mit dieser Maske verarbeitet.

Weitere Informationen zu den verfügbaren Modellen und Plugins, die von IOPaint unterstützt werden, finden Sie unten.

Entwicklung

Installieren Sie nodejs und dann die Frontend-Abhängigkeiten.

 Git-Klon https://github.com/Sanster/IOPaint.gitcd IOPaint/web_app
npm installieren
npm run build
cp -r dist/ ../iopaint/web_app

Erstellen Sie eine .env.local Datei in web_app und geben Sie die Backend-IP und den Port ein.

VITE_BACKEND=http://127.0.0.1:8080

Starten Sie die Front-End-Entwicklungsumgebung

 npm run dev

Installieren Sie die Back-End-Anforderungen und starten Sie den Backend-Dienst

 pip install -r Anforderungen.txt
python3 main.py start --model lama --port 8080

Dann können Sie http://localhost:5173/ zur Entwicklung besuchen. Der Frontend-Code wird nach der Änderung automatisch aktualisiert, aber das Backend muss den Dienst nach der Änderung des Python-Codes neu starten.