ComfyUI Anyline

Anyline

Ein schneller, genauer und detaillierter Präprozessor zur Linienerkennung

Anyline ist ein ControlNet-Zeilenpräprozessor, der Objektkanten, Bilddetails und Textinhalte aus den meisten Bildern präzise extrahiert. Benutzer können jede Art von Bild eingeben, um schnell Strichzeichnungen mit klaren Kanten, ausreichender Detailerhaltung und Text mit hoher Wiedergabetreue zu erhalten, die dann als Eingabe für die bedingte Generierung in Stable Diffusion verwendet werden.

Technische Details

Das in Anyline verwendete Modell und die Algorithmen basieren auf innovativen Bemühungen, die aus dem Papier „Tiny and Efficient Model for the Edge Detection Generalization (TEED)“ (arXiv:2308.06468) stammen. Auch die TEED-Voreinstellung in ComfyUI stammt aus dieser Arbeit und markiert sie als leistungsstarken visuellen Algorithmus (TEED ist derzeit der Stand der Technik). Weitere Einzelheiten finden Sie im Papier.

Vergleich mit anderen Zeilenextraktions-Präprozessoren

Anyline verwendet eine Verarbeitungsauflösung von 1280 Pixel und daher werden Vergleiche mit dieser Auflösung durchgeführt. Im Vergleich zu anderen häufig verwendeten Linienpräprozessoren bietet Anyline erhebliche Vorteile in Bezug auf Konturgenauigkeit, Objektdetails, Materialtexturen und Schrifterkennung (insbesondere in großen Szenen). Außerdem wird das Rauschen in den meisten Szenen besser reduziert, was zu einer saubereren Bildverarbeitung mit weniger Ungenauigkeiten bei der Generierung führt.

Effektübersicht

Anyline bildet in Kombination mit dem Mistoline ControlNet-Modell einen vollständigen SDXL-Workflow, der die präzise Steuerung maximiert und die generativen Fähigkeiten des SDXL-Modells nutzt. Anyline kann auch in SD1.5-Workflows mit SD1.5s ControlNet verwendet werden, obwohl es im Anyline+MistoLine-Setup innerhalb des SDXL-Workflows im Allgemeinen eine bessere Leistung erbringt.

Hinweis: Das Endergebnis hängt stark vom verwendeten Basismodell ab. Bitte wählen Sie entsprechend Ihren Bedürfnissen das passende Basismodell aus.

Video-Tutorial

Bald erhältlich!

Installation

Um Anyline als ComfyUI-Plugin verwenden zu können, müssen Sie zuerst COMFYUI_CONTROLNET_AUX installieren! Sie können den Anweisungen hier folgen: https://github.com/Fannovel16/comfyui_controlnet_aux?tab=readme-ov-file#installation

Sobald Sie „comfortui_controlnet_aux“ installiert haben, führen Sie die folgenden Schritte aus:

1. Öffnen Sie Ihre IDE- und ComfyUI-Befehlszeile und stellen Sie sicher, dass die Python-Umgebungen übereinstimmen.
2. Navigieren Sie zum Verzeichnis der benutzerdefinierten Knoten:

    cd custom_nodes
   

3. Klonen Sie das Repository oder laden Sie dieses Repository manuell herunter und legen Sie es im Verzeichnis ComfyUI/custom_nodes ab:

    git clone https://github.com/TheMistoAI/ComfyUI-Anyline.git
   

4. Navigieren Sie zum geklonten Verzeichnis:

    cd ComfyUI-Anyline
   

5. Abhängigkeiten installieren:

    pip install -r requirements.txt
   

6. Das Modell wird bei der ersten Verwendung automatisch heruntergeladen. Wenn dies fehlschlägt, laden Sie es manuell von HuggingFace Repo herunter und platzieren Sie die .pth Datei im angegebenen Verzeichnis.

ComfyUI-Workflow

Nach der Installation kann in ComfyUI per Suche oder Rechtsklick auf den Anyline-Präprozessor zugegriffen werden. Der Standard-Workflow mit Anyline+Mistoline in SDXL ist wie folgt

Sie können diesen Workflow-JSON hier herunterladen: ComfyUI Workflow

Verwendung im A1111 sd-webui-controlnet

Befolgen Sie die Anweisungen in Mikubill/sd-webui-controlnet#2907.

Einschränkungen und zukünftige Entwicklung

• Anyline kann bei Bildern, die kameraähnliche Unschärfen oder Weichzeichnungen aufweisen, auf Schwierigkeiten stoßen und erfordert möglicherweise Iterationen basierend auf dem Feedback der Community.
• Wir planen außerdem, den Autor von ComfyUI oder den Entwickler von ComfyUI-Controlnet zu kontaktieren, um Anyline für eine einfachere zukünftige Verwendung in ComfyUI zu integrieren.

中国（大陆地区）便捷下载地址 (MTEED.pth):

Quelle: https://pan.baidu.com/s/1ik11P_u1vK8mI4q33v0MTQ?pwd=v8f1
Versionsnummer: v8f1

Zitat

 @InProceedings { Soria_2023teed ,
    author    = { Soria, Xavier and Li, Yachuan and Rouhani, Mohammad and Sappa, Angel D. } ,
    title     = { Tiny and Efficient Model for the Edge Detection Generalization } ,
    booktitle = { Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops } ,
    month     = { October } ,
    year      = { 2023 } ,
    pages     = { 1364-1373 }
}