Das Forschungsteam des Beijing Institute of Artificial Intelligence hat ein neues Bilderzeugungsmodell OmniGen veröffentlicht, das die Einzelfunktionsbeschränkung herkömmlicher Bilderzeugungswerkzeuge aufhebt. Im Gegensatz zu Modellen wie Stable Diffusion integriert OmniGen mehrere Funktionen wie Text-zu-Bild-Generierung und Bildbearbeitung in einem einheitlichen Framework und ist damit ein „Allrounder“. Der Herausgeber von Downcodes wird die Leistungsfähigkeit von OmniGen und seine Anwendungsaussichten ausführlich erläutern.
Vor Kurzem hat das Forschungsteam des Beijing Institute of Artificial Intelligence ein neues Bilderzeugungsmodell namens OmniGen auf den Markt gebracht.
Allround-Player zur Bilderzeugung und -bearbeitung
Im Vergleich zu früheren Bilderzeugungstools wie Stable Diffusion besteht der größte Vorteil von OmniGen darin, dass es sich nicht mehr nur auf eine einzelne Aufgabe konzentriert, sondern über mehrere Funktionen verfügt:
Es kann eine Vielzahl von Bildgenerierungsaufgaben in einem einheitlichen Rahmen bewältigen: von Text über Bildgenerierung bis hin zur Bildbearbeitung. Es kann als Allrounder bezeichnet werden.
Dies bedeutet, dass Benutzer nur einfache Eingabeaufforderungswörter eingeben müssen, um die Bilderzeugung und Feinbearbeitung zu steuern, und keine Plug-Ins wie ControlNet und IP-Adapter mehr verwenden müssen, um die Bilddetails anzupassen!
Hier basiert AIbase darauf, ein detailliertes Effekt-Eingabewort für kreative Fotografie mit einer altmodischen Kamera zu geben. Der erzeugte Gesamteffekt ist voller Details und der Effekt ist wie folgt:
In mehreren Tests hat OmniGen eine beeindruckende Leistung erbracht und liegt auf Augenhöhe mit den fortschrittlichsten Modellen auf dem Markt für die Text-zu-Bild-Generierung. Beim GenEval-Benchmark verwendete OmniGen nur 0,1 Milliarden Bilder für das Training, während SD3 über 1 Milliarde Bilder verwendete.
Ebenso hervorragend sind die Bildbearbeitungsfunktionen, mit der Möglichkeit, Quellbilder und Bearbeitungsanweisungen genau zu steuern. Beispielsweise übertrifft es beim EMU-Edit-Testset bekannte Modelle wie InstructPix2Pix und ist sogar mit dem aktuellen, hochmodernen EMU-Edit-Modell vergleichbar.
Bei der subjektgesteuerten Generierung hat OmniGen außergewöhnliche Personalisierungsfähigkeiten bewiesen und eignet sich für viele Bereiche wie Kunstschaffen und Werbedesign.
Testadresse: https://huggingface.co/spaces/Shitao/OmniGen
Papier: https://arxiv.org/html/2409.11340v1
OmniGen bringt mit seinen leistungsstarken Funktionen und seiner effizienten Leistung neue Durchbrüche im Bereich der Bilderzeugung. Die einfache und benutzerfreundliche Bedienmethode senkt außerdem die Hürde für die Bilderzeugung und stellt mehr Benutzern praktische kreative Werkzeuge zur Verfügung. Es wird erwartet, dass OmniGen in Zukunft breitere Anwendungsmöglichkeiten haben und die Weiterentwicklung der Bilderzeugungstechnologie mit künstlicher Intelligenz vorantreiben wird.