StoryMaker
1.0.0
StoryMaker ist eine Personalisierungslösung, die nicht nur die Konsistenz von Gesichtern, sondern auch Kleidung, Frisuren und Körper in der mehreren Charakterszene bewahrt und das Potenzial ermöglicht, eine Geschichte aus einer Reihe von Bildern zu erstellen.
Visualisierung generierter Bilder durch Handlungsmacher. Die ersten drei Reihen erzählen eine Geschichte über einen Tag im Leben eines "Büroangestellten" und die letzten beiden Reihen erzählen eine Geschichte über einen Film von "vor Sonnenaufgang".
[2024/11/09] Wir veröffentlichen den Trainingscode.
[2024/09/20] Wir veröffentlichen den technischen Bericht.
[2024/09/02] Wir geben die Modellgewichte los.
Sie können das Modell direkt von Suggingface herunterladen.
Wenn Sie nicht auf das Umarmungen zugreifen können, können Sie HF-Mirror verwenden, um Modelle herunterzuladen.
exportieren hf_endpoint = https: //hf-mirror.comhuggingface-cli download-resume-download red-aigc/storymaker ---local-dir-Checkpoints-Local-Dir-Use-Symlinks false
Für Face Encoder müssen Sie über diese URL auf models/buffalo_l manuell herunterladen, da der Standard -Link ungültig ist. Sobald Sie alle Modelle vorbereitet haben, sollte der Ordnerbaum wie:
. ├── models ├── checkpoints/mask.bin ├── pipeline_sdxl_storymaker.py └── README.md
#! PIP Installation OpenCV-Python-Transformatoren beschleunigen InsightfaceImport Diffussersimport Cv2import alysis (name = 'buffalo_l', root = './', Providers = ['cudaexecutionProvider', 'cpuexecutionProvider']) app.prepare (ctx_id = 0, dET_SIZE = (640, 640))# Vorbereitungsmodelle unter ./checkpointsface_adapter = f './ Checkpoints/mask.bin 'Image_encoder_path =' Laion/Clip-Vit-H-14-Laion2B-S32B-B79K ' # von https://huggingface.co/laion/clip-vit-h-14-laion2b-s32b-b79kbase_model =' huaquan/yamerm.v11_v11 ' # von https://huggingface.co/huaquan/YAMERMIX_V11PIPE = STIFFTEFUSIONXLSTORYMAKERPIPIPELE _Scale = 0,8) Pipe.Scheduler = unipcmultistepscheduler.from_config (pipe.scheduler.config)
Dann können Sie Ihre eigenen Bilder anpassen
# laden Sie ein Bild und maskface_image = image.open ("Beispiele/ldh.png"). Convert ('rgb') mask_image = image.open ("Beispiele/ldh_mask.png"). Convert ('RGB')
face_info = app.get (cv2.cvtcolor (np.Array (face_image), cv2.color_rgb2bgr) face_info = sortiert (face_info, key = lambda x: (x ['bbox'] [2] -x ['bbox'] [0])*(x ['Bbox'] [3] -x ['bbox'] [1]) [-1] # Verwenden Ein roter Hut und ein Vulkan befindet . 960, Generator = Generator,
) .images [0] output.save (f'examples/resulting/ldh666_new_ {i} .jpg '))Unsere Arbeit ist stark von IP-Adapter und Instantid inspiriert. Danke für ihre großartigen Werke!
Vielen Dank, Yamer für die Entwicklung von Yamermix, wir verwenden es als Basismodell in unserer Demo.
