StoryMaker
1.0.0
故事制作者是一个个性化解决方案，不仅可以保留多个角色场景中的面孔，服装，发型和身体的一致性，从而使潜力能够制作一个由一系列图像组成的故事。
故事创作制作人的图像的可视化。前三行讲述了一个“上班族”生活中一天的故事，最后两行讲述了一部关于“日出前”电影的故事。
[2024/11/09]我们发布了培训代码。
[2024/09/20]我们发布了技术报告。
[2024/09/02]我们释放模型权重。
您可以直接从HuggingFace下载该模型。
如果您无法访问HuggingFace，则可以使用HF-MIRROR下载模型。
导出hf_endpoint = https：//hf-mirror.comhuggingface-cli download-resume-download red-aigc/storymaker - local-dir checkpoints -local-dir checkpoints -local-dir-dir-symlinks false False
对于面部编码器，您需要通过此URL手动下载到models/buffalo_l因为默认链接无效。一旦准备了所有型号，文件夹也应该像：
. ├── models ├── checkpoints/mask.bin ├── pipeline_sdxl_storymaker.py └── README.md
＃！pip安装opencv-python变压器加速洞察力diffuserSimport cv2import torchimport numpy作为np pil inp pil imime imime from Insightface.pper incight from inipcmultistepsepseppellom pipealtemplom pipelle_sdxl_storymaker，分析（name ='buffalo_l'，root = './'，提供者= ['cudaexecutionProvider'，'cpuexecutionProvider']））app.prepare（ctx_id = 0，det_size =（640，640））＃在./checkpointsfaceplointsface_adapter下准备模型'image_encoder_path ='laion/clip-vit-h-14-laion2b-s32b-b79k'＃来自https://huggingface.co/laion/laion/clip-vit-h-14-laion2b-s32b-s32b-b79kbase_model =' '＃来自https://huggingface.co/huaquan/yamermix_v11pipe = stablediffusionxlstorymakerpipeline.from_pretrate（base_model，torch_dtype = torch.float16） A_SCALE = 0.8） pipe.scheduler = unipcmultistepscheduler.from_config（pipe.scheduler.config）
然后，您可以自定义自己的图像
＃加载图像和buskface_image = image.open（“示例/ldh.png”）。convert（'rgb'）mask_image = image.open（“示例/ldh_mask.png”）。convert（'rgb'）
face_info = app.get（cv2.cvtcolor（np.Array（face_image），cv2.color_rgb2bgr））face_info = sorted（face_info，key = lambda x：（x [x [x ['bbox'] [0]）*（x ['bbox'] [3] -x ['bbox'] [1]）[ - 1]＃仅使用最大faceprompt =“一个人正在拍照，该人穿着红色帽子和火山处于远处“ n_prompt =”不良质量，NSFW，低质量，丑陋，毁容，变形，“发电机” = torch.generator（device ='cuda'）。i Manual_seed（666）in range in range in range（666） （4）：输出= pipe（image = face_image，mask_image = mask_image，face_info = face_info，提示，提示=提示，natec_prompt = n_prompt = n_prompt，ip_adapter_scale = 0.8，lora_scale = 0.8 960，Generator = Generator，
）.images [0] output.save（f'examples/result/ldh666_new_ {i} .jpg'）我们的工作受到IP-ADAPTER和INTSANTID的高度启发。感谢他们的伟大作品！
感谢Yamer开发Yamermix，我们将其用作演示中的基础模型。
