StoryMaker
1.0.0
صانع القصة هو حل التخصيص لا يحافظ فقط على اتساق الوجوه ولكن أيضًا على الملابس وتسريحات الشعر والأجسام في مشهد الشخصيات المتعددة ، مما يتيح القدرة على صنع قصة تتكون من سلسلة من الصور.
تصور الصور التي تم إنشاؤها بواسطة صانع القصص. تروي الصفوف الثلاثة الأولى قصة عن يوم في حياة "عامل المكتب" ، ويحكي الصفان الأخيران قصة عن فيلم "قبل شروق الشمس".
[2024/11/09] نقوم بإصدار رمز التدريب.
[2024/09/20] ننشر التقرير الفني.
[2024/09/02] نطلق الأوزان النموذجية.
يمكنك تنزيل النموذج مباشرة من Huggingface.
إذا لم تتمكن من الوصول إلى Huggingface ، فيمكنك استخدام HF-Mirror لتنزيل النماذج.
تصدير hf_endpoint = https: //hf-mirror.comhuggingface-cli download-download-download red-aigc/storymaker-local-dir chockts-local-dir-use-symlinks false
بالنسبة إلى Encoder للوجه ، تحتاج إلى التنزيل يدويًا عبر عنوان URL هذا إلى models/buffalo_l لأن الرابط الافتراضي غير صالح. بمجرد إعداد جميع النماذج ، يجب أن تكون شجرة المجلد مثل:
. ├── models ├── checkpoints/mask.bin ├── pipeline_sdxl_storymaker.py └── README.md
#! PIP تثبيت Opencv-Python Transformers reclerate InsightImport DiffuserSimport cv2import torcheimport as npfrom pil importfrom insightface eanalysis (name = 'buffalo_l' ، root = './' ، مقدمي الخدمات = ['cudaexecutionprovider' ، 'cpuexecutionprovider']) app.prepare (ctx_id = 0 ، det_size = (640 ، 640)) "image_encoder_path = 'laion/clip-vit-h-14-laion2b-s32b-b79k' # from https://huggingface.co/laion/clip-vit-h-14-laion2b-s32b-b79kbase_model = 'huaqan/yamermix_v11 ' # من https://huggingface.co/huaquan/yamermix_v11pipe = stablediffusionxlstorymakerpipeline.from_pretrained (base_model ، torch_dtype = torch.float16) pipe.cuda () # load A_SCALE = 0.8) pipe.scheduler = unipcmultistepscheduler.from_config (pipe.scheduler.config)
ثم ، يمكنك تخصيص صورك الخاصة
# قم بتحميل صورة و maskface_image = image.open ("أمثلة/ldh.png").
face_info = app.get (cv2.cvtcolor (np.array (face_image) ، cv2.color_rgb2bgr)) face_info = sorted (face_info ، key = lambda x: (x ['bbox'] [2] -x ['bbox'] [0])*(x ['bbox'] [3] -x ['bbox'] [1])) [-1] # فقط استخدم maximum faceprompt = "شخص يأخذ صورة شخصية ، الشخص يرتدي توجد قبعة حمراء ، وبركان على مسافة "n_prompt =" جودة سيئة ، NSFW ، جودة منخفضة ، قبيحة ، مشوهة ، مشوهة "= torch.generator (device = 'cuda'). manual_seed (666) for i in range (4): الإخراج = الأنابيب (صورة = face_image ، mask_image = mask_image ، face_info = face_info ، proper = proper ، segent_prompt = n_prompt ، ip_adapter_scale = 0.8 ، lora_scale = 0.8 ، num_inference_steps = 25 ، guidance_scale = 7.5 ، 960 ، مولد = مولد ،
.عملنا مستوحى للغاية من IP-Adapter و InstantId. شكرا لأعمالهم العظيمة!
شكرًا Yamer على تطوير Yamermix ، نستخدمه كنموذج أساسي في العرض التجريبي الخاص بنا.
