محرر مجاني

شفرة المصدر الأخرى

1.0.0

تنزيل

هذا الريبو قيد الإنشاء! شكرا على الصبر. ينبغي أن يكتمل بحلول 30 نوفمبر 2024

محرر مجاني: تحرير مشهد ثلاثي الأبعاد يعتمد على النص بدون لقطة

إذا أعجبك مشروعنا، يرجى إعطائنا نجمة على GitHub للحصول على آخر التحديثات.

صفحة المشروع | ورق

؟ أبرز

يتيح لك Free-Editor تحرير المشاهد ثلاثية الأبعاد عن طريق تحرير عرض واحد فقط لذلك المشهد. التحرير بدون تدريب ويمكن إجراؤه في غضون 3 دقائق! بدلا من 70 دقيقة! في سوتا.

بدون تدريب، عرض متسق، عالي الجودة، وسريع

الانتشار المستقر (SD) لتوليد الصور --> جودة عالية
تحرير عرض فردي -> فرصة أكبر للتحرير المتسق للعرض لأنه من الصعب الحصول على تأثيرات تحرير متسقة في طرق عرض متعددة باستخدام SD
عملية التحرير خالية من التدريب لأننا نستخدم نموذج NeRF المعمم -> إعادة بناء محتوى ثلاثي الأبعاد سريع وعالي الجودة.

التحديثات

مرحبا بكم في المشاهدة ؟ هذا المستودع لآخر التحديثات.

✅ [2023.12.21] : لقد أصدرنا ورقتنا، المحرر المجاني على arXiv.

✅ [2023.12.18] : إصدار صفحة المشروع.

الافراج عن التعليمات البرمجية.

المنهجية

نظرة عامة على طريقتنا المقترحة. نحن ندرب NeRF (G(.)) المعمم الذي يأخذ عرضًا أوليًا محررًا وطرق عرض مصدر M لتقديم عرض مستهدف جديد. هنا، "عرض الهدف المعدل" ليس مدخلاً للنموذج، بل سيتم تقديمه ويعمل كحقيقة أساسية للتنبؤ بـ G(.). في G(.) نستخدم محول تحرير خاص يستخدم: الانتباه المتبادل لإنتاج خرائط ميزات مصدر مستنيرة بالأسلوب والتي سيتم تجميعها من خلال محول Epipolar. عند الاستدلال، يمكننا تجميع طرق عرض جديدة معدلة بطريقة صفرية. لتحرير مشهد ما، نأخذ صورة واحدة فقط كعرض البداية ونقوم بتحريرها باستخدام نموذج نشر نص إلى صورة (T2I). بناءً على طريقة العرض الأولية هذه، يمكننا تقديم طرق عرض مستهدفة جديدة ومعدلة.

تطبيق

خلق البيئة

قم بما يلي-

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

تثبيت التبعيات

إذا كان لديك تثبيت موجود، فتأكد أولاً من إلغاء التثبيت باستخدام هذا الأمر:

      pip uninstall torch torchvision functorch tinycudann

ثم قم بتثبيت CUDA 11.8 باستخدام هذا الأمر:

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

ثم قم بتثبيت Pytorch 2.1.2 باستخدام هذا الأمر:

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

بعد pytorch وninja، قم بتثبيت روابط الشعلة لـ tiny-cuda-nn:

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

تثبيت NerfStudio: في بعض الأحيان، قد تواجه مشكلة مع configobj أو الحزم الأخرى، قم بتثبيتها يدويًا من المصدر. على سبيل المثال،

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

من النقطة (لا تعمل في المجموعة):

      pip install nerfstudio

إذا كنت تريد البناء من المصدر وتريد أحدث إصدار تطوير، فاستخدم هذا الأمر:

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

تنزيل بعض بيانات الاختبار:

      ns-download-data nerfstudio --capture-name=poster

نموذج القطار

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

ربما تكون هناك تبعيات إضافية يتعين عليك تثبيتها أيضًا.

قم بتنزيل مجموعات البيانات والنماذج المدربة مسبقًا

لتنزيل مجموعات بيانات أخرى، يرجى زيارة هذا الرابط - https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

هنا، "synthetic_scenes.zip" هي بيانات Deepvoxels.
من المحتمل أن تكون مجموعة بيانات "nerf_synthetic" وblender هي نفس مجموعة البيانات.
"frames.zip" هي الإطارات المستخرجة لـ 200 مشهد من مجموعة بيانات RealEstate10K. "train.zip" هو ملفات الكاميرا.
للحصول على Shiny Dataset، انتقل إلى - https://nex-mpi.github.io/
بالنسبة لمجموعة بيانات المساحات،

      git clone https://github.com/augmentedperception/spaces_dataset

إذا كنت تريد استخدام "nerfbaselines"،

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

تنزيل مجموعات البيانات النموذجية. على سبيل المثال،
قم بتنزيل مشهد الحديقة إلى مجلد ذاكرة التخزين المؤقت.

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

تنزيل جميع مشاهد nerfstudio إلى ذاكرة التخزين المؤقت

      nerfbaselines download-dataset external://nerfstudio

تنزيل مشهد المطبخ إلى مجلد المطبخ

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

نموذج إنشاء التسمية التوضيحية.

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

إذا كنت تريد استخدام نسخة أصغر، استخدم هذا

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

انتشار مستقر 3 متوسط (سريع ودقيق). ومع ذلك، فهو لا يدعم تحرير النص إلى صورة حتى الآن. لذلك، نستخدم الإصدار 1.5 الذي يمكن تنزيله تلقائيًا (راجع الخطوة التالية).

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

إذا كنت لا ترغب في تنزيل النموذج الذي تم تدريبه مسبقًا، فقم بإنشاء رمز وصول مميز (انتقل إلى إعدادات حسابك) وقم بتسجيل الدخول إلى حسابك

      huggingface-cli login

إنشاء مجموعة بيانات محرر مجاني

      python src/fedit/dataset_creation.py

تدريب المحرر المجاني

      python train.py

نتائج التحرير ثلاثي الأبعاد

المقارنة النوعية

المقارنة الكمية

التقييم الكمي لتحريرات المشهد من حيث تحرير PSNR، وتشابه اتجاه النص والصورة CLIP (CTDS) والاتساق الاتجاهي CLIP (CDS).

؟ شكر وتقدير

يعتمد هذا العمل على العديد من الأعمال البحثية المذهلة والمشاريع مفتوحة المصدر، شكرًا جزيلاً لجميع المؤلفين على المشاركة!

InstructPix2Pix
تعليمات-NeRF2NeRF
الناشرون

✏️ الاقتباس

إذا وجدت ورقتنا ورمزنا مفيدًا في بحثك، فيرجى التفكير في إعطاء نجمة واستشهاد.

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}