IC-Light เป็นโปรเจ็กต์เพื่อจัดการความสว่างของภาพ
ชื่อ "IC-Light" ย่อมาจาก "Imposing Consistent Light" (เราจะอธิบายสั้นๆ ไว้ท้ายหน้านี้)
ในปัจจุบัน เราเปิดตัวโมเดลสองประเภท: โมเดลปรับแสงแบบมีเงื่อนไขข้อความ และโมเดลปรับสภาพพื้นหลัง ทั้งสองประเภทใช้ภาพเบื้องหน้าเป็นอินพุต
ข่าวเกี่ยวกับฟลักซ์อยู่ที่นี่
สคริปต์ด้านล่างนี้จะเรียกใช้โมเดลการแจ้งแสงแบบมีเงื่อนไขข้อความ:
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
หรือหากต้องการใช้การสาธิตแบบมีเงื่อนไขพื้นหลัง:
python gradio_demo_bg.py
การดาวน์โหลดโมเดลเป็นไปโดยอัตโนมัติ
โปรดทราบว่า "gradio_demo.py" มี HuggingFace Space อย่างเป็นทางการที่นี่
(โปรดทราบว่า "การตั้งค่าแสงสว่าง" เป็นเพียงค่าแฝงเริ่มต้น - เช่น หากการตั้งค่าแสงสว่างเป็น "ซ้าย" ค่าแฝงเริ่มต้นจะเป็นสีขาว ขวา สีดำ)
Prompt: ผู้หญิงสวย หน้าละเอียด บรรยากาศอบอุ่น ที่บ้าน ห้องนอน
การตั้งค่าแสงสว่าง: ซ้าย
เคล็ดลับ: ผู้หญิงสวย ใบหน้าละเอียด แสงแดดส่องจากหน้าต่าง
การตั้งค่าแสงสว่าง: ซ้าย
ผู้หญิงสวย หน้าละเอียด นีออน วงคาไว อบอุ่น
การตั้งค่าแสงสว่าง: ซ้าย
พรอมต์: ผู้หญิงสวย หน้าละเอียด แสงแดด กลางแจ้ง บรรยากาศอบอุ่น
การตั้งค่าแสงสว่าง: ถูกต้อง
พรอมต์: ผู้หญิงสวย หน้าละเอียด แสงแดด กลางแจ้ง บรรยากาศอบอุ่น
การตั้งค่าแสงสว่าง: ซ้าย
เคล็ดลับ: ผู้หญิงสวย ใบหน้าละเอียด แสงแดดส่องจากหน้าต่าง
การตั้งค่าแสงสว่าง: ถูกต้อง
พร้อมท์: ผู้หญิงสวย ใบหน้าละเอียด เงาจากหน้าต่าง
การตั้งค่าแสงสว่าง: ซ้าย
คำชี้แจง: ผู้หญิงสวย ใบหน้าละเอียด พระอาทิตย์ตกเหนือทะเล
การตั้งค่าแสงสว่าง: ถูกต้อง
Prompt: หนุ่มหล่อ หน้าละเอียด แสงนีออน เมือง
การตั้งค่าแสงสว่าง: ซ้าย
พรอมต์: ผู้หญิงสวย ใบหน้าละเอียด แสงและเงา
การตั้งค่าแสงสว่าง: ซ้าย
(ผู้หญิงสวย หน้าละเอียด แสงสตูดิโอนุ่มนวล)
พรอมต์: พระพุทธเจ้า, ใบหน้าที่มีรายละเอียด, ไซไฟ RGB เรืองแสง, ไซเบอร์พังค์
การตั้งค่าแสงสว่าง: ซ้าย
คำสั่ง : พระพุทธรูป พระพักตร์ละเอียด แสงธรรมชาติ
การตั้งค่าแสงสว่าง: ซ้าย
พร้อมท์: ของเล่น ใบหน้าที่มีรายละเอียด เงาจากหน้าต่าง
การตั้งค่าแสงสว่าง: ด้านล่าง
Prompt: ของเล่น, ใบหน้าละเอียด, พระอาทิตย์ตกเหนือทะเล
การตั้งค่าแสงสว่าง: ถูกต้อง
พรอมต์: สุนัข, ไฟวิเศษ, ไฟ RGB แบบไซไฟ, ไฟสตูดิโอ
การตั้งค่าแสงสว่าง: ด้านล่าง
Prompt: มนุษย์ลึกลับ บรรยากาศอบอุ่น บรรยากาศอบอุ่น ที่บ้าน ห้องนอน
การตั้งค่าแสงสว่าง: ถูกต้อง
โมเดลที่มีการปรับสภาพพื้นหลังไม่จำเป็นต้องมีการแจ้งอย่างระมัดระวัง เราสามารถใช้ข้อความแจ้งง่ายๆ เช่น "หนุ่มหล่อ แสงภาพยนตร์"
การแสดงภาพที่มีโครงสร้างมากขึ้น:
ในพื้นที่ HDR การส่องสว่างมีคุณสมบัติที่การขนส่งแสงทั้งหมดเป็นอิสระจากกัน
ด้วยเหตุนี้ การผสมผสานลักษณะที่ปรากฏของแหล่งกำเนิดแสงที่แตกต่างกันจึงเทียบเท่ากับลักษณะที่ปรากฏของแหล่งกำเนิดแสงผสม:
การใช้เวทีแสงด้านบนเป็นตัวอย่าง รูปภาพทั้งสองจาก "ส่วนผสมของลักษณะที่ปรากฏ" และ "ส่วนผสมของแหล่งกำเนิดแสง" มีความสอดคล้องกัน (ในทางทฤษฎีแล้วเทียบเท่ากับพื้นที่ HDR)
เรากำหนดความสอดคล้องดังกล่าว (โดยใช้ MLP ในพื้นที่แฝง) เมื่อฝึกโมเดลการส่องสว่างอีกครั้ง
เป็นผลให้แบบจำลองสามารถสร้างแสงซ้ำได้อย่างสม่ำเสมอ - สอดคล้องกัน มาก จนสามารถรวมแสงซ้ำที่แตกต่างกันเข้าด้วยกันเป็นแผนที่ปกติได้! แม้ว่าแบบจำลองจะมีการแพร่กระจายแบบแฝงก็ตาม
จากซ้ายไปขวาคือการป้อนข้อมูล โมเดลเอาท์พุตการปรับแสง ภาพเงาที่แยกออก และแผนที่ปกติที่ผสานกัน โปรดทราบว่าโมเดลนี้ไม่ได้รับการฝึกฝนกับข้อมูลแผนที่ปกติใดๆ การประมาณค่าปกตินี้มาจากความสอดคล้องของการทบทวนใหม่
คุณสามารถทำซ้ำการทดลองนี้โดยใช้ปุ่มนี้ (ช้าลง 4 เท่าเนื่องจากปรับแสงรูปภาพ 4 ครั้ง)
ด้านล่างนี้เป็นภาพที่ใหญ่กว่า (อย่าลังเลที่จะลองด้วยตัวเองเพื่อให้ได้ผลลัพธ์เพิ่มเติม!)
สำหรับการอ้างอิง geowizard (geowizard เป็นงานที่ยอดเยี่ยมจริงๆ!):
และสวิตช์ไฟ (สวิตช์ไฟเป็นอีกหนึ่งงานที่ยอดเยี่ยม!):
iclight_sd15_fc.safetensors - โมเดลการส่องสว่างเริ่มต้น ซึ่งมีเงื่อนไขบนข้อความและพื้นหน้า คุณสามารถใช้ค่าแฝงเริ่มต้นเพื่อส่งผลต่อการรีไลต์ได้
iclight_sd15_fcon.safetensors - เหมือนกับ "iclight_sd15_fc.safetensors" แต่ได้รับการฝึกให้มีเสียงรบกวนชดเชย โปรดทราบว่าค่าเริ่มต้น "iclight_sd15_fc.safetensors" มีประสิทธิภาพเหนือกว่าโมเดลนี้เล็กน้อยในการศึกษาผู้ใช้ และนี่คือเหตุผลว่าทำไมรุ่นเริ่มต้นจึงเป็นรุ่นที่ไม่มีสัญญาณรบกวน
iclight_sd15_fbc.safetensors - โมเดลปรับแสงที่มีข้อความ พื้นหน้า และพื้นหลัง
นอกจากนี้ โปรดทราบว่า BRIA RMBG 1.4 ดั้งเดิมมีไว้เพื่อการใช้งานที่ไม่ใช่เชิงพาณิชย์ หากคุณใช้ IC-Light ในโครงการเชิงพาณิชย์ ให้แทนที่ด้วยตัวแทนที่พื้นหลังอื่นๆ เช่น BiRefNet
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}อ่านด้วย ...
การย้อนแสงโดยรวม: การเรียนรู้ที่จะปรับแสงภาพบุคคลเพื่อเปลี่ยนพื้นหลัง
การประสานกันอย่างลงตัว: การเปลี่ยนพื้นหลังแนวตั้งที่คำนึงถึงแสง
SwitchLight: การออกแบบร่วมกันของสถาปัตยกรรมที่ขับเคลื่อนด้วยฟิสิกส์และกรอบการฝึกอบรมล่วงหน้าสำหรับการปรับแสงภาพเหมือนของมนุษย์
