黑森林實驗室最近發表了全新的FLUX.1Tools工具包,旨在提升其基礎文生圖模型FLUX.1的操控性,實現對真實圖片和生成圖片的精確修改和再創作。此工具包包含四個主要功能:FLUX.1Fill(影像修復和擴展)、FLUX.1Depth和FLUX.1Canny(利用影像結構資訊引導影像產生)、FLUX.1Redux(產生影像變體)。每個工具都提供開源版本和API版本,並已透過多個平台提供服務,為使用者提供更便利高效的影像編輯體驗。以下是各個功能的詳細介紹。
FLUX.1Tools包含四個主要功能:
FLUX.1Fill:這是一個先進的圖像修復和擴展工具,功能超越了Ideogram2.0和開源的AlimamaCreative's FLUX-Controlnet-Inpainting等現有工具。 FLUX.1Fill可以根據使用者提供的文字描述和二進位遮罩對真實圖片和生成圖片進行編輯和擴展,並能將修改內容無縫地融入圖像中,實現自然流暢的效果。
經測試,FLUX.1Fill [pro] 的性能優於所有其他競品,成為目前最先進的影像修復模型。開源版本FLUX.1Fill [dev] 的效能也超越了其他專有解決方案,而且推理效率更高。
FLUX.1Depth和FLUX.1Canny:這兩個工具都利用影像的結構資訊來引導影像生成,從而在修改影像紋理時保持其原始結構。
其中,FLUX.1Depth利用影像的深度資訊進行修改,而FLUX.1Canny則利用邊緣偵測資訊進行引導,更適合進行精確的細節調整。
評估結果顯示,FLUX.1Depth的表現優於Midjourney ReTexture等專有模型,其中FLUX.1Depth [pro] 提供了更高的輸出多樣性,而FLUX.1Depth [dev] 在深度感知任務中提供了更一致的結果。 對於邊緣偵測模型,FLUX.1Canny [pro] 的表現最佳,其次是FLUX.1Canny [dev]。
FLUX.1Redux:這是一個適用於所有FLUX.1基礎模型的適配器,用於產生影像變體。 給定一張輸入影像,FLUX.1Redux可以對其進行細微的變化,產生不同的版本,甚至可以根據使用者提供的文字描述重新設計圖片風格。
此外,FLUX.1Redux也支援透過API進行影像風格調整,使用者只需提供一張影像和一段文字描述即可。 這項功能已整合到最新的FLUX1.1[pro] Ultra模型中,該模型可將輸入影像和文字提示結合起來,創建高品質的400萬像素輸出,並支援靈活的長寬比。 測試結果表明,FLUX.1Redux在影像變體生成方面取得了最先進的性能。
FLUX.1Tools 提供開源版本和API版本
FLUX.1Tools以兩種版本提供:開源版本(FLUX.1[dev])和API版本(FLUX.1[pro])。 每個工具的API版本都以FLUX.1[pro] 變體發布,而開源版本則作為指導性蒸餾的FLUX.1[dev] 變體發布,並提供推理代碼和權重。 此外,黑森林實驗室也宣布,其發布的模型將透過其合作夥伴fal.ai、Replicate、Together.ai、Freepik和krea.ai提供。
黑森林實驗室表示,這次發布的FLUX.1Tools工具包將為Flux生態系統注入新的活力,他們期待看到社群用戶利用這些新工具創造出更多精彩的作品。
模型:https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev
詳細介紹:https://blackforestlabs.ai/flux-1-tools/
總而言之,FLUX.1Tools工具包憑藉其先進的功能和高效的性能,為影像編輯和創作領域帶來了新的突破,值得期待其在未來應用中的更多可能性。 開發者可以訪問提供的連結以獲取更多資訊和資源。