近年、デジタルアートの分野において自動画像処理技術の需要が高まっています。清華大学とテンセントARC研究所の研究チームは、白黒画像シーケンスの着色の問題を解決するために、ColorFlowと呼ばれる新しいモデルを提案した。このモデルは、キャラクターとオブジェクトのアイデンティティの一貫性を維持しながら、白黒の画像シーケンスをカラー化するという困難な問題を解決するように設計されており、これは漫画やアニメーションなどの業界にとって実用的に重要な意味を持ちます。 ColorFlow モデルは、着色の効率と品質を向上させるだけでなく、複雑な色生成プロセスを簡素化し、デジタル アートの作成に新たな可能性をもたらします。
デジタルアートの発展に伴い、自動画像処理技術への注目が高まっています。最近、清華大学とテンセントARC研究所の研究チームは、ColorFlowと呼ばれる新しい画像シーケンスカラーリングモデルを提案しました。このモデルは、白黒の画像シーケンスをカラー化しながらキャラクターやオブジェクトの同一性の一貫性を維持するという問題を解決することを目的としており、漫画やアニメーションなどの業界の実際的なニーズに応えます。
ColorFlow は、コンテキスト情報を活用して参照画像のプールから白黒画像シーケンスの色を正確に生成する 3 段階の拡散ベースのフレームワークです。たとえば、モデルはキャラクターの髪の色や衣服を効果的に着色し、参照画像との色の一貫性を確保できます。役割ごとに微調整が必要だった以前のテクノロジーとは異なり、ColorFlow は、強力な一般化機能を備えた革新的な検索強化カラー パイプラインを通じて、カラー生成プロセスを簡素化します。
このモデルは 2 つの主要なブランチで設計されています。1 つは色のアイデンティティを抽出するためのもので、もう 1 つは実際の着色プロセスを担当します。このデュアル ブランチ デザインは拡散モデルを最大限に活用し、セルフ アテンション メカニズムを通じて強力なコンテキスト学習とカラー アイデンティティ マッチングを実現できます。 ColorFlow の有効性を検証するために、研究チームは、参照画像ベースの着色タスクに特化した包括的なベンチマーク テストである ColorFlow-Bench も開始しました。
比較実験では、ColorFlow は複数の指標において既存の高度なモデルを上回り、より高い美的品質を実証し、元の画像に近い色を生成しました。研究チームは、白黒漫画、線画、現実世界の写真、漫画の絵コンテなど、さまざまなアート シナリオで ColorFlow の適用効果を実証し、満足のいく結果を達成しました。
ColorFlow の発売は、画像シーケンスの自動着色技術の新たなベンチマークを設定するだけでなく、アート業界のさらなる発展を強力にサポートします。研究チームは、この技術が実用化でより広く普及し、デジタルアート制作の革新と進歩を促進できることを期待している。
プロジェクト入口: https://zhuang2002.github.io/ColorFlow/
ハイライト:
ColorFlow は、キャラクターのアイデンティティの一貫性を維持する革新的な白黒画像シーケンスのカラーリング モデルです。
このモデルは、色識別抽出と実際の着色にそれぞれ使用されるデュアルブランチ設計を採用しており、着色の効果と効率が向上しています。
ColorFlow は、複数の指標において既存の最先端モデルを上回り、より高い美的品質と実用性を実証しています。
ColorFlow モデルの登場は、画像シーケンスの自動着色技術における大きな進歩を示しています。その効率的かつ正確な着色機能と強力な汎用化機能は、アニメーション、コミック、その他の業界を強力に技術的にサポートし、将来的にはより多くの分野で応用され、デジタルアート創作の活発な発展を促進することが期待されています。