スイスのローザンヌ連邦工科大学エコール・ポリテクニックの研究チームは、まもなく開催される2024年のECCVカンファレンスで、ユーザーの視覚的好みに基づいて生成されたモデルの出力をパーソナライズすることを目的とした、ViPerと呼ばれる新しい手法を発表した。 ViPer (個別の設定学習による生成モデルの視覚的パーソナライゼーション) を使用すると、各ユーザーは、ユーザーの個別の設定を学習することで、同じプロンプトの下で自分の設定により一致した生成結果を取得できます。このイノベーションは、ユーザーが提供した一連の画像とコメントを使用して個々の視覚的好みを抽出し、ユーザーが新しい画像の好みを予測できるようにする代理スコアリング メカニズムを提供することで、ユーザー エクスペリエンスを向上させ、生成されたモデルのパーソナライズされたカスタマイズを実現します。
最近、スイスのローザンヌ高等工科大学の研究チームは、ユーザーの視覚的好みに応じて生成モデルの出力をパーソナライズすることを目的とした、ViPer (Visual Personalization of Generative Models via Individual Preference Learning) と呼ばれる新しい手法を発表しました。
このイノベーションは、来る 2024 年の ECCV カンファレンスでデモンストレーションされる予定で、チームは各ユーザーが同じプロンプトの下で自分の好みにより一致した生成結果を取得できるようにしたいと考えています。
このプロジェクトのモデルはHuggingfaceプラットフォーム上で公開されており、ユーザーは簡単にダウンロードして使用できます。 ViPer の VPE モデルは、ユーザーが提供した一連の画像やコメントから個人の好みを抽出するように微調整されています。
同時に、このプロジェクトは、ユーザーが好む画像と嫌いな画像に基づいてクエリ画像の嗜好スコアを予測できる代理指標モデルも提供します。これは、ユーザーが新しい画像に対する潜在的な好みをよりよく理解できることを意味します。
さらに、ViPer はエージェント スコアリング メカニズムも提供しており、ユーザーは好きな画像と嫌いな画像を提供することでクエリ画像のスコアを計算できます。このスコアの範囲は 0 から 1 で、スコアが高いほど、ユーザーがその画像をより気に入っていることを示します。チームは、結果の正確性を確保するために、各ユーザーが約 8 つの「いいね！」と 8 つの「嫌い」を入力することを推奨しています。
ハイライト:
ViPer は、ユーザーの 1 回限りのコメントから個々の視覚的な好みを抽出して、生成モデルの出力をパーソナライズします。
このプロジェクトのモデルはHuggingfaceで公開されており、ユーザーは簡単にダウンロードして使用できます。
ViPer は、ユーザーが新しい画像に対する好みを予測できるようにする代理スコアリング メカニズムを提供します。
全体として、ViPer は、生成されたモデルのパーソナライズされたカスタマイズを実現し、より良いユーザー エクスペリエンスをもたらす便利で効果的な方法を提供します。 Huggingface プラットフォームでのリリースにより、より多くのユーザーの使用と探索も容易になります。将来的には、パーソナライズされた生成モデルがより多くの分野に適用され、ユーザー自身のニーズにより沿ったエクスペリエンスを生み出すことが期待されます。