스위스 Ecole Polytechnique Fédérale de Lausanne의 연구팀은 다가오는 2024 ECCV 컨퍼런스에서 사용자의 시각적 선호도에 따라 생성된 모델의 출력을 개인화하는 것을 목표로 하는 ViPer라는 새로운 방법을 출시했습니다. ViPer(개별 선호 학습을 통한 생성 모델의 시각적 개인화)를 사용하면 각 사용자는 사용자의 개별 선호도를 학습하여 동일한 프롬프트에서 자신의 선호도에 더 부합하는 생성된 결과를 얻을 수 있습니다. 이 혁신은 사용자가 제공한 일련의 이미지와 설명을 사용하여 개별 시각적 선호도를 추출하고, 사용자가 새로운 이미지에 대한 선호도를 예측하는 데 도움이 되는 프록시 채점 메커니즘을 제공하여 사용자 경험을 개선하고 생성된 모델의 개인화된 사용자 정의를 달성합니다.
최근 스위스 Ecole Polytechnique Fédérale de Lausanne의 연구팀은 사용자의 시각적 선호도에 따라 생성 모델의 출력을 개인화하는 것을 목표로 하는 ViPer(Visual Personalization of Generative Models via Individual Preference Learning)라는 새로운 방법을 출시했습니다.
이 혁신은 다가오는 2024 ECCV 컨퍼런스에서 시연될 예정이며 팀은 각 사용자가 동일한 프롬프트에서 자신의 선호도에 더 부합하는 생성된 결과를 얻을 수 있기를 희망합니다.
본 프로젝트의 모델은 Huggingface 플랫폼에 공개되었으며, 사용자는 쉽게 다운로드하여 사용할 수 있습니다. ViPer의 VPE 모델은 사용자가 제공한 일련의 이미지와 댓글에서 개인 선호도를 추출하도록 미세 조정되었습니다.
동시에, 프로젝트는 사용자가 좋아하는 이미지와 싫어하는 이미지를 기반으로 쿼리 이미지의 선호도 점수를 예측할 수 있는 프록시 지표 모델도 제공합니다. 이는 사용자가 새로운 이미지에 대한 잠재적 선호도를 더 잘 이해할 수 있음을 의미합니다.
또한 ViPer는 사용자가 좋아요 및 싫어요 이미지를 제공하여 쿼리 이미지의 점수를 계산할 수 있는 에이전트 점수 매기기 메커니즘도 제공합니다. 이 점수의 범위는 0에서 1까지이며, 점수가 높을수록 사용자가 이미지를 더 좋아한다는 것을 의미합니다. 팀에서는 결과의 정확성을 보장하기 위해 각 사용자가 약 8개의 좋아요와 8개의 싫어요를 제공할 것을 권장합니다.
하이라이트:
ViPer는 사용자의 일회성 댓글에서 개별 시각적 선호도를 추출하여 생성 모델의 출력을 개인화합니다.
본 프로젝트의 모델은 허깅페이스(Huggingface)에 공개되었으며, 사용자들이 쉽게 다운로드하여 사용할 수 있습니다.
? ViPer는 사용자가 새로운 이미지에 대한 선호도를 예측하는 데 도움이 되는 프록시 채점 메커니즘을 제공합니다.
전체적으로 ViPer는 생성된 모델을 개인화하고 더 나은 사용자 경험을 제공할 수 있는 편리하고 효과적인 방법을 제공합니다. Huggingface 플랫폼에 출시되면서 더 많은 사용자가 사용하고 탐색할 수 있게 되었습니다. 앞으로는 개인화된 발전 모델이 더 많은 분야에 적용되어 사용자의 요구에 더욱 부합하는 경험을 창출할 것으로 예상됩니다.