L'équipe de recherche de Google a publié Alchemist, une technologie révolutionnaire d'édition d'images qui permet aux utilisateurs de contrôler avec précision les propriétés matérielles des objets dans les images, telles que la couleur, la brillance et la transparence, sans avoir recours à un logiciel ou à des compétences professionnelles. À la base, Alchemist est un modèle de génération de texte en image affiné qui permet un contrôle précis des paramètres des matériaux en synthétisant des ensembles de données et en modifiant l'architecture du modèle Stable Diffusion 1.5. Cette technologie a le potentiel de révolutionner le processus d’édition d’images, en fournissant des outils puissants aux professionnels tels que les designers, les artistes et les architectes.
L'équipe de recherche de Google a récemment lancé une technologie révolutionnaire : Alchemist. Cette technologie permet aux utilisateurs de modifier avec précision les propriétés matérielles des éléments d'une image, telles que la couleur, la brillance et la transparence, sans avoir besoin d'un logiciel ni de compétences professionnelles en matière d'édition d'images.
Au cœur de la technologie d’Alchemist se trouve un modèle de génération Text-to-Image (T2I) affiné. L’équipe de recherche a obtenu un contrôle précis des paramètres des matériaux en créant des ensembles de données synthétiques et en modifiant l’architecture du modèle Stable Diffusion1.5.
Plus précisément, les chercheurs ont d’abord généré un grand nombre d’images synthétiques à l’aide d’infographies et de techniques de rendu physiques. Ces images contiennent divers modèles 3D avec des matériaux, des angles de caméra et des conditions d'éclairage sélectionnés au hasard. Ils ont ensuite modifié certains attributs de ces images, générant ainsi plusieurs versions avec des capacités d'édition variables.
En affinant ces données synthétiques, le modèle apprend à modifier uniquement les propriétés matérielles spécifiées, les images contextuelles et les instructions données, et à modifier les valeurs d'intensité, tout en conservant la forme de l'élément et l'éclairage de l'image inchangés.
Les résultats expérimentaux montrent que cette technologie peut modifier efficacement l’apparence des objets, par exemple en améliorant la sensation métallique ou en ajustant la transparence. Dans les études d'utilisateurs, cette approche a obtenu des avantages significatifs en termes de photoréalisme et de préférences des utilisateurs par rapport à l'approche de base.
Les perspectives d’application de cette technologie sont vastes. Il peut aider les architectes d'intérieur à prévisualiser l'apparence d'une pièce une fois repeinte, ou aider les architectes, les artistes et les designers à créer rapidement des croquis de conception pour de nouveaux produits. De plus, étant donné que les effets d'édition sont visuellement cohérents, la technologie peut également être utilisée pour des tâches 3D en aval telles que la reconstruction NeRF (Neural Radiation Field).
Bien que la technologie Alchemist ait fait des progrès significatifs en matière d’édition de matériaux, l’équipe de recherche a également souligné certaines limites. Par exemple, le modèle peut encore être amélioré en ce qui concerne la gestion des détails cachés dans les images.
Cependant, les chercheurs sont confiants dans le potentiel de cette technologie pour une édition contrôlée du matériel. Avec des recherches et des optimisations plus approfondies, Alchemist devrait révolutionner le domaine de l'édition d'images, rendant les tâches complexes d'édition de matériaux plus simples et plus intuitives.
La technologie Alchemist de Google représente une autre avancée majeure de l’intelligence artificielle dans le domaine du traitement d’images. Non seulement il simplifie le processus complexe d'édition d'images, mais il offre également de nouvelles possibilités à l'industrie créative et devrait avoir un impact profond dans de nombreux domaines tels que le design, l'art et la réalité virtuelle.
Adresse du projet : https://prafullsharma.net/alchemist/
L’émergence de la technologie Alchemist marque une nouvelle étape dans le domaine de l’intelligence artificielle dans l’édition d’images. Ses capacités d’édition efficaces et précises apporteront sûrement une nouvelle vitalité à l’industrie créative et favoriseront le développement et l’innovation continus des technologies connexes.