Récemment, l'équipe d'apprentissage profond de Google et des chercheurs de plusieurs universités ont publié un nouveau système appelé « MegaSaM », qui peut estimer efficacement les paramètres de la caméra et les cartes de profondeur à partir de vidéos dynamiques. Il s’agit d’une avancée majeure dans le domaine de la vision par ordinateur et devrait révolutionner la technologie de traitement vidéo et généraliser ses applications dans de nombreux domaines. Les méthodes traditionnelles présentent de nombreuses limites lorsqu’il s’agit de scènes dynamiques. L’émergence de MegaSaM résout efficacement ces problèmes et fournit une nouvelle solution pour l’analyse vidéo dynamique.
Récemment, l'équipe d'apprentissage profond de Google et des chercheurs de plusieurs universités ont publié conjointement un nouveau système appelé « MegaSaM » qui peut estimer rapidement et précisément les paramètres de la caméra et les cartes de profondeur à partir de vidéos dynamiques ordinaires. L'avènement de cette technologie apportera plus de possibilités aux vidéos que nous enregistrons dans notre vie quotidienne, notamment en termes de capture et d'analyse de scènes dynamiques.
Les technologies traditionnelles de structure à partir du mouvement (SfM) et de localisation et de cartographie simultanées monoculaires (SLAM) nécessitent généralement l'entrée de vidéos de scènes statiques et ont des exigences de parallaxe élevées. Face à des scènes dynamiques, les performances de ces méthodes sont souvent peu satisfaisantes, car en l’absence de fond statique, l’algorithme est sujet aux erreurs. Bien que certaines méthodes basées sur les réseaux neuronaux aient tenté de résoudre ce problème ces dernières années, ces méthodes entraînent souvent une énorme surcharge de calcul et un manque de stabilité dans les vidéos dynamiques, en particulier lorsque le mouvement de la caméra n'est pas contrôlé ou que le champ de vision est inconnu.
L’émergence de MegaSaM a changé cette situation. L'équipe de recherche a soigneusement modifié le cadre SLAM de vision profonde pour lui permettre de s'adapter à des scènes dynamiques complexes, en particulier lorsque le chemin de la caméra n'est pas restreint. Après une série d'expériences, les chercheurs ont découvert que MegaSaM surpassait considérablement les technologies associées précédentes en termes de pose de caméra et d'estimation de profondeur, et fonctionnait également bien en termes de temps d'exécution, même comparable à certaines méthodes.
La puissance du système lui permet de gérer pratiquement n'importe quelle vidéo, y compris les séquences occasionnelles où il peut y avoir des mouvements intenses ou une dynamique de scène pendant le tournage. MegaSaM traite la vidéo source à environ 0,7 images par seconde, démontrant ses excellentes performances. L'équipe de recherche présente également davantage de résultats de traitement dans sa galerie pour démontrer son efficacité dans des applications réelles.
Ce résultat de recherche apporte non seulement du sang neuf dans le domaine de la vision par ordinateur, mais offre également de nouvelles possibilités de traitement vidéo dans la vie quotidienne des utilisateurs. Nous sommes impatients de voir MegaSaM dans davantage de scènes à l'avenir.
Entrée du projet : https://mega-sam.github.io/#demo
Souligner:
Le système MegaSaM est capable d'estimer rapidement et précisément les paramètres de la caméra et les cartes de profondeur à partir de vidéos dynamiques ordinaires.
Cette technologie pallie les défauts des méthodes traditionnelles dans les scènes dynamiques et s'adapte au traitement en temps réel d'environnements complexes.
Les résultats expérimentaux montrent que MegaSaM surpasse les technologies précédentes en termes de précision et d'efficacité opérationnelle.
L'émergence du système MegaSaM a apporté des changements révolutionnaires dans le traitement vidéo dynamique, et ses performances efficaces et précises offrent la possibilité d'un plus grand nombre de scénarios d'application à l'avenir. On pense qu'avec le développement et l'amélioration continus de la technologie, MegaSaM jouera un rôle important dans davantage de domaines et apportera plus de commodité à la vie des gens.