Ein gemeinsames Team der Chinesischen Akademie der Wissenschaften, der Tongji-Universität und der Ningbo-Universität hat mit TSC-PCAC eine bahnbrechende Technologie zur Punktwolkenkomprimierung entwickelt, die die Komprimierungseffizienz und Verarbeitungsgeschwindigkeit von Punktwolkendaten erheblich verbessert und das massive Problem von 3D-Anwendungen löst wie AR/VR. Datenverarbeitungsherausforderungen. Diese Technologie basiert auf End-to-End-Voxel-Transformer und Sparse-Faltung, verwendet eine zweistufige Komprimierungsarchitektur, um Datenredundanz effektiv zu reduzieren, und optimiert die Korrelation zwischen Kanälen durch das innovative TSCM-Kanalkontextmodul, um die Komprimierungseffizienz weiter zu verbessern. Diese Technologie hat bedeutende Durchbrüche bei der Datenkomprimierungsrate und Verarbeitungsgeschwindigkeit erzielt und bietet starke technische Unterstützung für die Entwicklung von 3D-Anwendungen.
Im Kontext der aktuellen rasanten Entwicklung der 3D-Vision-Technologie steht die Punktwolke als Schlüsseldatenform für Virtual Reality und Augmented Reality vor enormen Übertragungs- und Speicherherausforderungen. Eine hochwertige Punktwolke kann Millionen von Datenpunkten enthalten, von denen jeder mehrdimensionale Informationen wie Standort, Farbe und Transparenz enthält. Die Verarbeitungseffizienz dieser riesigen Datenmengen wirkt sich direkt auf die Beliebtheit von 3D-Anwendungen aus.
Um dieses Problem anzugehen, entwickelte das Forschungsteam eine Punktwolken-Attributkomprimierungstechnologie (TSC-PCAC), die auf einem End-to-End-Voxel-Transformer und einer spärlichen Faltung basiert. Der Kern dieser Technologie liegt in ihrer einzigartigen zweistufigen Komprimierungsarchitektur: Die erste Stufe konzentriert sich auf die Extraktion und Modellierung lokaler Merkmale von Punktwolken, und die zweite Stufe erfasst globale Merkmale über ein größeres Empfangsfeld, wodurch die Datenredundanz effektiv reduziert wird.
Das Forschungsteam entwickelte außerdem innovativ ein auf TSCM basierendes Kanalkontextmodul, das die Effizienz der Datenkomprimierung durch Optimierung der Korrelation zwischen Kanälen erheblich verbesserte. Experimentelle Daten zeigen, dass TSC-PCAC im Vergleich zu bestehenden Mainstream-Technologien erhebliche Verbesserungen bei der Datenkomprimierungsrate erzielt hat: 38,53 % höher als Sparse-PCAC, 21,30 % höher als NF-PCAC und 21,30 % höher als G-PCAC v23 verbessert um 11,19 %. Noch beeindruckender ist, dass auch die Verarbeitungsgeschwindigkeit einen qualitativen Sprung gemacht hat: Die Kodierungs- und Dekodierungszeiten wurden um 97,68 % bzw. 98,78 % reduziert.
Diese bahnbrechende Errungenschaft löst nicht nur die größten Probleme bei der Verarbeitung von Punktwolkendaten, sondern legt auch eine wichtige Grundlage für die Weiterentwicklung von 3D-Anwendungen wie AR/VR. Das Forschungsteam erklärte, dass es in Zukunft weiterhin die Deep-Network-Technologie mit höheren Komprimierungsraten erforschen und an einer einheitlichen Verarbeitungslösung für Geometrie- und Attributkodierung arbeiten werde.
Papieradresse: https://arxiv.org/html/2407.04284v1
Die erfolgreiche Entwicklung der TSC-PCAC-Technologie stellt einen bedeutenden Fortschritt in der Punktwolkenkomprimierungstechnologie dar und bietet starke technische Unterstützung für die Popularisierung und Entwicklung von 3D-Anwendungen wie AR/VR. Es wird erwartet, dass sie in Zukunft in weiteren Bereichen weit verbreitet sein wird.