Un conjunto de herramientas para visualizar e interactuar con secuencias de datos 3D con soporte multiplataforma en Windows, Linux y macOS. Consulte la página oficial en https://eth-ait.github.io/aitviewer para obtener todos los detalles.
Instalación básica:
pip install aitviewer
Tenga en cuenta que esto no instala automáticamente la versión GPU de PyTorch. Si su entorno ya lo contiene, debería estar listo; de lo contrario, instálelo manualmente.
O instálelo localmente (si necesita ampliar o modificar el código)
git clone [email protected]:eth-ait/aitviewer.git
cd aitviewer
pip install -e .
En macOS con Apple Silicon se recomienda utilizar PyQt6. Consulte este problema para obtener instrucciones de instalación.
Para una instalación más avanzada y para instalar modelos de carrocería SMPL, consulte la documentación.
Interfaz nativa de Python, fácil de usar y piratear.
Cargue secuencias SMPL[-H/-X] / MANO / FLAME / STAR / SUPR y muéstrelas en un visor interactivo.
Modo sin cabeza para renderizado de videos/imágenes en el servidor.
Modo remoto para la integración sin bloqueo del código de visualización.
Represente datos 3D sobre imágenes mediante modelos de cámara OpenCV o de perspectiva débil.
Rutas de cámara animables.
Edita secuencias SMPL y poses manualmente.
Primitivas renderizables prediseñadas (cilindros, esferas, nubes de puntos, etc.).
GUI extensible incorporada (basada en Dear ImGui).
Exporte capturas de pantalla, vídeos y vistas del tocadiscos (como mp4/gif)
Canal de renderizado de alto rendimiento basado en ModernGL (que se ejecuta a más de 100 fps en la mayoría de las computadoras portátiles).
Muestre una pose en T SMPL (requiere modelos SMPL):
de aitviewer.renderables.smpl importar SMPLSequencedesde aitviewer.viewer importar Viewerif __name__ == '__main__':v = Viewer()v.scene.add(SMPLSequence.t_pose())v.run()
Una muestra de proyectos que utilizan aitviewer. ¡Háganos saber si desea que lo agreguemos a esta lista!
Fan et al., HOLD: Reconstrucción 3D independiente de la categoría de manos y objetos que interactúan a partir de vídeo, CVPR 2024
Braun et al., Síntesis de interacción físicamente plausible entre mano y objeto de cuerpo completo, 3DV 2024
Zhang y Christen et al., ArtiGrasp: Síntesis físicamente plausible de articulación y agarre diestro bimanual, 3DV 2024
Kaufmann et al., EMDB: La base de datos electromagnética de la pose y forma humana global en 3D en la naturaleza, ICCV 2023
Shen y Guo et al., X-Avatar: Avatares humanos expresivos, CVPR 2023
Sun et al., TRACE: Regresión temporal 5D de avatares con cámaras dinámicas en entornos 3D, CVPR 2023
Fan et al., ARCTIC: Un conjunto de datos para la manipulación bimanual diestra de objetos manuales, CVPR 2023
Dong y Guo et al., PINA: Aprendizaje de un avatar neuronal implícito personalizado a partir de una única secuencia de vídeo RGB-D, CVPR 2022
Dong et al., Estimación de posturas de varias personas con reconocimiento de formas a partir de imágenes de vistas múltiples, ICCV 2021
Kaufmann et al., EM-POSE: Estimación de la pose humana en 3D a partir de rastreadores electromagnéticos dispersos, ICCV 2021
Vechev et al., Diseño computacional de prendas cinestésicas, Eurographics 2021
Guo et al., Captura de desempeño humano a partir de video monocular en la naturaleza, 3DV 2021
Si utiliza este software, cítelo como se muestra a continuación.
@software{Kaufmann_Vechev_aitviewer_2022,
author = {Kaufmann, Manuel and Vechev, Velko and Mylonopoulos, Dario},
doi = {10.5281/zenodo.10013305},
month = {7},
title = {{aitviewer}},
url = {https://github.com/eth-ait/aitviewer},
year = {2022}
}
Este software fue desarrollado por Manuel Kaufmann, Velko Vechev y Dario Mylonopoulos. Si tiene preguntas, cree un problema. Damos la bienvenida y alentamos las contribuciones de módulos y funciones de la comunidad.