Um conjunto de ferramentas para visualizar e interagir com sequências de dados 3D com suporte multiplataforma em Windows, Linux e macOS. Veja a página oficial em https://eth-ait.github.io/aitviewer para todos os detalhes.
Instalação básica:
pip install aitviewer
Observe que isso não instala a versão GPU do PyTorch automaticamente. Se o seu ambiente já o contém, você deve estar pronto, caso contrário, instale-o manualmente.
Ou instale localmente (se precisar estender ou modificar o código)
git clone [email protected]:eth-ait/aitviewer.git
cd aitviewer
pip install -e .
No macOS com Apple Silicon é recomendado usar PyQt6. Verifique este problema para obter instruções de instalação.
Para uma instalação mais avançada e para instalar modelos de carroceria SMPL, consulte a documentação.
Interface Python nativa, fácil de usar e hackear.
Carregue sequências SMPL[-H/-X] / MANO / FLAME / STAR / SUPR e exiba-as em um visualizador interativo.
Modo headless para renderização de vídeos/imagens no servidor.
Modo remoto para integração sem bloqueio de código de visualização.
Renderize dados 3D sobre imagens por meio de modelos de câmera de perspectiva fraca ou OpenCV.
Caminhos de câmera animáveis.
Edite sequências e poses SMPL manualmente.
Primitivas renderizáveis pré-construídas (cilindros, esferas, nuvens de pontos, etc.).
GUI extensível integrada (baseada em Dear ImGui).
Exporte capturas de tela, vídeos e visualizações de toca-discos (como mp4/gif)
Pipeline de renderização baseado em ModernGL de alto desempenho (rodando a 100fps+ na maioria dos laptops).
Exibir uma pose T SMPL (requer modelos SMPL):
de aitviewer.renderables.smpl importar SMPLSequencefrom aitviewer.viewer importar Viewerif __name__ == '__main__':v = Viewer()v.scene.add(SMPLSequence.t_pose())v.run()
Uma amostra de projetos usando o aitviewer. Deixe-nos saber se você deseja ser adicionado a esta lista!
Fan et al., HOLD: Reconstrução 3D independente de categoria de mãos e objetos em interação a partir de vídeo, CVPR 2024
Braun et al., Síntese de interação mão-objeto de corpo inteiro fisicamente plausível, 3DV 2024
Zhang e Christen et al., ArtiGrasp: Síntese Fisicamente Plausível de Apreensão e Articulação Destreza Bi-Manual, 3DV 2024
Kaufmann et al., EMDB: O banco de dados eletromagnético de pose e forma humana 3D global na natureza, ICCV 2023
Shen e Guo et al., X-Avatar: Avatares Humanos Expressivos, CVPR 2023
Sun et al., TRACE: Regressão temporal 5D de avatares com câmeras dinâmicas em ambientes 3D, CVPR 2023
Fan et al., ARCTIC: um conjunto de dados para manipulação hábil bimanual de objetos manuais, CVPR 2023
Dong e Guo et al., PINA: Aprendendo um avatar neural implícito personalizado a partir de uma única sequência de vídeo RGB-D, CVPR 2022
Dong et al., Estimativa de pose de múltiplas pessoas com reconhecimento de forma a partir de imagens de múltiplas visualizações, ICCV 2021
Kaufmann et al., EM-POSE: estimativa de pose humana 3D de rastreadores eletromagnéticos esparsos, ICCV 2021
Vechev et al., Design Computacional de Vestuário Cinestésico, Eurographics 2021
Guo et al., Captura de desempenho humano de vídeo monocular na natureza, 3DV 2021
Se você usa este software, cite-o conforme abaixo.
@software{Kaufmann_Vechev_aitviewer_2022,
author = {Kaufmann, Manuel and Vechev, Velko and Mylonopoulos, Dario},
doi = {10.5281/zenodo.10013305},
month = {7},
title = {{aitviewer}},
url = {https://github.com/eth-ait/aitviewer},
year = {2022}
}
Este software foi desenvolvido por Manuel Kaufmann, Velko Vechev e Dario Mylonopoulos. Para dúvidas, crie um problema. Acolhemos e encorajamos contribuições de módulos e recursos da comunidade.