rerun

Visualizaciones y pilas de datos multimodales con reconocimiento del tiempo

Rerun está construyendo la pila de datos multimodal para modelar, ingerir, almacenar, consultar y ver datos de estilo robótico. Se utiliza en áreas como robótica, inteligencia artificial espacial y corporal, medios generativos, procesamiento industrial, simulación, seguridad y salud.

¡Volver a ejecutar es fácil de usar! Utilice Rerun SDK (disponible para C++, Python y Rust) para registrar datos como imágenes, tensores, nubes de puntos y texto. Los registros se transmiten al Rerun Viewer para su visualización en vivo o para archivarlos para su uso posterior. También puede consultar los datos registrados a través de nuestra API de marco de datos.

Comience en minutos, no se necesita una cuenta.

• Ejecute el Visor de repetición en su navegador
• Lea sobre qué es Rerun y para quién es

una breve muestra

 import rerun as rr  # pip install rerun-sdk

rr . init ( "rerun_example_app" )

rr . connect ()  # Connect to a remote viewer
# rr.spawn()  # Spawn a child process with a viewer and connect
# rr.save("recording.rrd")  # Stream all logs to disk

# Associate subsequent data with 42 on the “frame” timeline
rr . set_time_sequence ( "frame" , 42 )

# Log colored 3D points to the entity at `path/to/points`
rr . log ( "path/to/points" , rr . Points3D ( positions , colors = colors ))
…

Empezando

• C++
• Python : pip install rerun-sdk o en conda
• Rust : cargo add rerun

Instalación del binario Rerun Viewer

Para transmitir datos de registro a través de la red o cargar nuestros archivos de datos .rrd también necesita rerun el binario. Se puede instalar con pip install rerun-sdk o con cargo install rerun-cli --locked --features nasm (ver nota a continuación). Tenga en cuenta que solo el SDK de Python viene incluido con el Visor, mientras que C++ y Rust siempre dependen de una instalación separada.

Nota : la función nasm Cargo requiere que la CLI nasm esté instalada y disponible en su ruta. Alternativamente, puede omitir la habilitación de esta función, pero esto puede resultar en un rendimiento inferior de decodificación de video.

Ahora debería poder ejecutar rerun --help en cualquier terminal.

Documentación

• Documentos de alto nivel
• ⏃ Tipos registrables
• Ejemplos
• ? Documentos de la API de C++
• ? Documentos de la API de Python
• ? Documentos de la API de Rust
• ⁉️ Solución de problemas

Estado

Estamos en desarrollo activo. Hay muchas funciones que queremos agregar y la API aún está evolucionando. ¡Espere cambios importantes!

Algunas deficiencias:

• Las nubes de puntos multimillonarias son lentas
• El espectador se ralentiza cuando hay demasiadas entidades.
• Los datos que deseas visualizar deben caber en la RAM
  • Consulte https://www.rerun.io/docs/howto/limit-ram para saber cómo limitar el uso de la memoria.
  • Planeamos tener un almacén de datos basado en disco en algún momento en el futuro.

¿Para qué sirve la repetición?

Rerun está diseñado para ayudarlo a comprender y mejorar procesos complejos que incluyen datos multimodales enriquecidos, como 2D, 3D, texto, series temporales, tensores, etc. Se utiliza en muchas industrias, incluida la robótica, la simulación, la visión por computadora o cualquier cosa que involucre una gran cantidad de sensores u otras señales que evolucionan con el tiempo.

Caso de uso de ejemplo

Digamos que estás construyendo un robot aspirador y sigue chocando contra las paredes. ¿Por qué hace eso? Necesita alguna herramienta para depurarlo, pero un depurador normal no será útil. De manera similar, simplemente registrar texto tampoco será de mucha ayuda. El robot puede registrar "Atravesando la puerta", pero eso no explica por qué piensa que la pared es una puerta.

Lo que necesitas es un depurador visual y temporal, que pueda registrar todas las diferentes representaciones del mundo que los robots tienen en su cabecita, como por ejemplo:

• Alimentación de cámara RGB
• Imágenes de profundidad
• escaneo lidar
• Imagen de segmentación (cómo el robot interpreta lo que ve).
• su mapa 3D del apartamento
• todos los objetos que el robot ha detectado (o cree haber detectado), como formas 3D en el mapa 3D
• su confianza en su predicción
• etc.

También desea ver cómo evolucionan todos estos flujos de datos con el tiempo para poder retroceder y determinar exactamente qué salió mal, cuándo y por qué.

Tal vez resulte que un resplandor del sol golpeó uno de los sensores de manera incorrecta, confundiendo la red de segmentación y provocando una mala detección de objetos. O tal vez fue un error en el código de escaneo lidar. O tal vez el robot pensó que estaba en otro lugar del apartamento, porque su odometría estaba rota. O podría ser una de mil otras cosas. ¡Rerun te ayudará a descubrirlo!

Pero ver el mundo desde el punto de vista del robot no es sólo para depurar: también le dará ideas sobre cómo mejorar los algoritmos, nuevos casos de prueba para configurar o conjuntos de datos para recopilar. También le permitirá explicar el cerebro del robot a sus colegas, jefe y clientes. Etcétera. Ver para creer, y una imagen vale más que mil palabras, y el registro temporal multimodal vale más que mil imágenes :)

Si bien ver y comprender sus datos es fundamental para avanzar en la robótica, hay una cosa más: también puede usar los datos que recopiló para visualización para crear nuevos conjuntos de datos para entrenar y evaluar los modelos y algoritmos que se ejecutan en su robot. Rerun proporciona API de consulta para facilitar la extracción de conjuntos de datos limpios de su grabación exactamente para ese propósito.

Por supuesto, Rerun es útil para mucho más que solo robots. Siempre que tenga algún tipo de sensor o estado 2D o 3D que evolucione con el tiempo, Rerun es una gran herramienta.

modelo de negocio

Rerun utiliza un modelo de núcleo abierto. Todo lo que haya en este repositorio seguirá siendo de código abierto y gratuito (tanto en cerveza como en libertad).

También estamos construyendo una plataforma de datos comerciales. En este momento, esto solo está disponible para unos pocos socios de diseño seleccionados. Haga clic aquí si está interesado.

El proyecto de código abierto Rerun se dirige a las necesidades de los desarrolladores individuales. El producto comercial se dirige a las necesidades específicas de los equipos que construyen y ejecutan productos de robótica y visión por computadora.

Cómo citar Rerun

Cuando utilice Rerun en su investigación, cítelo para reconocer su contribución a su trabajo. Esto se puede hacer incluyendo una referencia a Rerun en la sección de software o métodos de su artículo.

Formato de cita sugerido:

 @software { RerunSDK ,
  title = { Rerun: A Visualization SDK for Multimodal Data } ,
  author = { {Rerun Development Team} } ,
  url = { https://www.rerun.io } ,
  version = { insert version number } ,
  date = { insert date of usage } ,
  year = { 2024 } ,
  publisher = { {Rerun Technologies AB} } ,
  address = { Online } ,
  note = { Available from https://www.rerun.io/ and https://github.com/rerun-io/rerun }
}

Reemplace "insertar número de versión" con la versión de Rerun que utilizó e "insertar fecha de uso" con las fechas en que utilizó la herramienta en su investigación. Este formato de cita ayuda a garantizar que el equipo de desarrollo de Rerun reciba el crédito adecuado por su trabajo y facilita el descubrimiento de la herramienta por parte de otros investigadores.

Desarrollo

• ARCHITECTURE.md
• CODE_OF_CONDUCT.md
• CODE_STYLE.md
• CONTRIBUTING.md
• BUILD.md
• rerun_py/README.md - instrucciones para el SDK de Python
• rerun_cpp/README.md - instrucciones para el SDK de C++

Instalación de una versión preliminar del SDK de Python

1. Descargue el .whl correcto de las versiones de GitHub
2. Ejecute pip install rerun_sdk<…>.whl (reemplace <…> con el nombre de archivo real)
3. Pruébelo: rerun --version