rerun
viewer fix
Rerun baut den multimodalen Datenstapel auf, um Daten im Robotik-Stil zu modellieren, aufzunehmen, zu speichern, abzufragen und anzuzeigen. Es wird in Bereichen wie Robotik, räumliche und verkörperte KI, generative Medien, industrielle Verarbeitung, Simulation, Sicherheit und Gesundheit eingesetzt.
Rerun ist einfach zu verwenden! Verwenden Sie das Rerun SDK (verfügbar für C++, Python und Rust), um Daten wie Bilder, Tensoren, Punktwolken und Text zu protokollieren. Protokolle werden zur Live-Visualisierung an den Rerun Viewer gestreamt oder zur späteren Verwendung in eine Datei gespeichert. Sie können die protokollierten Daten auch über unsere Dataframe-API abfragen.
Legen Sie in wenigen Minuten los – kein Konto erforderlich.
import rerun as rr # pip install rerun-sdk
rr . init ( "rerun_example_app" )
rr . connect () # Connect to a remote viewer
# rr.spawn() # Spawn a child process with a viewer and connect
# rr.save("recording.rrd") # Stream all logs to disk
# Associate subsequent data with 42 on the “frame” timeline
rr . set_time_sequence ( "frame" , 42 )
# Log colored 3D points to the entity at `path/to/points`
rr . log ( "path/to/points" , rr . Points3D ( positions , colors = colors ))
…pip install rerun-sdk oder auf condacargo add rerun Um Protokolldaten über das Netzwerk zu streamen oder unsere .rrd Datendateien zu laden, benötigen Sie außerdem die rerun Binärdatei. Es kann mit pip install rerun-sdk oder mit cargo install rerun-cli --locked --features nasm installiert werden (siehe Hinweis unten). Beachten Sie, dass nur das Python SDK im Lieferumfang des Viewers enthalten ist, während C++ und Rust immer auf eine separate Installation angewiesen sind.
Hinweis : Für die nasm Cargo-Funktion muss die nasm CLI installiert und in Ihrem Pfad verfügbar sein. Alternativ können Sie die Aktivierung dieser Funktion überspringen, dies kann jedoch zu einer schlechteren Videodekodierungsleistung führen.
Sie sollten nun in der Lage sein, rerun --help in jedem Terminal auszuführen.
Wir befinden uns in aktiver Entwicklung. Wir möchten viele Funktionen hinzufügen und die API entwickelt sich noch weiter. Erwarten Sie bahnbrechende Änderungen!
Einige Mängel:
Rerun soll Ihnen helfen, komplexe Prozesse zu verstehen und zu verbessern, die umfangreiche multimodale Daten wie 2D, 3D, Text, Zeitreihen, Tensoren usw. umfassen. Es wird in vielen Branchen eingesetzt, darunter Robotik, Simulation, Computer Vision und alles, was damit zu tun hat viele Sensoren oder andere Signale, die sich im Laufe der Zeit entwickeln.
Angenommen, Sie bauen einen Staubsaugerroboter und dieser läuft ständig gegen Wände. Warum macht es das? Sie benötigen ein Tool zum Debuggen, aber ein normaler Debugger wird nicht hilfreich sein. Ebenso wird es auch nicht sehr hilfreich sein, nur Text zu protokollieren. Der Roboter protokolliert möglicherweise „Gehe durch die Tür“, aber das erklärt nicht, warum er denkt, die Wand sei eine Tür.
Was Sie brauchen, ist ein visueller und zeitlicher Debugger, der alle verschiedenen Darstellungen der Welt protokollieren kann, die der Roboter in seinem kleinen Kopf hat, wie zum Beispiel:
Sie möchten auch sehen, wie sich all diese Datenströme im Laufe der Zeit entwickeln, damit Sie zurückgehen und genau bestimmen können, was wann und warum schief gelaufen ist.
Möglicherweise stellt sich heraus, dass ein grelles Sonnenlicht einen der Sensoren falsch getroffen hat, was das Segmentierungsnetzwerk verwirrt und zu einer schlechten Objekterkennung führt. Oder vielleicht war es ein Fehler im Lidar-Scancode. Oder vielleicht dachte der Roboter, er sei woanders in der Wohnung, weil seine Odometrie defekt war. Oder es könnte eines von tausend anderen Dingen sein. Die Wiederholung wird Ihnen helfen, es herauszufinden!
Aber die Welt aus der Sicht des Roboters zu betrachten, dient nicht nur dem Debuggen – es liefert Ihnen auch Ideen, wie Sie die Algorithmen verbessern, neue Testfälle einrichten oder Datensätze sammeln können. Außerdem können Sie damit Ihren Kollegen, Ihrem Chef und Ihren Kunden das Gehirn des Roboters erklären. Und so weiter. Sehen heißt glauben, und ein Bild sagt mehr als tausend Worte, und multimodale zeitliche Protokollierung sagt mehr als tausend Bilder :)
Während das Sehen und Verstehen Ihrer Daten für Fortschritte in der Robotik von entscheidender Bedeutung ist, gibt es noch etwas anderes: Sie können die von Ihnen gesammelten Daten auch zur Visualisierung verwenden, um neue Datensätze für das Training und die Bewertung der Modelle und Algorithmen zu erstellen, die auf Ihrem Roboter ausgeführt werden. Rerun bietet Abfrage-APIs, um das Extrahieren sauberer Datensätze aus Ihrer Aufzeichnung für genau diesen Zweck zu erleichtern.
Natürlich ist Rerun nicht nur für Roboter nützlich. Immer wenn Sie Sensoren jeglicher Art haben oder sich der 2D- oder 3D-Zustand im Laufe der Zeit weiterentwickelt, ist Rerun ein großartiges Werkzeug.
Rerun verwendet ein Open-Core-Modell. Alles in diesem Repository bleibt Open Source und kostenlos (sowohl in Bezug auf Bier als auch in Bezug auf Freiheit).
Wir bauen auch eine kommerzielle Datenplattform auf. Derzeit ist dies nur für einige ausgewählte Designpartner verfügbar. Klicken Sie hier, wenn Sie interessiert sind.
Das Open-Source-Projekt Rerun zielt auf die Bedürfnisse einzelner Entwickler ab. Das kommerzielle Produkt zielt auf die spezifischen Anforderungen von Teams ab, die Computer-Vision- und Robotikprodukte entwickeln und betreiben.
Wenn Sie Rerun in Ihrer Forschung verwenden, zitieren Sie es bitte, um seinen Beitrag zu Ihrer Arbeit anzuerkennen. Dies kann durch Einfügen eines Verweises auf „Rerun“ in den Abschnitt „Software“ oder „Methoden“ Ihrer Arbeit erfolgen.
Empfohlenes Zitierformat:
@software { RerunSDK ,
title = { Rerun: A Visualization SDK for Multimodal Data } ,
author = { {Rerun Development Team} } ,
url = { https://www.rerun.io } ,
version = { insert version number } ,
date = { insert date of usage } ,
year = { 2024 } ,
publisher = { {Rerun Technologies AB} } ,
address = { Online } ,
note = { Available from https://www.rerun.io/ and https://github.com/rerun-io/rerun }
}Bitte ersetzen Sie „Versionsnummer einfügen“ durch die Version von Rerun, die Sie verwendet haben, und „Nutzungsdatum einfügen“ durch das Datum bzw. die Daten, an denen Sie das Tool in Ihrer Recherche verwendet haben. Dieses Zitierformat trägt dazu bei, dass das Entwicklungsteam von Rerun angemessene Anerkennung für seine Arbeit erhält, und erleichtert die Entdeckung des Tools durch andere Forscher.
ARCHITECTURE.mdCODE_OF_CONDUCT.mdCODE_STYLE.mdCONTRIBUTING.mdBUILD.mdrerun_py/README.md – Anweisungen für Python SDKrerun_cpp/README.md – Anweisungen für C++ SDK .whl von GitHub Releases herunterpip install rerun_sdk<…>.whl aus (ersetzen Sie <…> durch den tatsächlichen Dateinamen).rerun --version
