Rerun 正在构建多模式数据堆栈来建模、摄取、存储、查询和查看机器人风格的数据。它用于机器人、空间和实体人工智能、生成媒体、工业加工、模拟、安全和健康等领域。
重新运行很容易使用!使用 Rerun SDK(适用于 C++、Python 和 Rust)记录图像、张量、点云和文本等数据。日志被传输到重新运行查看器以进行实时可视化或归档以供以后使用。您还可以通过我们的 dataframe API 查询记录的数据。
几分钟内即可开始 - 无需帐户。
import rerun as rr # pip install rerun-sdk
rr . init ( "rerun_example_app" )
rr . connect () # Connect to a remote viewer
# rr.spawn() # Spawn a child process with a viewer and connect
# rr.save("recording.rrd") # Stream all logs to disk
# Associate subsequent data with 42 on the “frame” timeline
rr . set_time_sequence ( "frame" , 42 )
# Log colored 3D points to the entity at `path/to/points`
rr . log ( "path/to/points" , rr . Points3D ( positions , colors = colors ))
…
pip install rerun-sdk
或在conda
上cargo add rerun
要通过网络传输日志数据或加载我们的.rrd
数据文件,您还需要rerun
二进制文件。它可以使用pip install rerun-sdk
或cargo install rerun-cli --locked --features nasm
进行安装(请参阅下面的注释)。请注意,只有 Python SDK 与查看器捆绑在一起,而 C++ 和 Rust 始终依赖于单独的安装。
注意: nasm
Cargo 功能需要安装nasm
CLI 并在您的路径中可用。或者,您可以跳过启用此功能,但这可能会导致视频解码性能较差。
您现在应该能够在任何终端中运行rerun --help
。
我们正在积极开发中。我们想要添加许多功能,并且 API 仍在不断发展。期待突破性的改变!
一些缺点:
Rerun 旨在帮助您理解和改进复杂的流程,其中包括丰富的多模态数据,如 2D、3D、文本、时间序列、张量等。它用于许多行业,包括机器人、模拟、计算机视觉或涉及的任何行业许多传感器或其他信号随着时间的推移而演变。
假设您正在建造一个真空清洁机器人,但它总是撞到墙壁。它为什么要这么做?您需要一些工具来调试它,但普通的调试器不会有帮助。同样,仅记录文本也没有多大帮助。机器人可能会记录“穿过门口”,但这并不能解释为什么它认为墙壁是门。
您需要的是一个视觉和时间调试器,它可以记录机器人在其小脑袋中所持有的世界的所有不同表示,例如:
您还希望了解所有这些数据流如何随着时间的推移而演变,以便您可以回过头来准确查明出了什么问题、何时出现问题以及为什么出现问题。
也许事实证明,来自太阳的眩光以错误的方式照射到其中一个传感器,从而混淆了分割网络,导致错误的对象检测。或者可能是激光雷达扫描代码中的错误。或者机器人可能认为它在公寓的其他地方,因为它的里程计被破坏了。或者它可能是其他上千件事之一。重新运行将帮助您找到答案!
但从机器人的角度看世界不仅仅是为了调试,它还能为您提供有关如何改进算法、设置新测试用例或收集数据集的想法。它还可以让您向同事、老板和客户解释机器人的大脑。等等。眼见为实,一张图像胜过一千个文字,而多模态时间记录胜过一千张图像:)
虽然查看和理解数据是机器人技术取得进步的核心,但还有一件事:您还可以使用收集的可视化数据来创建新的数据集,用于训练和评估在机器人上运行的模型和算法。 Rerun 提供了查询 API,可以轻松地从记录中提取干净的数据集来实现这一目的。
当然,Rerun 的用途不仅仅限于机器人。任何时候您有任何形式的传感器,或者随着时间的推移而演变的 2D 或 3D 状态,Rerun 都是一个很棒的工具。
Rerun 采用开放核心模型。这个存储库中的所有内容都将保持开源和免费(就像啤酒和自由一样)。
我们还在建设一个商业数据平台。目前,该功能仅适用于少数精选设计合作伙伴。如果您有兴趣,请点击此处。
Rerun 开源项目针对个人开发人员的需求。该商业产品针对构建和运行计算机视觉和机器人产品的团队的特定需求。
在您的研究中使用 Rerun 时,请引用它以承认它对您的工作的贡献。这可以通过在论文的软件或方法部分中引用重新运行来完成。
建议的引用格式:
@software { RerunSDK ,
title = { Rerun: A Visualization SDK for Multimodal Data } ,
author = { {Rerun Development Team} } ,
url = { https://www.rerun.io } ,
version = { insert version number } ,
date = { insert date of usage } ,
year = { 2024 } ,
publisher = { {Rerun Technologies AB} } ,
address = { Online } ,
note = { Available from https://www.rerun.io/ and https://github.com/rerun-io/rerun }
}
请将“插入版本号”替换为您使用的 Rerun 版本,并将“插入使用日期”替换为您在研究中使用该工具的日期。这种引用格式有助于确保 Rerun 的开发团队的工作获得适当的认可,并促进其他研究人员发现该工具。
ARCHITECTURE.md
CODE_OF_CONDUCT.md
CODE_STYLE.md
CONTRIBUTING.md
BUILD.md
rerun_py/README.md
- Python SDK 说明rerun_cpp/README.md
- C++ SDK 说明.whl
pip install rerun_sdk<…>.whl
(将<…>
替换为实际文件名)rerun --version