rerunダウンロード - rerunソースコードのダウンロード

rerun

パイソン

viewer fix

ダウンロード

時間を意識したマルチモーダルなデータスタックと視覚化

Rerun は、ロボティクススタイルのデータをモデル化、取り込み、保存、クエリ、表示するためのマルチモーダルデータスタックを構築しています。ロボット工学、空間 AI、身体 AI、生成メディア、産業処理、シミュレーション、セキュリティ、健康などの分野で使用されています。

リランは使いやすい！ Rerun SDK (C++、Python、Rust で利用可能) を使用して、画像、テンソル、点群、テキストなどのデータをログに記録します。ログは、ライブ視覚化のために再実行ビューアーにストリーミングされるか、後で使用するためにファイルにストリーミングされます。データフレーム API を介して、ログに記録されたデータをクエリすることもできます。

数分で始められます – アカウントは必要ありません。

ブラウザで Rerun Viewer を実行する
Rerun の概要と対象者について読む

短い味わい

 import rerun as rr  # pip install rerun-sdk

rr . init ( "rerun_example_app" )

rr . connect ()  # Connect to a remote viewer
# rr.spawn()  # Spawn a child process with a viewer and connect
# rr.save("recording.rrd")  # Stream all logs to disk

# Associate subsequent data with 42 on the “frame” timeline
rr . set_time_sequence ( "frame" , 42 )

# Log colored 3D points to the entity at `path/to/points`
rr . log ( "path/to/points" , rr . Points3D ( positions , colors = colors ))
…

はじめる

C++
Python : pip install rerun-sdkまたはconda上
Rust : cargo add rerun

Rerun Viewer バイナリのインストール

ネットワーク経由でログデータをストリーミングしたり、 .rrdデータファイルをロードしたりするには、 rerunバイナリも必要です。 pip install rerun-sdkまたはcargo install rerun-cli --locked --features nasmを使用してインストールできます (以下の注を参照)。 Viewer には Python SDK のみがバンドルされているのに対し、C++ と Rust は常に個別のインストールに依存することに注意してください。

注: nasm Cargo 機能を使用するには、 nasm CLI がインストールされ、パスで使用できるようにする必要があります。あるいは、この機能を有効にしないこともできますが、ビデオデコードのパフォーマンスが低下する可能性があります。

これで、どの端末でもrerun --help実行できるようになります。

ドキュメント

高レベルのドキュメント
⏃ ログ可能なタイプ
例
? C++ API ドキュメント
? Python API ドキュメント
? Rust API ドキュメント
⁉️トラブルシューティング

状態

私たちは積極的に開発中です。追加したい機能はたくさんあり、API はまだ進化中です。画期的な変更を期待してください!

いくつかの欠点:

数百万の点群は遅い
エンティティが多すぎるとビューアが遅くなる
視覚化したいデータは RAM に収まる必要があります
- メモリ使用量を制限する方法については、https://www.rerun.io/docs/howto/limit-ram を参照してください。
- 将来的にはディスクベースのデータストアを導入する予定です。

再実行は何のためにありますか?

Rerun は、2D、3D、テキスト、時系列、テンソルなどの豊富なマルチモーダルデータを含む複雑なプロセスの理解と改善を支援するために構築されています。ロボット工学、シミュレーション、コンピュータービジョン、その他の関連分野を含む多くの業界で使用されています。時間の経過とともに進化する多くのセンサーやその他の信号。

使用例

掃除機ロボットを作っているのに、何度も壁にぶつかってしまうとします。なぜそんなことをするのでしょうか？デバッグするには何らかのツールが必要ですが、通常のデバッガーは役に立ちません。同様に、テキストを記録するだけでもあまり役に立ちません。ロボットは「出入り口を通過中」と記録するかもしれませんが、それでは壁がドアであると考える理由が説明されません。

必要なのは、ロボットがその小さな頭の中に保持している世界のさまざまな表現をすべてログに記録できる、視覚的かつ時間的なデバッガーです。

RGBカメラフィード
深度画像
ライダースキャン
セグメンテーション画像 (ロボットが見たものをどのように解釈するか)
アパートの 3D マップ
ロボットが検出した (または検出したと考えている) すべてのオブジェクト (3D マップ内の 3D 形状として)
その予測に対する自信
等

また、これらすべてのデータストリームが時間の経過とともにどのように変化するかを確認して、いつ、なぜ問題が発生したかを正確に特定できるようにしたいと考えています。

おそらく、太陽からの眩しさがセンサーの 1 つに誤って当たり、セグメンテーションネットワークが混乱し、不正な物体検出につながったことが判明するかもしれません。あるいは、LIDAR スキャンコードのバグだったのかもしれません。あるいは、オドメトリが壊れていたため、ロボットは自分がアパートの別の場所にあると思ったのかもしれません。あるいは、他の何千ものうちの 1 つである可能性もあります。再実行はそれを知るのに役立ちます!

しかし、ロボットの視点から世界を見ることは、デバッグのためだけではありません。アルゴリズムを改善する方法、セットアップする新しいテストケース、収集するデータセットについてのアイデアも得られます。また、ロボットの頭脳を同僚、上司、顧客に説明することもできます。等々。百聞は一見にしかず、画像は千の言葉に匹敵し、マルチモーダル時間ロギングは千の画像に匹敵します:)

データを見て理解することはロボット工学の進歩の中核ですが、もう 1 つ重要なことがあります。視覚化のために収集したデータを使用して、ロボット上で実行されるモデルとアルゴリズムをトレーニングおよび評価するための新しいデータセットを作成することもできます。 Rerun は、まさにその目的のために記録からクリーンなデータセットを簡単に抽出できるクエリ API を提供します。

もちろん、Rerun はロボット以外にも役立ちます。何らかの形式のセンサーがある場合、または時間の経過とともに進化する 2D または 3D 状態がある場合、Rerun は優れたツールです。

ビジネスモデル

Rerun はオープンコアモデルを使用します。このリポジトリ内のすべてはオープンソースであり、無料のままです (ビールと自由の両方で)。

商用データプラットフォームも構築中です。現時点では、一部の選ばれたデザインパートナーのみが利用できます。ご興味がございましたら、ここをクリックしてください。

Rerun オープンソースプロジェクトは、個々の開発者のニーズを対象としています。この商用製品は、コンピュータービジョンおよびロボット製品を構築および実行するチームに特有のニーズをターゲットとしています。

再実行の引用方法

研究で Rerun を使用する場合は、研究への貢献を認めるために引用してください。これを行うには、論文のソフトウェアまたは方法のセクションに Rerun への参照を含めます。

推奨される引用形式:

 @software { RerunSDK ,
  title = { Rerun: A Visualization SDK for Multimodal Data } ,
  author = { {Rerun Development Team} } ,
  url = { https://www.rerun.io } ,
  version = { insert version number } ,
  date = { insert date of usage } ,
  year = { 2024 } ,
  publisher = { {Rerun Technologies AB} } ,
  address = { Online } ,
  note = { Available from https://www.rerun.io/ and https://github.com/rerun-io/rerun }
}