ros agents

その他のソースコード

0.3.1

ダウンロード

ROS エージェントは、環境からのコンテキスト情報を理解し、記憶し、それに基づいて動作できる、インタラクティブな具体化されたエージェントを作成するための完全にロードされたフレームワークです。

現実世界のエージェント:動的環境で動作する自律型ロボットシステム、特に AMR で使用するように設計されています。
直感的な API : ロボット上でローカルまたはクラウドベースの ML モデル (特にマルチモーダル LLMおよびその他のTransformer アーキテクチャ) を利用するためのシンプルな Python API。
セマンティックメモリ: ベクトルデータベース、セマンティックルーティング、その他のサポートコンポーネントを統合して、エージェント情報フロー用の任意の複雑なグラフを迅速に構築します。ロボットで肥大化した「GenAI」フレームワークを利用する必要はありません。
ROS2 製: 基盤となるミドルウェアとして ROS2 を利用します。理論的には、データ型コールバックが実装されている限り、ROS2 パッケージを提供するすべてのデバイスを利用して ML モデルにデータを送信できます。

チェックアウトのインストール手順

クイックスタートガイドを開始する

基本概念を理解する

例を見てみましょう

インストール

前提条件

ROSのインストール

ROS エージェントは、ROS2 で使用するように構築されています。 Iron以降のすべての ROS ディストリビューションがサポートされています。公式サイトの指示に従ってROS2をインストールします。

モデル提供プラットフォームをインストールする

ROS エージェントのコアは、モデル提供プラットフォームに依存しません。現在、Ollama と RoboML をサポートしています。それぞれのプロジェクトが提供する指示に従って、これらのいずれかをインストールしてください。新しいプラットフォームのサポートは継続的に追加されます。特定のプラットフォームをサポートしたい場合は、問題/PR を開いてください。

ROS エージェントのインストール (Ubuntu)

Ubuntu のバイナリパッケージは間もなくリリースされる予定です。このスペースを確認してください。

ROS エージェントをソースからインストールする

依存関係の取得

Pythonの依存関係をインストールする

pip install pillow numpy opencv-python-headless ' attrs>=23.2.0 ' jinja2 httpx setproctitle msgpack msgpack-numpy numpy-quaternion

ROSシュガーをダウンロード

git clone https://github.com/automatika-robotics/ros-sugar

ROS エージェントのインストール

git clone https://github.com/automatika-robotics/ros-agents.git
cd ..
colcon build
source install/setup.bash
python your_script.py

クイックスタート

他の ROS パッケージとは異なり、ROS エージェントは、ROS Sugar を使用してノードグラフを記述する純粋な Python 的方法を提供します。次のコードを Python スクリプトにコピーして実行します。

 from agents . clients . ollama import OllamaClient
from agents . components import MLLM
from agents . models import Llava
from agents . ros import Topic , Launcher

# Define input and output topics (pay attention to msg_type)
text0 = Topic ( name = "text0" , msg_type = "String" )
image0 = Topic ( name = "image_raw" , msg_type = "Image" )
text1 = Topic ( name = "text1" , msg_type = "String" )

# Define a model client (working with Ollama in this case)
llava = Llava ( name = "llava" )
llava_client = OllamaClient ( llava )

# Define an MLLM component (A component represents a node with a particular functionality)
mllm = MLLM (
    inputs = [ text0 , image0 ],
    outputs = [ text1 ],
    model_client = llava_client ,
    trigger = [ text0 ],
    component_name = "vqa"
)
# Additional prompt settings
mllm . set_topic_prompt ( text0 , template = """You are an amazing and funny robot.
    Answer the following about this image: {{ text0 }}"""
)
# Launch the component
launcher = Launcher ()
launcher . add_pkg ( components = [ mllm ])
launcher . bringup ()

このようにして、 「何が見えますか?」のような質問に答えることができるエージェントがいます。。このエージェントと対話するために、ROS エージェントには小さな Web クライアントが含まれています。コンポーネントとモデルがどのように連携するかについて詳しくは、クイックスタートガイドをご覧ください。

精巧な肉体を持つエージェント

上記のクイックスタート例は、ROS エージェントで何ができるかを示す単なる娯楽です。 ROS エージェントでは、任意に洗練されたコンポーネントグラフを作成できます。さらに、システムの内部または外部のイベントに基づいてシステム自体を変更または再構成するように構成することもできます。ここで次のエージェントのコードを確認してください。