ros agents

其他源碼

0.3.1

下載

ROS Agents 是一個完整的框架，用於建立互動式實體代理，這些代理可以理解、記住環境中的上下文資訊並根據其採取行動。

現實世界中的代理：設計用於在動態環境中運作的自主機器人系統，特別是 AMR。
直覺的 API ：簡單的 Pythonic API，可在機器人上利用本地或基於雲端的 ML 模型（特別是多模式 LLM和其他Transformer 架構）。
語意記憶：整合向量資料庫、語意路由和其他支援元件，快速建立任意複雜的代理資訊流程圖。無需在機器人上使用臃腫的「GenAI」框架。
Made in ROS2 ：利用 ROS2 作為底層中介軟體。理論上，只要實現了資料類型回調，所有提供ROS2套件的設備都可以用來傳送資料到ML模型。

檢查安裝說明

開始使用快速入門指南

熟悉基本概念

直接透過範例進行深入研究

安裝

先決條件

安裝ROS

ROS Agents 專為與 ROS2 一起使用而建置。支援從Iron開始的所有 ROS 發行版。按照官方網站上的說明安裝 ROS2。

安裝模型服務平台

ROS 代理程式的核心與模型服務平台無關。目前它支援 Ollama 和 RoboML。請按照各自項目提供的說明安裝其中任何一個。將不斷增加對新平台的支援。如果您想支援特定平台，請提出問題/PR。

安裝 ROS 代理程式 (Ubuntu)

Ubuntu 的二進位套件即將發布。檢查這個空間。

從來源安裝 ROS 代理

取得依賴項

安裝python依賴項

pip install pillow numpy opencv-python-headless ' attrs>=23.2.0 ' jinja2 httpx setproctitle msgpack msgpack-numpy numpy-quaternion

下載 ROS 糖

git clone https://github.com/automatika-robotics/ros-sugar

安裝 ROS 代理

git clone https://github.com/automatika-robotics/ros-agents.git
cd ..
colcon build
source install/setup.bash
python your_script.py

快速入門

與其他 ROS 套件不同，ROS Agents 提供了一種使用 ROS Sugar 描述節點圖的純 Python 方式。將以下程式碼複製到 python 腳本中並運行它。

 from agents . clients . ollama import OllamaClient
from agents . components import MLLM
from agents . models import Llava
from agents . ros import Topic , Launcher

# Define input and output topics (pay attention to msg_type)
text0 = Topic ( name = "text0" , msg_type = "String" )
image0 = Topic ( name = "image_raw" , msg_type = "Image" )
text1 = Topic ( name = "text1" , msg_type = "String" )

# Define a model client (working with Ollama in this case)
llava = Llava ( name = "llava" )
llava_client = OllamaClient ( llava )

# Define an MLLM component (A component represents a node with a particular functionality)
mllm = MLLM (
    inputs = [ text0 , image0 ],
    outputs = [ text1 ],
    model_client = llava_client ,
    trigger = [ text0 ],
    component_name = "vqa"
)
# Additional prompt settings
mllm . set_topic_prompt ( text0 , template = """You are an amazing and funny robot.
    Answer the following about this image: {{ text0 }}"""
)
# Launch the component
launcher = Launcher ()
launcher . add_pkg ( components = [ mllm ])
launcher . bringup ()