ros agents

其他源码

0.3.1

下载

ROS Agents 是一个完整的框架，用于创建交互式实体代理，这些代理可以理解、记住环境中的上下文信息并根据其采取行动。

现实世界中的代理：设计用于在动态环境中运行的自主机器人系统，特别是 AMR。
直观的 API ：简单的 Pythonic API，可在机器人上利用本地或基于云的 ML 模型（特别是多模式 LLM和其他Transformer 架构）。
语义记忆：集成矢量数据库、语义路由和其他支持组件，快速构建任意复杂的代理信息流图。无需在机器人上使用臃肿的“GenAI”框架。
Made in ROS2 ：利用 ROS2 作为底层中间件。理论上，只要实现了数据类型回调，所有提供ROS2包的设备都可以用来向ML模型发送数据。

检查安装说明

开始使用快速入门指南

熟悉基本概念

直接通过示例进行深入研究

安装

先决条件

安装ROS

ROS Agents 专为与 ROS2 一起使用而构建。支持从Iron开始的所有 ROS 发行版。按照官方网站上的说明安装 ROS2。

安装模型服务平台

ROS 代理的核心与模型服务平台无关。目前它支持 Ollama 和 RoboML。请按照各自项目提供的说明安装其中任何一个。将不断增加对新平台的支持。如果您想支持特定平台，请提出问题/PR。

安装 ROS 代理 (Ubuntu)

Ubuntu 的二进制包即将发布。检查这个空间。

从源安装 ROS 代理

获取依赖项

安装python依赖项

pip install pillow numpy opencv-python-headless ' attrs>=23.2.0 ' jinja2 httpx setproctitle msgpack msgpack-numpy numpy-quaternion

下载 ROS 糖

git clone https://github.com/automatika-robotics/ros-sugar

安装 ROS 代理

git clone https://github.com/automatika-robotics/ros-agents.git
cd ..
colcon build
source install/setup.bash
python your_script.py

快速入门

与其他 ROS 包不同，ROS Agents 提供了一种使用 ROS Sugar 描述节点图的纯 Python 方式。将以下代码复制到 python 脚本中并运行它。

 from agents . clients . ollama import OllamaClient
from agents . components import MLLM
from agents . models import Llava
from agents . ros import Topic , Launcher

# Define input and output topics (pay attention to msg_type)
text0 = Topic ( name = "text0" , msg_type = "String" )
image0 = Topic ( name = "image_raw" , msg_type = "Image" )
text1 = Topic ( name = "text1" , msg_type = "String" )

# Define a model client (working with Ollama in this case)
llava = Llava ( name = "llava" )
llava_client = OllamaClient ( llava )

# Define an MLLM component (A component represents a node with a particular functionality)
mllm = MLLM (
    inputs = [ text0 , image0 ],
    outputs = [ text1 ],
    model_client = llava_client ,
    trigger = [ text0 ],
    component_name = "vqa"
)
# Additional prompt settings
mllm . set_topic_prompt ( text0 , template = """You are an amazing and funny robot.
    Answer the following about this image: {{ text0 }}"""
)
# Launch the component
launcher = Launcher ()
launcher . add_pkg ( components = [ mllm ])
launcher . bringup ()