ros agents

Autre code source

0.3.1

Télécharger

ROS Agents est un cadre complet permettant de créer des agents incarnés interactifs capables de comprendre, de mémoriser et d'agir en fonction des informations contextuelles de leur environnement.

Agents dans le monde réel : conçus pour être utilisés avec des systèmes robotiques autonomes qui fonctionnent dans des environnements dynamiques, en particulier les AMR.
API intuitive : API pythonique simple pour utiliser des modèles ML locaux ou basés sur le cloud (en particulier les LLM multimodaux et autres architectures de transformateur ) sur les robots.
Mémoire sémantique : intègre des bases de données vectorielles, le routage sémantique et d'autres composants de support pour créer rapidement des graphiques arbitrairement complexes pour le flux d'informations agentiques. Pas besoin d'utiliser des frameworks "GenAI" gonflés sur votre robot.
Fabriqué en ROS2 : utilise ROS2 comme middleware sous-jacent. Théoriquement, tous les appareils fournissant un package ROS2 peuvent être utilisés pour envoyer des données aux modèles ML, à condition que le rappel du type de données ait été implémenté.

Instructions d'installation de la caisse

Commencez avec le guide de démarrage rapide

Familiarisez-vous avec les concepts de base

Plongez directement avec des exemples

Installation

Pré-requis

Installer ROS

ROS Agents est conçu pour être utilisé avec ROS2. Toutes les distributions ROS à partir d' Iron sont prises en charge. Installez ROS2 en suivant les instructions sur le site officiel.

Installer une plate-forme de service modèle

Le cœur des agents ROS est indépendant de la modélisation des plates-formes de service. Il prend actuellement en charge Ollama et RoboML. Veuillez installer l'un ou l'autre en suivant les instructions fournies par les projets respectifs. La prise en charge de nouvelles plates-formes sera continuellement ajoutée. Si vous souhaitez prendre en charge une plate-forme particulière, veuillez ouvrir un problème/PR.

Installer les agents ROS (Ubuntu)

Les packages binaires pour Ubuntu seront bientôt publiés. Vérifiez cet espace.

Installer les agents ROS à partir de la source

Obtenir les dépendances

Installer les dépendances Python

pip install pillow numpy opencv-python-headless ' attrs>=23.2.0 ' jinja2 httpx setproctitle msgpack msgpack-numpy numpy-quaternion

Télécharger ROS Sucre

git clone https://github.com/automatika-robotics/ros-sugar

Installer les agents ROS

git clone https://github.com/automatika-robotics/ros-agents.git
cd ..
colcon build
source install/setup.bash
python your_script.py

Démarrage rapide

Contrairement aux autres packages ROS, ROS Agents fournit une manière purement pythonique de décrire le graphe de nœuds à l'aide de ROS Sugar. Copiez le code suivant dans un script python et exécutez-le.

 from agents . clients . ollama import OllamaClient
from agents . components import MLLM
from agents . models import Llava
from agents . ros import Topic , Launcher

# Define input and output topics (pay attention to msg_type)
text0 = Topic ( name = "text0" , msg_type = "String" )
image0 = Topic ( name = "image_raw" , msg_type = "Image" )
text1 = Topic ( name = "text1" , msg_type = "String" )

# Define a model client (working with Ollama in this case)
llava = Llava ( name = "llava" )
llava_client = OllamaClient ( llava )

# Define an MLLM component (A component represents a node with a particular functionality)
mllm = MLLM (
    inputs = [ text0 , image0 ],
    outputs = [ text1 ],
    model_client = llava_client ,
    trigger = [ text0 ],
    component_name = "vqa"
)
# Additional prompt settings
mllm . set_topic_prompt ( text0 , template = """You are an amazing and funny robot.
    Answer the following about this image: {{ text0 }}"""
)
# Launch the component
launcher = Launcher ()
launcher . add_pkg ( components = [ mllm ])
launcher . bringup ()

Et juste comme ça, nous avons un agent qui peut répondre à des questions telles que « Que voyez-vous ? » . Pour interagir avec cet agent, ROS Agents inclut un petit client Web. Consultez le Guide de démarrage rapide pour en savoir plus sur la manière dont les composants et les modèles fonctionnent ensemble.

Agents incarnés élaborés

L'exemple de démarrage rapide ci-dessus n'est qu'un amuse-bouche de ce qui est possible avec les agents ROS. Dans ROS Agents, nous pouvons créer des graphiques de composants arbitrairement sophistiqués. De plus, notre système peut être configuré pour même changer ou se reconfigurer en fonction d'événements internes ou externes au système. Consultez le code de l’agent suivant ici.