ROS LLM

روس-LLM

مشروع ROS-LLM هو إطار عمل ROS لتطبيقات الذكاء المتجسد. إنه يتيح تفاعلات اللغة الطبيعية والتحكم الكبير القائم على النموذج في حركة الروبوت والملاحة لأي روبوت يعمل على ROS.

يمكّنك ROS-LLM من الاستفادة من الوظائف القائمة على نماذج اللغات الكبيرة، مثل GPT-4 وChatGPT، لاتخاذ القرار والتحكم في الروبوت.

تم تصميم هذا الإطار ليكون سهل التوسيع. بمجرد توفير واجهة وظيفية للروبوت الخاص بك، باتباع المثال المقدم، يمكنك دمج واستخدام ROS-LLM في غضون عشر دقائق.

يقدم ROS-LLM حلاً بسيطًا لإنشاء تجارب تفاعلية وتحكمية بسرعة مع أي روبوت.

سمات

• ؟ تكامل ROS : يتفاعل بسلاسة مع نظام تشغيل الروبوت (ROS) للتحكم الآلي الموسع.

• ؟ دعم نماذج اللغات الكبيرة : يستفيد من GPT-4 وChatGPT لتحسين اتخاذ القرار وإدارة المهام.

• التفاعل الطبيعي : يسهل التواصل البديهي مع الروبوتات من خلال المشاركة التحادثية.

• التحكم المرن : يستخدم الأنظمة المستندة إلى LLM لمهام مثل الحركة والملاحة بناءً على تفسير نموذج اللغة.

• ؟ قابلية التوسعة المبسطة : توفر واجهة سهلة لتكامل وظائف الروبوت بشكل سلس.

• التطوير السريع : إنشاء تجارب تحكم تفاعلية في الروبوت بسرعة، وأحيانًا في أقل من عشر دقائق.

• أمثلة تعليمية : يقدم دروسًا وأمثلة شاملة لتسهيل الفهم والتنفيذ.

• ️ تخزين التاريخ : يحتفظ بسجلات الدردشة المحلية للمراجعة والمرجع المناسبين.

دليل البدء السريع

اتبع الإرشادات أدناه لإعداد ROS-LLM:

1. استنساخ المستودع:

استخدم الأمر أدناه لاستنساخ المستودع.

git clone https://github.com/Auromix/ROS-LLM.git

2. تثبيت التبعيات:

انتقل إلى دليل llm_install وقم بتنفيذ البرنامج النصي للتثبيت.

 cd ROS-LLM/llm_install
bash dependencies_install.sh

3. تكوين إعدادات OpenAI:

إذا لم يكن لديك مفتاح OpenAI API، فيمكنك الحصول عليه من OpenAI Platform. استخدم البرنامج النصي أدناه لتكوين مفتاح OpenAI API الخاص بك.

 cd ROS-LLM/llm_install
bash config_openai_api_key.sh

4. تكوين إعدادات AWS (اختياري):

للحصول على إمكانات التفاعل الطبيعي السحابي، قم بتكوين إعدادات AWS. إذا كنت تفضل استخدام ASR المحلي، فيمكن تخطي هذه الخطوة.

بالنسبة للأنظمة الأساسية المدمجة ذات الأداء المنخفض، يوصى باستخدام خدمات ASR السحابية لتقليل ضغط الحوسبة، وبالنسبة للمضيفين الشخصيين ذوي الأداء العالي، يوصى باستخدام خدمات ASR المحلية لتسريع الاستجابة

 cd ROS-LLM/llm_install
bash config_aws.sh

4. تكوين إعدادات OpenAI Whisper (اختياري):

للحصول على إمكانيات التفاعل الطبيعي المحلي، قم بتكوين إعدادات OpenAI Whisper. إذا كنت تفضل استخدام Cloud ASR، فيمكن تخطي هذه الخطوة.

بالنسبة للأنظمة الأساسية المدمجة ذات الأداء المنخفض، يوصى باستخدام خدمات ASR السحابية لتقليل ضغط الحوسبة، وبالنسبة للمضيفين الشخصيين ذوي الأداء العالي، يوصى باستخدام خدمات ASR المحلية لتسريع الاستجابة

pip install -U openai-whisper
pip install setuptools-rust

5. بناء مساحة العمل:

انتقل إلى دليل مساحة العمل الخاصة بك وقم ببناء مساحة العمل.

 cd < your_ws >
rosdep install --from-paths src --ignore-src -r -y  # Install dependencies
colcon build --symlink-install

6. قم بتشغيل العرض التوضيحي:

احصل على مصدر البرنامج النصي للإعداد وابدأ تشغيل عرض Turtlesim باستخدام السحابة ASR.

 source < your_ws > /install/setup.bash
ros2 launch llm_bringup chatgpt_with_turtle_robot.launch.py

ابدأ بالاستماع

ros2 topic pub /llm_state std_msgs/msg/String " data: 'listening' " -1

تكوين الروبوت الخاص بك (اختياري)

لاستخدام إطار العمل مع الروبوت الخاص بك، قم بتعديل حزم llm_robot و llm_config لتتناسب مع مواصفات الروبوت الخاص بك. يتيح لك هذا تخصيص سلوك الروبوت الخاص بك.

‍ خطط التنمية المستقبلية

نحن نسعى باستمرار لتعزيز ROS-LLM لتقديم خدمة أفضل للمطورين وعلماء الروبوتات في المجتمع. فيما يلي التطورات الرئيسية التي نخطط للقيام بها في التحديثات القادمة:

• آلية الوكيل

تسمح إضافة آلية الوكيل بتقسيم المهام ذات التسلسل الطويل بشكل جيد.

• قناة ردود الفعل من الوظائف الخارجية

نحن نخطط لإضافة آلية ردود الفعل للروبوت لتلقي المعلومات من الوظائف الخارجية. وهذا من شأنه أن يساعد بشكل كبير في عمليات صنع القرار القائمة على النماذج.

• واجهة الملاحة

هناك أيضًا واجهة جديدة للملاحة الآلية قيد الإعداد أيضًا. سيمكن من استخدام هذا الإطار في المهام الموجهة نحو التنقل.

• واجهة إدخال الاستشعار

تعد إضافة واجهات إدخال أجهزة الاستشعار الأخرى تطورًا رئيسيًا آخر. سيؤدي ذلك إلى دمج الإدراك البيئي في أماكن اتخاذ القرار النموذجية، والتحضير لوظائف مثل تجنب العوائق.

• التكامل مع النماذج القائمة على الرؤية مثل Palm-e

نحن نهدف إلى توسيع قدرات ROS-LLM من خلال دمج النماذج التي تسمح بالإدخال البصري، مثل Palm-e. وهذا من شأنه أن يتيح استخدام تقنيات الرؤية الحاسوبية المتقدمة لتحسين التفاعل البيئي.

• التحسين المستمر

وأخيرًا وليس آخرًا، سنركز على التحسين المستمر للإطار. نحن ملتزمون بتحسين عقلانية وقابلية التوسعة لـ ROS-LLM لتسهيل قيام المطورين بتخصيص إطار العمل وتوسيعه وفقًا لاحتياجاتهم.

راقب هذا الريبو للحصول على التحديثات. اقتراحاتكم ومساهماتكم هي موضع ترحيب دائما!

؟ للمستخدم

إذا وجدت هذا المشروع مفيدًا، فيرجى التفكير في منحه ️ نجمة على GitHub! دعمكم يساعدنا على تحسين المشروع ويشجع على مزيد من التطوير. لا تنس أيضًا مشاركتها مع أصدقائك وزملائك الذين قد يكونون مفيدًا. شكرا لدعمكم!

؟ المساهمة

المساهمات هي موضع ترحيب! يرجى قراءة إرشادات المساهمة قبل تقديم طلب السحب.

؟ رخصة

 Copyright 2023 Herman Ye @Auromix
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
    http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.