SuperKnowa
SuperKnowa RAG
إطار عمل سريع لبناء خطوط أنابيب Enterprise RAG (الجيل المعزز للمسترد) على نطاق واسع - مدعوم من Watsonx
مرحبًا بك في مستودع SuperKnowa GitHub! يعمل إطار عمل SuperKnowa على تسريع تطبيقات الذكاء الاصطناعي المؤسسية الخاصة بك للحصول على حلول جاهزة للإنتاج بسرعة على بياناتك الخاصة. ستجد هنا مجموعة متنوعة من المكونات القابلة للتوصيل والمصممة للتعامل مع حالات استخدام الذكاء الاصطناعي التوليدي المتنوعة باستخدام نماذج اللغات الكبيرة (LLMs). فكر في هذه المكونات باعتبارها وحدات بناء، تشبه إلى حد كبير قطع Lego، التي يمكنك تجميعها لمواجهة مجموعة واسعة من التحديات في مجال إنشاء النصوص المعتمدة على الذكاء الاصطناعي. تم اختبارها في المعركة من مليون إلى 200 مليون قاعدة معرفية خاصة وتم توسيع نطاقها إلى مليارات من رموز الاسترداد.
المسار العام لإطار عمل SuperKnowa RAG وكتل البناء الرئيسية:
المكونات القابلة للتكوين لخط أنابيب SuperKnowa RAG باستخدام ملف واحد:
SuperKnowa هو إطار عمل قوي تم تطويره باستخدام watsonx (شاهد الفيديو على watsonx.ai هنا) الذي يسخر إمكانات نماذج اللغات الكبيرة (LLMs) لتقديم مجموعة من حالات استخدام الذكاء الاصطناعي التوليدي المتقدمة. يقدم لك هذا المستودع حالات الاستخدام المتنوعة التي يغطيها SuperKnowa.
تعرف على المزيد حول SuperKnowa في منشور مدونتنا الثاقب:
مدونة الغلاف - SuperKnowa: بناء حلول RAG للمؤسسات على نطاق واسع https://medium.com/towards-geneative-ai/superknowa-simplest-framework-yet-to-swiftly-build-enterprise-rag-solutions-at-scale-ca90b49be28a
جرّب إطار عمل SuperKnowa من خلال تطبيق مباشر مبني على قاعدة المعرفة الخاصة التي تضم مليون مستند متنوع:
https://superknowa.tsglwatson.buildlab.cloud/
(في حالة عدم وجود معرف IBM لديك، برجاء الحصول عليه هنا - https://www.ibm.com/account/reg/us-en/signup?formid=urx-19776)
يمكنك البدء بتحديث ملف config.yaml وتشغيل البرنامج النصي LLMQnA.py لتكوين مسار RAG الخاص بك بسرعة:
retriever:
indexName: superknowa
query: What is IBM Cloud?
....
reranker:
query: What is IBM Data and Analytics Reference Architecture?
...
LLMQnA:
question: What is IBM Data and Analytics Reference Architecture?
...
لاستكشاف ميزات وإمكانيات SuperKnowa، راجع سلسلة المدونات وأمثلة التعليمات البرمجية والموارد المتوفرة في هذا المستودع.
للحصول على تعليمات وأمثلة تفصيلية، انتقل إلى دليل كل مكون. أطلق العنان لإمكانات نماذج اللغات الكبيرة في مشاريعك باستخدام مكونات Lego للذكاء الاصطناعي التوليدي من SuperKnowa!
دعونا نطلق العنان لإمكانات الذكاء الاصطناعي التوليدي مع SuperKnowa ونشكل مستقبل معالجة المعرفة المدعومة بالذكاء الاصطناعي!
فهرسة الوثائق
بحث مرن
سولر
اكتشاف واتسون
المسترد العصبي
بحث مرن
سولر
إعادة الترتيب
التعلم في السياق باستخدام LLM
تقييمات LLM
تقييم نموذج LLM
التكامل ملفلو
الكون المثالى
إرشاد قاعدة البيانات
ضبط دقيق لـ Falcon 7B باستخدام QLORA
الضبط الدقيق لـ LLAMA2 7B باستخدام QLORA
نموذج RLHF
نشر واستنتاج
الخلفية
النشر
أداة محاذاة الذكاء الاصطناعي
حالات استخدام LLM للمؤسسات
قياس توافق نماذج الذكاء الاصطناعي مع مقاييس المساعدة والضرر والدقة من خلال التقاط المدخلات البشرية.
أنشئ تجاربك المتنوعة عبر الإنترنت وفي وضع عدم الاتصال للتقييمات وقارن نتائج محاذاة الذكاء الاصطناعي باستخدام لوحة معلومات تفاعلية.
Eval_Package هي أداة مصممة لتقييم أداء LLM (نموذج اللغة) على مجموعة بيانات تحتوي على أسئلة وسياق وإجابات مثالية. فهو يسمح لك بإجراء تقييمات على مجموعات بيانات مختلفة وتقييم مدى جودة النموذج في توليد الإجابة على العشرات من المقاييس الإحصائية مثل BLUE وROUGE وما إلى ذلك.
إن MLflow_Package عبارة عن مجموعة أدوات شاملة مصممة لدمج النتائج من Eval_Package وتتبع التجارب وإدارتها بكفاءة. كما أنه يمكّنك من إنشاء لوحة صدارة لمقارنات التقييم وتصور المقاييس من خلال لوحة المعلومات.
فيما يلي قائمة بحالات استخدام الذكاء الاصطناعي التوليدي التي تم إنشاؤها باستخدام إطار عمل SuperKnowa.
انخرط في محادثات باللغة الطبيعية من خلال نظام الأسئلة والأجوبة التحادثية (Q&A) الخاص بـ SuperKnowa. اطرح أسئلة بناءً على قاعدة معارف المؤسسات الخاصة، واحصل على إجابات تفصيلية واعية بالسياق.
استفد من ميزة "اسأل مستنداتك" الخاصة بـ SuperKnowa لفتح إمكانات ملفات PDF والمستندات النصية الخاصة بك. بإمكان SuperKnowa مساعدتك في استخراج المعلومات ذات الصلة، والإجابة على أسئلة محددة، والمساعدة في استرجاع المعلومات.
قم بإنشاء ملخصات متماسكة وغنية بالمعلومات بسهولة باستخدام ميزة التلخيص الخاصة بـ SuperKnowa عبر مجموعة نصية كبيرة باستخدام FlanT5 وUL2. استخراج النقاط الرئيسية والتفاصيل الأساسية من المقالات والتقارير والنصوص الأخرى، مما يسمح بفهم المحتوى بكفاءة.
ميزة التلخيص التجريدي لـ SuperKnowa تتجاوز الاستخراج البسيط باستخدام FlanUL2 وLLAMA2. يمكنه تحليل مستندات PDF الطويلة وإنشاء ملخصات مجردة موجزة، مع التقاط جوهر المحتوى. بالإضافة إلى ذلك، يحدد SuperKnowa النقاط الرئيسية، مما يسهل فهم المعلومات المعقدة وإيصالها.
استمتع بقوة قدرة SuperKnowa على تحويل النص إلى SQL، والتي تحول استعلامات اللغة الطبيعية إلى استعلامات SQL منظمة. التفاعل مع قواعد البيانات باستخدام لغة بسيطة، مما يلغي الحاجة إلى الخبرة في SQL.
تم الإنشاء والهندسة بواسطة
بناة
تم تطوير هذا الإطار بواسطة Build Lab وIBM Ecosystem. يرجى ملاحظة أن هذا المحتوى متاح لتعزيز اعتماد تقنية الذكاء الاصطناعي القابلة للتضمين وخدمة شركاء النظام البيئي. قد يشتمل المحتوى على أنظمة وطرق في انتظار الحصول على براءة اختراع لدى مكتب الولايات المتحدة للبراءات والعلامات التجارية ومحمي بموجب قوانين براءات الاختراع الأمريكية. SuperKnowa ليس منتجًا ولكنه إطار عمل مبني على الجزء العلوي من IBM watsonx إلى جانب منتجات أخرى مثل نماذج LLAMA من Meta وML Flow من Databricks. يتطلب استخدام SuperKnowa ضمنيًا الموافقة على الشروط والأحكام الخاصة بتلك المنتجات. يتم توفير هذا الإطار على أساس كما هو لتسريع عملية تطوير تطبيقات Enterprise GenAI. في حالة وجود أي أسئلة، برجاء التواصل مع [email protected].
حقوق الطبع والنشر @ لشركة IBM لعام 2023.
