h2oGPT

قم بتحويل ★ إلى (الزاوية العلوية اليمنى) إذا أعجبك المشروع!

يمكنك الاستعلام عن مستنداتك وتلخيصها أو مجرد الدردشة مع GPT LLMs المحلية الخاصة باستخدام h2oGPT، وهو مشروع مفتوح المصدر من Apache V2.

تحقق من CoT Open-o1 الطويل المفتوح؟ الفراولة؟ المشروع: https://github.com/pseudotensor/open-Strawberry

العرض المباشر

جراديو التجريبي

عرض OpenWebUI

فيديو تجريبي

demo2.mp4

فيديو يوتيوب 4K

سمات

قاعدة بيانات خاصة دون اتصال بالإنترنت لأية مستندات (ملفات PDF، وExcel، وWord، والصور، وإطارات الفيديو، وYouTube، والصوت، والتعليمات البرمجية، والنص، وMarkDown، وما إلى ذلك)
- قاعدة بيانات ثابتة (Chroma أو Weaviate أو FAISS في الذاكرة) باستخدام عمليات تضمين دقيقة (كبيرة للمعلمين، أو all-MiniLM-L6-v2، وما إلى ذلك)
- الاستخدام الفعال للسياق باستخدام LLMs المضبوطة بالتعليمات (لا حاجة لنهج LangChain القليل اللقطة)
- تلخيص واستخراج متوازي ، يصل إلى إخراج 80 رمزًا في الثانية باستخدام نموذج 13B LLaMa2
- HYDE (تضمين المستندات الافتراضية) لتحسين الاسترجاع بناءً على استجابات LLM
- القطع الدلالي لتقسيم المستندات بشكل أفضل (يتطلب GPU)
مجموعة متنوعة من النماذج المدعومة (LLaMa2، وMistral، وFalcon، وVicuna، وWizardLM. مع AutoGPTQ، و4 بت/8 بت، وLORA، وما إلى ذلك)
- دعم GPU من نماذج HF وLLaMa.cpp GGML، ودعم وحدة المعالجة المركزية باستخدام نماذج HF وLLaMa.cpp وGPT4ALL
- مغاسل الانتباه للجيل الطويل بشكل تعسفي (LLaMa-2، وMistral، وMPT، وPythia، وFalcon، وما إلى ذلك)
Gradio UI أو CLI مع تدفق جميع الموديلات
- تحميل المستندات وعرضها من خلال واجهة المستخدم (التحكم في مجموعات تعاونية أو شخصية متعددة)
- نماذج الرؤية LLaVa، Claude-3، Gemini-Pro-Vision، GPT-4-Vision
- الانتشار المستقر لإنشاء الصور (sdxl-turbo، وsdxl، وSD3)، وPlaygroundAI (playv2)، وFlux
- صوت STT باستخدام Whisper مع تحويل الصوت المتدفق
- تحويل الصوت إلى كلام (TTS) باستخدام Microsoft Speech T5 المرخص من MIT مع أصوات متعددة وتحويل الصوت المتدفق
- تحويل الصوت إلى كلام باستخدام تحويل النص إلى كلام (TTS) المرخص من MPL2 بما في ذلك استنساخ الصوت وتحويل الصوت المتدفق
- وضع التحكم الصوتي لمساعد الذكاء الاصطناعي للتحكم بدون استخدام اليدين في دردشة h2oGPT
- وضع واجهة المستخدم Bake-off ضد العديد من النماذج في نفس الوقت
- سهولة تنزيل العناصر النموذجية والتحكم في النماذج مثل LLaMa.cpp من خلال واجهة المستخدم
- المصادقة في واجهة المستخدم بواسطة المستخدم/كلمة المرور عبر Native أو Google OAuth
- الحفاظ على الحالة في واجهة المستخدم بواسطة المستخدم/كلمة المرور
افتح واجهة مستخدم الويب باستخدام h2oGPT كواجهة خلفية عبر OpenAI Proxy
- راجع مستندات بدء التشغيل.
- استكمال الدردشة مع البث
- قم بتوثيق الأسئلة والأجوبة باستخدام استيعاب h2oGPT مع التعرف الضوئي على الحروف (OCR) المتقدم من DocTR
- نماذج الرؤية
- النسخ الصوتي (STT)
- توليد الصوت (TTS)
- توليد الصورة
- المصادقة
- الحفاظ على الدولة
دعم Linux وDocker وmacOS وWindows
دعم خوادم الاستدلال لـ oLLaMa، وخادم HF TGI، وvLLM، وGradio، وExLLaMa، وReplicate، وTogether.ai، وOpenAI، وAzure OpenAI، وAnthropic، وMistralAI، وGoogle، وGroq
متوافق مع OpenAI
- Server Proxy API (يعمل h2oGPT كبديل لخادم OpenAI)
- إكمال الدردشة والنص (البث المباشر وغير المتدفق)
- النسخ الصوتي (STT)
- توليد الصوت (TTS)
- توليد الصور
- التضمين
- استدعاء أداة الوظيفة مع اختيار الأداة تلقائيًا
- وكيل تنفيذ رمز AutoGen
وضع جيسون
- تحكم صارم في مخطط vLLM من خلال استخدامه للمخططات التفصيلية
- تحكم صارم في المخطط لنماذج OpenAI وAnthropic وGoogle Gemini وMistralAI
- وضع JSON لبعض نماذج OpenAI أو Gemini الأقدم مع التحكم في المخطط إذا كان النموذج ذكيًا بدرجة كافية (على سبيل المثال، Gemini 1.5 flash)
- أي نموذج عن طريق استخراج كتلة التعليمات البرمجية
تكامل بحث الويب مع الدردشة والمستندات Q/A
وكلاء البحث، مستند الأسئلة والأجوبة، رمز Python، إطارات CSV
- وكلاء ذوو جودة عالية عبر خادم وكيل OpenAI على منفذ منفصل
- وكيل الكود الأول الذي يقوم بإنشاء المخططات والأبحاث وتقييم الصور عبر نموذج الرؤية وما إلى ذلك (رمز العميل openai_server/openai_client.py).
- لا توجد واجهة مستخدم لهذا، فقط API
تقييم الأداء باستخدام نماذج المكافأة
تم الحفاظ على الجودة من خلال أكثر من 1000 وحدة واختبارات التكامل التي تستغرق أكثر من 24 ساعة من وحدة معالجة الرسومات

ابدأ

قم بتثبيت h2oGPT

يوصى باستخدام Docker لأنظمة Linux وWindows وMAC للحصول على الإمكانيات الكاملة. يتمتع Linux Script أيضًا بقدرة كاملة، بينما تتمتع البرامج النصية لـ Windows وMAC بقدرات أقل من استخدام Docker.

Docker Build and Run Docs (Linux، Windows، MAC)
تثبيت وتشغيل المستندات في Linux
سكريبت تثبيت ويندوز 10/11
تثبيت وتشغيل المستندات من MAC
البدء السريع على أي منصة

عروض التعاون التجريبية

وحدة المعالجة المركزية h2oGPT
وحدة معالجة الرسومات h2oGPT

موارد

الأسئلة الشائعة
التمهيدي لـ LangChain
الفتنة
النماذج (LLaMa-2، Falcon 40، إلخ.) في ؟
YouTube: بديل ChatGPT 100% دون اتصال بالإنترنت؟
YouTube: المواجهة النهائية للماجستير في القانون مفتوح المصدر (تم اختبار 6 نماذج) - نتائج مذهلة!
YouTube: Blazing Fast Falcon 40b غير خاضع للرقابة، مفتوح المصدر، مستضاف بالكامل، يمكنك الدردشة مع مستنداتك
الورقة الفنية: https://arxiv.org/pdf/2306.08161.pdf

دليل المستندات

ابدأ
- لينكس (وحدة المعالجة المركزية أو كودا)
- نظام التشغيل macOS (وحدة المعالجة المركزية أو M1/M2)
- نظام التشغيل Windows 10/11 (وحدة المعالجة المركزية أو CUDA)
- تفاصيل تشغيل GPU (CUDA، AutoGPTQ، exllama).
- تفاصيل تشغيل وحدة المعالجة المركزية
- دردشة CLI
- واجهة المستخدم Gradio
- واجهة برمجة تطبيقات العميل (Gradio، متوافقة مع OpenAI)
- خوادم الاستدلال (oLLaMa، خادم HF TGI، vLLM، Groq، Anthropic، Google، Mistral، Gradio، ExLLaMa، Replicate، OpenAI، Azure OpenAI)
- بناء عجلة بايثون
- التثبيت دون اتصال
- انخفاض الذاكرة
- عامل ميناء
دعم مستند LangChain
قارن بـ PrivateGPT وآخرون.
خريطة الطريق
تطوير
يساعد
- أنواع ملفات LangChain المدعومة
- التحكم في قاعدة بيانات CLI
- التعليمات
  - ملاحظات استخدام النموذج
  - إضافة نماذج LLM (بما في ذلك استخدام GGUF وAttention Sinks)
  - إضافة نماذج التضمين
  - إضافة المطالبات
  - التعلم في السياق
  - وحدات معالجة الرسومات المتعددة
  - استخدام الذاكرة المنخفضة
  - متغيرات البيئة
  - وصول HTTPS للخادم والعميل
- روابط مفيدة
- الكون المثالى
- تريتون
- الجدوى التجارية
شكر وتقدير
لماذا H2O.ai؟
تنصل

تطوير

لإنشاء بيئة تطوير للتدريب والإنشاء، اتبع تعليمات التثبيت.
لضبط أي نماذج LLM على بياناتك، اتبع تعليمات الضبط الدقيق.

لتشغيل اختبارات h2oGPT:

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

أو قم بتعديل/تشغيل tests/test4gpus.sh لتشغيل الاختبارات بالتوازي.

شكر وتقدير

استندت بعض أكواد التدريب إلى إصدار 24 مارس من Alpaca-LoRA.
تم استخدام البيانات عالية الجودة التي تم إنشاؤها بواسطة OpenAssistant.
النماذج الأساسية المستخدمة بواسطة EleutherAI.
بيانات OIG المستخدمة التي أنشأتها LAION.

لماذا H2O.ai؟

قام صناعنا في H2O.ai ببناء العديد من منصات التعلم الآلي والتعلم العميق والذكاء الاصطناعي ذات المستوى العالمي:

منصة التعلم الآلي مفتوحة المصدر رقم 1 للمؤسسة H2O-3
أفضل AutoML (التعلم الآلي للآلة) في العالم مع الذكاء الاصطناعي بدون سائق H2O
التعلم العميق بدون كود مع شعلة الهيدروجين H2O
معالجة المستندات باستخدام التعلم العميق في المستند AI

قمنا أيضًا ببناء منصات للنشر والمراقبة ولمناقشة البيانات والحوكمة:

H2O MLOps لنشر النماذج ومراقبتها على نطاق واسع
متجر ميزات H2O بالتعاون مع AT&T
أطر عمل تطوير تطبيقات الذكاء الاصطناعي ذات التعليمات البرمجية المنخفضة مفتوحة المصدر Wave وNitro
جدول بيانات Python مفتوح المصدر (محرك هندسة ميزات H2O Driverless AI)

يقوم العديد من عملائنا بإنشاء نماذج ونشرها على مستوى المؤسسة وعلى نطاق واسع في H2O AI Cloud:

السحابة المتعددة أو في أماكن العمل
السحابة المُدارة (SaaS)
السحابة الهجينة
متجر تطبيقات الذكاء الاصطناعي

نحن فخورون بأن لدينا أكثر من 25 (من أصل 280) من Kaggle Grandmasters في العالم يدعون H2O إلى موطنهم، بما في ذلك ثلاثة من Kaggle Grandmasters الذين وصلوا إلى المركز الأول عالميًا.

تنصل

يرجى قراءة إخلاء المسؤولية هذا بعناية قبل استخدام نموذج اللغة الكبير المتوفر في هذا المستودع. إن استخدامك للنموذج يعني موافقتك على الشروط والأحكام التالية.

التحيزات والهجوم: يتم تدريب نموذج اللغة الكبير على مجموعة متنوعة من البيانات النصية عبر الإنترنت، والتي قد تحتوي على محتوى متحيز أو عنصري أو مسيء أو غير لائق. باستخدام هذا النموذج، فإنك تقر وتقبل أن المحتوى الذي تم إنشاؤه قد يظهر في بعض الأحيان تحيزات أو ينتج محتوى مسيء أو غير مناسب. لا يؤيد مطورو هذا المستودع أو يدعمون أو يروجون لأي محتوى أو وجهات نظر من هذا القبيل.
القيود: نموذج اللغة الكبير هو أداة تعتمد على الذكاء الاصطناعي وليس إنسانًا. قد ينتج عنها ردود غير صحيحة أو غير منطقية أو غير ذات صلة. تقع على عاتق المستخدم مسؤولية إجراء تقييم نقدي للمحتوى الذي تم إنشاؤه واستخدامه وفقًا لتقديره.
الاستخدام على مسؤوليتك الخاصة: يجب على مستخدمي هذا النموذج اللغوي الكبير أن يتحملوا المسؤولية الكاملة عن أي عواقب قد تنشأ عن استخدامهم للأداة. لا يتحمل المطورون والمساهمون في هذا المستودع المسؤولية عن أي أضرار أو خسائر أو أذى ناتج عن استخدام أو سوء استخدام النموذج المقدم.
الاعتبارات الأخلاقية: يتم تشجيع المستخدمين على استخدام نموذج اللغة الكبير بطريقة مسؤولة وأخلاقية. باستخدام هذا النموذج، فإنك توافق على عدم استخدامه لأغراض تروج لخطاب الكراهية أو التمييز أو المضايقة أو أي شكل من أشكال الأنشطة غير القانونية أو الضارة.
الإبلاغ عن المشكلات: إذا واجهت أي محتوى متحيز أو مسيء أو غير مناسب بأي شكل آخر تم إنشاؤه بواسطة نموذج اللغة الكبير، فيرجى الإبلاغ عنه إلى مشرفي المستودع من خلال القنوات المتوفرة. ستساعد ملاحظاتك في تحسين النموذج والتخفيف من المشكلات المحتملة.
التغييرات في إخلاء المسؤولية هذا: يحتفظ مطورو هذا المستودع بالحق في تعديل أو تحديث إخلاء المسؤولية هذا في أي وقت دون إشعار مسبق. وتقع على عاتق المستخدم مسؤولية مراجعة إخلاء المسؤولية بشكل دوري للبقاء على علم بأي تغييرات.

باستخدام نموذج اللغة الكبير المتوفر في هذا المستودع، فإنك توافق على قبول الشروط والأحكام الموضحة في إخلاء المسؤولية هذا والامتثال لها. إذا كنت لا توافق على أي جزء من إخلاء المسؤولية هذا، فيجب عليك الامتناع عن استخدام النموذج وأي محتوى ينتج عنه.