الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

ChatGPT: المصدر المفتوح وما بعده

الصينية المبسطة |

الطريق إلى تنفيذ وتجاوز نموذج ChatGPT مفتوح المصدر

منذ التسرب العرضي لأوزان LLaMA والأداء المثير للإعجاب لتعليمات Stanford Alpaca للضبط الدقيق لـ LLaMA باستخدام البيانات المبنية من واجهة برمجة تطبيقات gpt-3 بطريقة التوجيه الذاتي، أصبح مجتمع المصادر المفتوحة مهتمًا أكثر فأكثر بتحقيق قدر كبير من الأهمية. نموذج اللغة على مستوى ChatGPT يزداد تفاؤلاً.

يهدف هذا الريبو إلى تسجيل عملية التكاثر والتعالي هذه، وتقديم نظرة عامة للمجتمع.

بما في ذلك: التقدم التكنولوجي ذي الصلة، والنماذج الأساسية، ونماذج المجال، والتدريب، والاستدلال، والتكنولوجيا، والبيانات، ومتعدد اللغات، ومتعدد الوسائط، وما إلى ذلك.

# جدول المحتويات
  • النماذج الأساسية
  • نماذج المجال
  • نماذج تعليمات المجال العام
  • دمج النموذج
  • بدائل للمحولات
  • متعدد الوسائط
  • وزارة التربية والتعليم
  • بيانات
    • بيانات ما قبل التدريب
    • بيانات التعليمات
    • توليد البيانات الاصطناعية
  • تقييم
    • المعيار
    • لوحة المتصدرين
  • الإطار/مجموعة الأدوات/النظام الأساسي
  • تنسيق
  • متعدد اللغات
    • توسيع المفردات
  • التدريب الفعال/الضبط الدقيق
  • الاستدلال منخفض التكلفة
    • التكميم
    • المشاريع
    • الضغط الفوري
  • مطالبة
  • أمان
  • الصدق
  • تجاوز نافذة السياق
  • تحرير المعرفة
    • التنفيذ
  • المعرفة الخارجية
    • محرك بحث الذكاء الاصطناعي
    • الدردشة مع المستندات
    • تحليل المحتوى
    • قاعدة بيانات المتجهات
  • الأدوات الخارجية
    • استخدام الأدوات الموجودة
    • اصنع أدوات جديدة
  • عامل
  • LLMs مثل XXX
  • مجموعات مماثلة

النماذج الأساسية

مساهم نموذج/مشروع رخصة لغة الميزة الرئيسية
ميتا لاما/لاما2 متعدد يتفوق LLaMA-13B على GPT-3(175B) ويتنافس LLaMA-65B مع PaLM-540M.
النموذج الأساسي لمعظم أعمال المتابعة.
HuggingFace-BigScience يزدهر متعدد نموذج لغة كبير (LLM) ذو انحدار ذاتي تم تدريبه بواسطة HuggingFace BigScience.
HuggingFace-BigScience بلومز متعدد إصدار مضبوط للتعليمات من نماذج اللغات متعددة اللغات BLOOM وmT5 المدربة مسبقًا على خليط المهام متعدد اللغات.
إليوثيرAI جي بي تي-ي أون تم تدريب نموذج المحولات باستخدام Mesh Transformer JAX من Ben Wang.
ميتا الأراضي الفلسطينية المحتلة أون فتح نماذج لغة المحولات المدربة مسبقًا، والهدف من تطوير هذه المجموعة من نماذج OPT هو تمكين التكرار
والبحوث المسؤولة على نطاق واسع، ولجلب المزيد من الأصوات إلى الطاولة في دراسة تأثير هذه LLMs.
أنظمة سيريبراس سيريبراس-GPT أون LLM مدرب مسبقًا، مثل GPT-3، متاح تجاريًا، ومدرب بكفاءة على الكمبيوتر الفائق Andromeda AI،
تم تدريبه وفقًا لقوانين قياس Chinchilla (20 رمزًا مميزًا لكل معلمة نموذج) وهو الحساب الأمثل.
إليوثيرAI بيثون أون الجمع بين تحليل قابلية التفسير وقوانين القياس لفهم كيفية تطور المعرفة
ويتطور أثناء التدريب على محولات الانحدار الذاتي.
الاستقرار-الذكاء الاصطناعي StableLM أون نماذج لغة الذكاء الاصطناعي المستقرة
فو.دو طحلب أون/ز نموذج لغة محادثة معزز بأداة مفتوحة المصدر من جامعة فودان.
التماثل وFDU بي بي تي-2 ز 12B مفتوح المصدر LM.
@mlfoundations OpenFlamingo أون إطار عمل مفتوح المصدر لتدريب نماذج كبيرة متعددة الوسائط.
إليوثيرAI جي بي تي-نيوإكس-20بي أون تشبه هندسته المعمارية بنية GPT-3 عمدًا، وهي مطابقة تقريبًا لبنية GPT-J-6B.
يو سي بي OpenLLAMA أباتشي-2.0 أون نسخة مفتوحة من LLaMA.
فسيفساءML MPT أباتشي-2.0 أون MPT-7B هو نموذج من طراز GPT، وهو الأول في سلسلة نماذج MosaicML Foundation.
تم تدريب MPT-7B على رموز 1T لمجموعة بيانات برعاية MosaicML، وهو مفتوح المصدر،
قابلة للاستخدام تجاريًا، ومكافئة لـ LLaMa 7B في مقاييس التقييم.
معًا للكمبيوتر بيجامة حمراء-INCITE-Base-3B-v1 أباتشي-2.0 أون نموذج لغة تم تدريبه مسبقًا بمعلمة 2.8B، تم تدريبه مسبقًا على RedPajama-Data-1T،
بالإضافة إلى إصدار مضبوط للتعليمات وإصدار للدردشة.
البرق-الذكاء الاصطناعي مضاءة اللاما أباتشي-2.0 - التنفيذ المستقل لـLLaMA وهو مفتوح المصدر بالكامل بموجب ترخيص Apache 2.0.
@conceptofmind الحركة الشعبية لتحرير السودان رخصة معهد ماساتشوستس للتكنولوجيا أون تطبيق مفتوح المصدر لنماذج Google PaLM.
TII فالكون-7ب رخصة TII Falcon LLM أون نموذج 7B لوحدة فك التشفير السببية فقط تم إنشاؤه بواسطة TII وتم تدريبه على 1500B من الرموز المميزة لـ RefinedWeb المعززة بمجموعات منسقة.
TII فالكون-40ب رخصة TII Falcon LLM متعدد نموذج مكون من 40 مليار وحدة فك ترميز سببية فقط تم إنشاؤه بواسطة TII وتم تدريبه على 1000 مليار رمز مميز من RefinedWeb معززًا بمجموعات منسقة.
بحث النمر TigerBot أباتشي-2.0 أون/ز متعدد اللغات ومتعدد المهام LLM.
باي أكويلا/أكويلا2 BAAI_Aquila_Model_License أون/ز يرث نموذج لغة Aquila مزايا التصميم المعماري لـ GPT-3 وLLaMA، ليحل محل مجموعة من الأنظمة الأساسية الأكثر كفاءة
تطبيقات المشغلين وإعادة تصميم الرمز المميز لدعم ثنائي اللغة الصينية-الإنجليزية.
أوبن بي إم بي CPM-النحلة اتفاقية الترخيص النموذجية العالمية – بيان المصدر – قيود الدعاية – التصريح التجاري أون/ز CPM-Bee هو نموذج أساسي ثنائي اللغة صيني-إنجليزي مفتوح المصدر بالكامل وقابل للاستخدام تجاريًا بسعة تصل إلى عشرة مليارات معلمة.
وقد تم تدريبه مسبقًا على مجموعة واسعة من الرموز المميزة بحجم تريليون.
بايتشوان بايتشوان-7B أباتشي-2.0 أون/ز لقد حققت أفضل أداء بين النماذج من نفس الحجم القياسي
المعايير الرسمية الصينية والإنجليزية (C-EVAL، MMLU، إلخ).
تينسنت lyraChatGLM رخصة معهد ماساتشوستس للتكنولوجيا أون/ز على حد علمنا، فهي أول نسخة سريعة من ChatGLM-6B .
حققت سرعة الاستدلال في lyraChatGLM تسارعًا يصل إلى 300 مرة مقارنة بالإصدار الأصلي المبكر.
ما زلنا نعمل بجد لمواصلة تحسين الأداء.
قوة المبيعات XGen أباتشي-2.0 متعدد Salesforce LLMs مفتوحة المصدر بطول تسلسل 8 كيلو
مختبر شنغهاي للذكاء الاصطناعي المتدربLM أباتشي-2.0 أون/ز لقد قامت شركة InternLM بفتح مصدر مفتوح لنموذج أساسي مكون من 7 مليارات معلمة ونموذج دردشة مصمم للسيناريوهات العملية. يتميز النموذج بالخصائص التالية:
إنه يستفيد من تريليونات الرموز عالية الجودة للتدريب لإنشاء قاعدة معرفية قوية.
وهو يدعم طول نافذة السياق 8 كيلو، مما يتيح تسلسلات إدخال أطول وقدرات تفكير أقوى.
فهو يوفر مجموعة أدوات متعددة الاستخدامات للمستخدمين لبناء سير العمل الخاص بهم بمرونة.
xverse-ai XVERSE أباتشي-2.0 متعدد دورات LLM متعددة اللغات تم تطويرها بواسطة شركة XVERSE Technology Inc.
الكاتب تدمر أباتشي-2.0 أون قوي للغاية بينما يكون سريعًا للغاية، يتفوق هذا النموذج في العديد من المهام الدقيقة
مثل تصنيف المشاعر وتلخيصها.
ميسترال منظمة العفو الدولية ميسترال أباتشي-2.0 أون ميسترال 7B هو نموذج معلمة 7.3B الذي:
1. يتفوق على Llama 2 13B في جميع المعايير
2. يتفوق على Llama 1 34B في العديد من المعايير
3. يقترب من أداء CodeLlama 7B في الكود، مع البقاء جيدًا في مهام اللغة الإنجليزية
4. يستخدم اهتمام الاستعلام المجمع (GQA) للاستدلال بشكل أسرع
5. يستخدم تنبيه النافذة المنزلقة (SWA) للتعامل مع التسلسلات الأطول بتكلفة أقل
SkyworkAI سكاي وورك - أون/ز في معايير التقييم الرئيسية، يعد Skywork-13B في طليعة النماذج الصينية مفتوحة المصدر وهو المستوى الأمثل تحت نفس مقياس المعلمة؛
ويمكن استخدامه تجاريًا بدون تطبيق؛ كما أنه يحتوي على مجموعة بيانات صينية مفتوحة المصدر تبلغ 600 جيجا (150 مليار رمز).
01.AI يي - أون/ز نماذج سلسلة Yi هي نماذج لغوية كبيرة تم تدريبها من الصفر بواسطة المطورين في 01.AI.
أنظمة إيت يوان-2.0 - أون/ز في هذا العمل، تم تقديم الانتباه المعتمد على التصفية المحلية (LFA) لدمج المعرفة السابقة بالتبعيات المحلية للغة الطبيعية في الانتباه.
استنادًا إلى LFA، قمنا بتطوير وإصدار Yuan 2.0، وهو نموذج لغة كبير بمعلمات تتراوح من 2.1 مليار إلى 102.6 مليار، وهو طريقة لتصفية البيانات وإنشاءها
تم تقديمه لبناء مجموعة بيانات للتدريب المسبق والضبط بجودة عالية، وتم اقتراح طريقة تدريب موزعة مع خطوط أنابيب غير موحدة ومتوازية للبيانات ومتوازية للمُحسِّن.
مما يقلل بشكل كبير من متطلبات عرض النطاق الترددي للاتصالات داخل العقدة، ويحقق أداءً جيدًا في التدريب الموزع على نطاق واسع.
تعرض نماذج Yuan 2.0 قدرة مذهلة في إنشاء الأكواد وحل المشكلات الرياضية والدردشة مقارنة بالنماذج الحالية.
نانبيج نانبيج أباتشي-2.0 أون/ز Nanbeige-16B هو نموذج لغة مكون من 16 مليار معلمة تم تطويره بواسطة Nanbeige LLM Lab. ويستخدم 2.5T Tokens للتدريب المسبق. تتضمن بيانات التدريب كمية كبيرة من مجموعة الإنترنت عالية الجودة والكتب المتنوعة والأكواد وما إلى ذلك نتائج جيدة على مجموعات بيانات التقييم الرسمية المتنوعة. يتضمن هذا الإصدار Base وChat وBase-32k وChat-32k.
Deepseek-ai Deepseek-LLM رخصة معهد ماساتشوستس للتكنولوجيا أون/ز نموذج لغة متقدم يضم 67 مليار معلمة، وقد تم تدريبه من الصفر على مجموعة بيانات ضخمة مكونة من 2 تريليون رمز باللغتين الإنجليزية والصينية.
إل إل إم 360 إل إل إم 360 - - تشتمل معظم إصدارات LLM مفتوحة المصدر على أوزان النماذج ونتائج التقييم، ومع ذلك، غالبًا ما تكون هناك حاجة إلى معلومات إضافية لفهم سلوك النموذج بشكل حقيقي - وهذه المعلومات ليست متاحة عادةً لمعظم الباحثين. ما يصل إلى 360!) تم جمعها أثناء التدريب، وجميع بيانات التدريب (وخرائطها لنقاط التفتيش)، وجميع المقاييس المجمعة (على سبيل المثال، الخسارة، ومعيار التدرج، ونتائج التقييم)، وجميع التعليمات البرمجية المصدر لبيانات المعالجة المسبقة والتدريب النموذجي التحف يمكن أن تساعد يجب على الباحثين والممارسين إلقاء نظرة أعمق على عملية بناء LLM وإجراء الأبحاث مثل تحليل ديناميكيات النماذج. ونأمل أن يساعد LLM360 في جعل LLMs المتقدمة أكثر شفافية، وتعزيز البحث في مختبرات أصغر حجمًا، وتحسين إمكانية التكرار في أبحاث الذكاء الاصطناعي.
فدو، الخ. سي تي-ماجستير - زك/أون مع التركيز على اللغة الصينية بدءًا من الصفر، يستخدم CT-LLM في المقام الأول البيانات الصينية من مجموعة رموز مكونة من 1,200 مليار رمز، بما في ذلك 800 مليار رمز صيني، و300 مليار رمز إنجليزي، و100 مليار رمز رمزي من خلال عملية التدريب مفتوحة المصدر لـ CT-LLM، بما في ذلك معالجة البيانات والمجموعة الصينية الضخمة للتدريب المسبق (MAP-CC)، وتقديم المعيار الصيني للحالات الصلبة (CHC-Bench)، نحن نشجع المزيد من البحث والابتكار، بهدف لنماذج لغوية أكثر شمولاً وقابلية للتكيف.
TigerLab خريطة نيو - زك/أون أول نموذج كبير مفتوح المصدر للعملية بأكملها بدءًا من معالجة البيانات وحتى تدريب النماذج وأوزان النماذج.
DataCamp DCLM - - يوفر الأدوات والإرشادات لمعالجة البيانات الأولية والترميز وخلط البيانات والتدريب النموذجي وتقييم الأداء. يتمتع الطراز الأساسي 7B بأداء ممتاز.

نماذج المجال

مساهم نموذج اِختِصاص لغة النموذج الأساسي الميزة الرئيسية
جنوب غرب يوتا/
UIUC/جامعة ولاية أوهايو/HDU		 ChatDoctor طبي أون اللاما ربما يكون أول نموذج دردشة خاص بالمجال يتم ضبطه على LLaMA.
كامبريدج البصرية ميد الألبكة الطبية الحيوية أون لاما-7ب نموذج أساس متعدد الوسائط مصمم خصيصًا للمجال الطبي الحيوي.
يضرب BenTsao/ChatGLM-Med طبي ز لاما/ChatGLM تم ضبطها بدقة باستخدام مجموعة بيانات المعرفة الطبية الصينية، والتي تم إنشاؤها باستخدام gpt3.5 api.
شنغهاي تك، الخ. دكتورGLM طبي أون/ز الدردشةGLM-6B تم ضبط نموذج الاستشارة الطبية الصينية على ChatGLM-6B.
الخميس الهواء بيوميد جي بي تي-1.6ب الطبية الحيوية أون/ز - نموذج أساس جزيئي متعدد الوسائط تم تدريبه مسبقًا مع معلمات 1.6B تربط الرسوم البيانية الجزيئية ثنائية الأبعاد بالنصوص.
@ليوHC0428 LawGPT_en قانوني ز الدردشةGLM-6B نموذج عام في المجال القانوني الصيني، تم تدريبه على البيانات الناتجة عن التعليمات الذاتية الموثوقة.
SJTU الطبيةGPT-zh طبي ز الدردشةGLM-6B نموذج عام في المجال الطبي الصيني، بيانات متنوعة تم إنشاؤها عن طريق التوجيه الذاتي.
SJTU PMC-LLaMA طبي ز اللاما مواصلة تدريب LLaMA على الأوراق الطبية.
HuggingFace ستاركودر توليد الكود أون - نموذج لغة (LM) تم تدريبه على كود المصدر ونص اللغة الطبيعية، ويتضمن بيانات التدريب الخاصة به أكثر من
80 لغة برمجة مختلفة بالإضافة إلى النصوص المستخرجة من إصدارات GitHub والالتزامات ومن دفاتر الملاحظات.
@CogStack NHS-LLM طبي أون غير واضح نموذج محادثة للرعاية الصحية تم تدريبه باستخدام OpenGPT.
@pengxiao-أغنية لاWGPT قانوني ز لاما/ChatGLM قم بتوسيع المفردات باستخدام المصطلحات القانونية الصينية، وتعليمات دقيقة حول البيانات التي تم إنشاؤها باستخدام التعليمات الذاتية.
دوشياومان شيوانيوان تمويل ز بلوم-176ب نموذج دردشة مالية صيني كبير يضم مئات المليارات من المعلمات.
CUHK HuatuoGPT طبي ز غير واضح HuatuoGPT، هو نموذج لغوي كبير (LLM) تم تدريبه على مجموعة طبية صينية واسعة النطاق. هدفنا مع HuatuoGPT هو
لإنشاء "ChatGPT" أكثر احترافية لسيناريوهات الاستشارة الطبية.
بيلة الفينيل كيتون المحامي لاما قانوني ز اللاما مواصلة التدريب المسبق على البيانات القانونية الصينية، والتوجيه المضبوط على الاختبارات القانونية والاستشارات القانونية.
الخميس LexiLaw قانوني ز الدردشةGLM-6B تم تدريبهم على مزيج من البيانات العامة (BELLE 1.5M) والبيانات القانونية
الخميس، الخ. تاولي تعليم ز اللاما نموذج كبير للتعليم الصيني الدولي يمتد مفردات محددة على النموذج الأساسي،
ويستخدم مجموعة البيانات الخاصة بالمجال لضبط التعليمات.
جامعة سنغافورة الوطنية معزة الحساب أون اللاما نموذج LLaMA مضبوط بدقة يتفوق بشكل كبير على GPT-4 في مجموعة من المهام الحسابية.
بعد ضبطه بدقة على مجموعة بيانات تم إنشاؤها صناعيًا، يحقق Goat أداءً متطورًا في مهمة فرعية حسابية من BIG-bench.
جامعة كاليفورنيا/جامعة نيويورك فينغبت تمويل أون - إطار عمل مفتوح المصدر شامل لنماذج اللغات المالية الكبيرة (FinLLMs).
مايكروسوفت WizardCoder توليد الكود أون ستاركودر تم تدريبه باستخدام تعليمات برمجية متطورة تبلغ 78 ألفًا ، وهو ما يفوق Claude-Plus (+6.8) و Bard (+15.3) و InstructCodeT5+ (+22.3) في معايير HumanEval.
يوكاس الوفرة تمويل ز اللاما صقل LLaMA على المعرفة المالية الصينية،
بيلة الفينيل كيتون ChatLaw قانوني ز ضياء / أنيما نموذج المجال القانوني الصيني.
@ مايكل وتشو ChatMed طبي ز اللاما LLM الطبية الصينية على أساس LLaMA-7B.
ذنيب ذنب قصير دردشة الروح الصحة العقلية ز الدردشةGLM-6B الحوار الصيني LLM في مجال الصحة العقلية، بناءً على ChatGLM-6B.
@shibing624 الطبيةGPT طبي ز الدردشةGLM-6B تدريب نموذج GPT الطبي الخاص بك باستخدام خط تدريب ChatGPT.
بجتو TransGPT مواصلات ز لاما-7ب نموذج النقل الصيني
باي أكويلا كود توليد الكود متعدد أكويلا AquilaCode-multi هو نموذج متعدد اللغات يدعم إنشاء أكواد برمجية عالية الدقة لمختلف لغات البرمجة، بما في ذلك Python/C++/Java/Javascript/Go، وما إلى ذلك.
وقد حققت نتائج مبهرة في تقييم HumanEval (Python)، حيث حصلت على درجات Pass@1 وPass@10 وPass@100 تبلغ 26/45.7/71.6 على التوالي في HumanEval-X
تقييم إنشاء التعليمات البرمجية متعدد اللغات، فهو يتفوق بشكل كبير على النماذج الأخرى مفتوحة المصدر ذات المعلمات المماثلة (اعتبارًا من 19 يوليو 2023).
من ناحية أخرى، AquilaCode-py هو إصدار Python أحادي اللغة من النموذج الذي يركز على إنشاء كود Python.
وقد أظهرت أيضًا أداءً ممتازًا في تقييم HumanEval، حيث حصلت على درجات Pass@1 وPass@10 وPass@100 تبلغ 28.8/50.6/76.9 (اعتبارًا من 19 يوليو 2023).
ميتا CodeLLAMA توليد الكود متعدد لاما-2 عائلة من النماذج اللغوية الكبيرة للتعليمات البرمجية المستندة إلى Llama 2، مما يوفر أداءً متطورًا بين النماذج المفتوحة، وقدرات التعبئة،
دعم سياقات الإدخال الكبيرة، وتعليمات صفرية تتبع القدرة على مهام البرمجة.
جامعة نيو ساوث ويلز، الخ. داروين العلوم الطبيعية أون لاما-7ب أول ماجستير مفتوح المصدر في العلوم الطبيعية، وخاصة في الفيزياء والكيمياء وعلوم المواد.
بابا إيكومGPT التجارة الإلكترونية أون/ز بلومز نموذج لغة كبير مضبوط للتعليمات للتجارة الإلكترونية.
مختبر النمر للذكاء الاصطناعي الماموث الرياضيات أون LLaMA2/كوديلاما سلسلة من نماذج اللغات الكبيرة مفتوحة المصدر (LLMs) المصممة خصيصًا لحل المشكلات الرياضية العامة. يتم تدريب نماذج MAmmoTH على MathInstruct.
تم تجميع مجموعة بيانات ضبط التعليمات المنسقة بدقة والتي تتميز بخفة وزنها وقابليتها للتعميم من MathInstruct من 13 مجموعة بيانات منطقية للرياضيات.
ستة منها تم تنسيقها حديثًا بواسطة هذا العمل وهي تركز بشكل فريد على الاستخدام المختلط لسلسلة الأفكار (CoT) ومبررات برنامج التفكير (PoT).
ويضمن تغطية واسعة النطاق للمجالات الرياضية المتنوعة.
SJTU هابيل الرياضيات أون LLaMA2 نحن نقترح الرقابة الأبوية * ، استراتيجية مجالسة الأطفال للضبط الدقيق الخاضع للإشراف، ولا تقتصر Parental Oversight على أي طريقة محددة لمعالجة البيانات، وبدلاً من ذلك، فهي تحدد فلسفة معالجة البيانات التي يجب أن توجه الضبط الدقيق الخاضع للإشراف في عصر الذكاء الاصطناعي التوليدي (GAI). .
فو.دو DISC-LawLLM قانوني ز بايتشوان-13ب أصدرت FudanDISC DISC-LawLLM، وهو نظام قانوني صيني ذكي يعتمد على نموذج لغوي كبير.
يمكن للنظام تقديم خدمات قانونية متنوعة لمجموعات مختلفة من المستخدمين بالإضافة إلى ذلك، تم إنشاء DISC-Law-Eval لتقييم نموذج اللغة القانونية الكبير من الجوانب الموضوعية والذاتية.
يتمتع النموذج بمزايا واضحة مقارنة بالنماذج القانونية الكبيرة الحالية.
كما أتاح الفريق أيضًا مجموعة بيانات عالية الجودة للضبط الدقيق (SFT) تبلغ 300000، DISC-Law-SFT.
جامعة هونج كونج، الخ. طبيب نفساني الصحة العقلية أون لاما-7ب يفتح هذا الريبو مصادر مفتوحة لنموذج LLaMA-7B الذي تم ضبطه بواسطة Instruct والذي تم ضبطه بدقة باستخدام بيانات تعليمات domian الاستشارية.
لإنشاء مجموعة بيانات ضبط التعليمات بحجم 8K، قمنا بجمع أمثلة لحوارات الاستشارة الواقعية واستخدمنا GPT-4 كمستخرج ومرشح.
بالإضافة إلى ذلك، قدمنا ​​مجموعة شاملة من المقاييس، المصممة خصيصًا لمجال LLM + Consulting، من خلال دمج معايير تقييم الاستشارة في المجال.
تتيح هذه المقاييس تقييم الأداء في إنشاء محتوى لغوي يتضمن مهارات استشارية متعددة الأبعاد.
CAS ستارويسبر فلكي ز - StarWhisper، وهو نموذج فلكي كبير، يعمل على تحسين المنطق المنطقي وسلامة النموذج بشكل كبير من خلال الضبط الدقيق لمجموعة الفيزياء الفلكية التي وصفها الخبراء،
التدريب المنطقي على النص الطويل، وتحسين التفضيل المباشر في CG-Eval الذي نشره معهد Keguei لأبحاث الذكاء الاصطناعي ومختبر LanguageX AI Lab، وصل إلى المركز الثاني بشكل عام.
أقل بقليل من GPT-4، كما أن تفكيره الرياضي وقدراته الفلكية قريبة من GPT 3.5 Turbo أو تتجاوزها.
ZhiPuAI فينجلم تمويل ز ChatGLM حلول SMP2023-ELMFT (تقييم النموذج الكبير لتكنولوجيا التمويل).
بيلة الفينيل كيتون، إلخ. كودشيل توليد الكود أون/ز - CodeShell هو نموذج لغة كبير الكود (LLM) تم تطويره بشكل مشترك بواسطة مختبر حوسبة المعرفة بجامعة بكين وفريق الذكاء الاصطناعي في بنك Sichuan Tianfu، ويحتوي CodeShell على 7 مليارات معلمة.
تم تدريبها على 500 مليار رمز مميز، ويبلغ طول نافذة السياق 8192. وفقًا لمعايير تقييم التعليمات البرمجية الموثوقة (HumanEval وMBPP)، تحقق CodeShell أفضل أداء للنماذج من حجمها.
فو.دو القرص FinLLM تمويل ز بايشوان-13B-دردشة DISC-FinLLM هو نموذج لغة كبير في المجال المالي وهو نظام مالي ذكي متعدد الخبراء يتكون من أربع وحدات لسيناريوهات مالية مختلفة: الاستشارات المالية.
تحليل النص المالي، والحساب المالي، واسترجاع المعرفة المالية والإجابة على الأسئلة.
ديب سيك ديبسيك المبرمج توليد الكود أون/ز - يشتمل Deepseek Coder على سلسلة من نماذج لغة البرمجة المدربة على 87% من التعليمات البرمجية و13% من اللغة الطبيعية باللغتين الإنجليزية والصينية، مع تدريب كل نموذج مسبقًا على رموز 2T.
بالنسبة لقدرات البرمجة، يحقق Deepseek Coder أداءً متطورًا بين نماذج التعليمات البرمجية مفتوحة المصدر على لغات برمجة متعددة ومعايير مختلفة.
مايكروسوفت MathOctopus الرياضيات متعدد LLaMA2 يعد هذا العمل رائدًا في استكشاف وبناء دورات LLM قوية في الاستدلال الرياضي متعدد اللغات (xMR) لتحقيق ذلك، نقوم بالأعمال التالية:
1. MGSM8KInstruct ، أول مجموعة بيانات لتعليم الاستدلال الرياضي متعددة اللغات، تشمل عشر لغات متميزة، وبالتالي تعالج مشكلة ندرة بيانات التدريب في مهام xMR.
2. MSVAMP ، مجموعة بيانات اختبار xMR خارج النطاق، لإجراء تقييم أكثر شمولاً وشمولاً للقدرات الرياضية متعددة اللغات للنموذج.
3. MathOctopus ، دورات LLM الفعالة في الاستدلال الرياضي متعدد اللغات، والتي تتدرب باستخدام استراتيجيات مختلفة، والتي تتفوق بشكل ملحوظ على دورات LLM التقليدية مفتوحة المصدر وتُظهر التفوق على ChatGPT في سيناريوهات قليلة اللقطات.
إيتريك Zh-MT-LLM بحري أون/ز الدردشةGLM3-6b تستخدم بيانات التدريب بيانات المجال البحري Zh-mt-sft المنظمة لثلاثة أجزاء رئيسية، وبيانات المحادثة العامة 30w datamoss-003-sft-sft التي تحتوي على وجه التحديد على CrimeKgAssitant-1.8w وZh-law-qa و. Zh-law-court المتعلقة بالقوانين واللوائح البحرية أسئلة وأجوبة وZh-edu-qa وZh-edu-qb المتعلقة بالتعليم والتدريب البحري، و Zh-mt-qa المتعلقة بالمعرفة المتخصصة البحرية أسئلة وأجوبة.
@SmartFlowAI ايموLLM الصحة العقلية ز - EmoLLM عبارة عن سلسلة من نماذج الصحة العقلية الكبيرة التي يمكنها دعم رابط فهم المستخدمين - دعم المستخدمين - مساعدة المستخدمين في استشارات الصحة العقلية، والتي يتم ضبطها بدقة من خلال تعليمات LLM .

بعض النماذج الطبية : هنا

بعض أسماء النطاقات: Awesome-Domain-LLM

نماذج الشفاء: نماذج مؤسسة الرعاية الصحية الرائعة

نماذج تعليمات المجال العام

مساهم نموذج/مشروع لغة النموذج الأساسي الميزة الرئيسية
ستانفورد الألبكة أون لاما/اختياري استخدام 52 ألف بيانات تتبع التعليمات التي تم إنشاؤها بواسطة تقنيات Self-Instructt لضبط 7B LLaMA،
يتصرف النموذج الناتج، Alpaca، بشكل مشابه لنموذج text-davinci-003 في مجموعة تقييم متابعة التعليمات الذاتية.
لقد ألهمت الألبكة العديد من نماذج المتابعة.
LianJiaTech حسناء أون/ز بلومز-7بي1-م.ت ربما يكون النموذج الصيني الأول الذي يتبع الألبكة.
الخميس الدردشةGLM-6B أون/ز - النموذج الصيني المعروف.
طوب البيانات دوللي أون جي بي تي-ي 6 ب استخدم بيانات Alpaca لضبط نموذج عمره عامين: GPT-J، والذي يُظهر جودة عالية بشكل مدهش
تعليمات تتبع سلوكًا لا يميز النموذج الأساسي الذي يقوم عليه.
@tloen الألبكة-لورا أون لاما-7ب تدربت خلال ساعات على RTX 4090 واحد،
إعادة إنتاج نتائج ستانفورد ألباكا باستخدام التكيف منخفض الرتبة (LoRA)،
ويمكن تشغيله على Raspberry pi.
ColossalAI كواتي7ب أون/ز لاما-7ب نموذج لغة كبير تم تطويره بواسطة مشروع ColossalChat
مختبر شنغهاي للذكاء الاصطناعي محول LLaMA أون لاما-7ب ضبط LLaMA بشكل دقيق لاتباع التعليمات خلال ساعة واحدة و1.2 مليون معلمة
AetherCortex اللاما-X أون اللاما فتح بحث أكاديمي حول تحسين LLaMA إلى SOTA LLM.
معًا للكمبيوتر OpenChatKit أون جي بي تي-نيوإكس-20بي يوفر OpenChatKit قاعدة قوية ومفتوحة المصدر لإنشاء روبوتات الدردشة المتخصصة والعامة لمختلف التطبيقات.
تشتمل المجموعة على نماذج لغة مضبوطة للتعليمات، ونموذج معتدل، ونظام استرجاع قابل للتوسيع لتضمين
استجابات محدثة من المستودعات المخصصة.
nom-ai GPT4All أون اللاما تم تدريبهم على مجموعة ضخمة من البيانات المساعدة النظيفة بما في ذلك التعليمات البرمجية والقصص والحوار
@ymcui الصينية-اللاما-الألبكة أون/ز لاما-7ب/13ب توسيع المفردات الصينية بناءً على LLaMA الأصلي واستخدام البيانات الصينية للتدريب المسبق الثانوي،
زيادة تعزيز الفهم الدلالي الأساسي الصيني. بالإضافة إلى ذلك، يستخدم المشروع بيانات التعليمات الصينية
للضبط الدقيق على أساس LLaMA الصيني، مما يؤدي إلى تحسين فهم النموذج وتنفيذ التعليمات بشكل ملحوظ.
جامعة كاليفورنيا في بيركلي
ستانفورد
جامعة كارنيجي ميلون		 فيكونا أون لاما-13ب إعجاب GPT-4 بجودة ChatGPT بنسبة 90%.
جامعة كاليفورنيا سان دييغو/SYSU بايز أون/ز اللاما تم ضبطه بدقة باستخدام LoRA، فهو يستخدم 100 ألف مربع حوار تم إنشاؤها عن طريق السماح لـ ChatGPT بالدردشة مع نفسه.
تُستخدم بيانات Alpaca أيضًا لتحسين أدائها.
جامعة كاليفورنيا في بيركلي كوالا أون اللاما بدلاً من تعظيم الكمية عن طريق جمع أكبر قدر ممكن من بيانات الويب، يركز الفريق على جمع مجموعة بيانات صغيرة عالية الجودة .
@imClumsyPanda langchain-ChatGLM أون/ز الدردشةGLM-6B ChatGLM القائم على المعرفة المحلية مع langchain.
@يانغجيانكسين1 يراعة ز ازهر-1b4-zh
ازهر-2b6-zh		 ضبط التعليمات على مجموعة البيانات الصينية، صفر، والتوازي الموتر
يتم استخدامها لتقليل استهلاك الذاكرة بشكل فعال وتحسين كفاءة التدريب.
مايكروسوفت جي بي تي-4-LLM أون/ز اللاما يهدف إلى مشاركة البيانات التي تم إنشاؤها بواسطة GPT-4 لبناء LLMs تتبع التعليمات مع التعلم الخاضع للإشراف والتعلم المعزز.
تعانق الوجه StackLLaMA أون اللاما تم تدريبه على بيانات StackExchange والهدف الرئيسي هو أن يكون بمثابة برنامج تعليمي وإرشادات تفصيلية
كيفية تدريب النموذج باستخدام RLHF وليس أداء النموذج في المقام الأول.
نيبولي ChatLLaMA أون - مكتبة تتيح لك إنشاء مساعدين شديدي التخصيص يشبهون ChatGPT باستخدام بياناتك الخاصة وأقل قدر ممكن من الحوسبة.
@juncongmoo ChatLLaMA أون اللاما نموذج RLHF المبني على LLaMA، والذي يمكن تشغيله في وحدة معالجة رسومات واحدة.
@juncongmoo com.minichatgpt أون جي بي تي/أوبت... لتدريب ChatGPT في 5 دقائق مع ColossalAI.
@LC1332 لوتو-الصينية-LLM ز لاما/ChatGLM تعليمات ضبط نماذج اللغة الصينية، مع توفير الكولاب!
@فاسيكو الصينية فيكونا ز اللاما نموذج صيني قائم على LLaMA يتبع التعليمات، تم ضبطه بدقة باستخدام Lora، ودعم استدلال cpp، وتوفير colab.
@yanqiangmiffy إرشادGLM أون/ز الدردشةGLM-6B نموذج متابعة التعليمات القائم على ChatGLM، والذي تم ضبطه بدقة على مجموعة متنوعة من مصادر البيانات، يدعم تسريع السرعة العميقة وLoRA.
بابا الومبت أون اللاما تم اقتراح نموذج تعليمي جديد يسمى RRHF، كبديل لـ RLHF، والذي يسجل الاستجابات الناتجة عن
سياسات أخذ العينات المختلفة ويتعلم مواءمتها مع التفضيلات البشرية من خلال فقدان الترتيب والأداء
يمكن مقارنته بـ RLHF، مع استخدام نماذج أقل في هذه العملية.
@ووجوندي الألبكة جلاسوف أون اللاما يمكن تشغيل Chat AI المصغر الذي يمكن قبوله بالصور على الكمبيوتر المحمول الخاص بك، استنادًا إلى stanford-alpaca وalpaca-lora.
@ جوزيفوس تشيونغ جواناكو متعدد لاما-7ب نموذج متعدد اللغات للتعليمات التالية.
@FreedomIntelligence LLM حديقة الحيوان متعدد بلومز/لاما مشروع يوفر البيانات والنماذج ومعايير التقييم لنماذج اللغات الكبيرة.
النموذج الذي تم إصداره: فينيكس، تشيميرا
SZU لينلي أون/ز اللاما قم بتوسيع المفردات الصينية ، ونماذج كاملة الضبط، وأكبر النماذج الصينية القائمة على LLaMA، وتجميع بيانات التعليمات الصينية، والتفاصيل القابلة للتكرار..
@lamini-ai لاميني متعدد - مولد بيانات لتوليد تعليمات لتدريب ماجستير إدارة الأعمال الذي يتبع التعليمات.
الاستقرار-الذكاء الاصطناعي StableVicuna أون اللاما تعليمات إضافية تم ضبطها وإصدار مدرب على RLHF من Vicuna v0 13b، مع أداء أفضل من Vicuna.
تعانق الوجه HuggingChat أون اللاما يبدو أنه أول نظام متاح للوصول إليه كمنصة تبدو مشابهة لـ ChatGPT.
مايكروسوفت معالجLM أون اللاما تم تدريب Evol-Instruct باستخدام 70 ألف تعليمات متطورة، وهي طريقة جديدة تستخدم LLMs بدلاً من البشر لإنتاج كميات كبيرة تلقائيًا
تعليمات المجال المفتوح بمستويات صعوبة مختلفة ونطاق المهارات، لتحسين أداء LLMs.
فو.دو افتح الصينية LLaMA أون/ز لاما-7ب مزيد من التدريب المسبق على LLaMA على البيانات الصينية، مما يؤدي إلى تحسين أداء LLaMA في المهام الصينية.
@شينفينج357 فتح-الصينية-ChatLLaMA أون/ز اللاما كود التدريب الكامل لنموذج اللاما الصيني مفتوح المصدر، بما في ذلك العملية الكاملة بدءًا من تعليمات التدريب المسبق وRLHF.
@FSoft-AI4Code CodeCapybara أون اللاما نموذج LLaMA مفتوح المصدر يتبع ضبط التعليمات لإنشاء التعليمات البرمجية.
@mbzuai-nlp لاميني-LM أون لاما/فلان-T5... قطيع متنوع من النماذج المقطرة من التعليمات واسعة النطاق.
NTU الباندا أون/ز اللاما مزيد من التدريب المسبق على البيانات الصينية، بالحجم الكامل لنماذج LLaMA.
آي بي إم/جامعة كارنيجي ميلون/معهد ماساتشوستس للتكنولوجيا الجمل العربي أون لاما-65ب المحاذاة الذاتية المستندة إلى المبادئ لنماذج اللغة من الصفر مع الحد الأدنى من الإشراف البشري.
@melodysdreamj معالج فيكوناLM متعدد فيكونا مجموعة بيانات المعالج + ملحق محادثة ChatGPT + طريقة ضبط Vicuna،
تحقيق تحسن في الأداء بنسبة 7٪ تقريبًا مقارنة بـ Vicuna.
com.sambanovasystems بلوم شات متعدد يزدهر BLOOMChat هو نموذج دردشة متعدد اللغات يحتوي على 176 مليار معلمة، وهو عبارة عن تعليمات تم ضبطها من BLOOM (176B) وما بعده
مجموعات بيانات المحادثة على نمط المساعد وتدعم المحادثة والإجابة على الأسئلة والإجابات التوليدية بلغات متعددة.
TII Falcon-7B-Instruct أون فالكون-7ب نموذج 7B لوحدة فك التشفير السببية فقط تم إنشاؤه بواسطة TII استنادًا إلى Falcon-7B وتم ضبطه على مزيج من مجموعات بيانات الدردشة/التعليمات.
TII Falcon-40B-Instruct متعدد فالكون-40ب نموذج 40B لوحدة فك التشفير السببية فقط تم إنشاؤه بواسطة TII استنادًا إلى Falcon-40B وتم ضبطه على مزيج من Baize.
USTC، الخ. ExpertLLaMA أون اللاما استخدم التعلم في السياق لكتابة هوية خبير مخصصة تلقائيًا والعثور على الجودة مرضية تمامًا.
نقوم بعد ذلك بإضافة هوية الخبراء المقابلة لكل تعليمات لإنتاج بيانات معززة لمتابعة التعليمات.
نشير إلى الإطار العام باسم ExpertPrompting ، ويمكنك العثور على مزيد من التفاصيل في ورقتنا.
ZJU كاما أون/ز اللاما مزيد من التدريب المسبق على المجموعة الصينية دون توسيع المفردات الأمثل في مهام استخراج المعلومات (IE).
يتوفر نص ما قبل التدريب، والذي يتضمن التحويلات والبناء وتحميل مجموعات كبيرة الحجم، بالإضافة إلى نص الضبط الدقيق لتعليمات LoRA.
الخميس UltraChat أون اللاما أولاً، توفر مجموعة بيانات UltraChat موردًا غنيًا لتدريب روبوتات الدردشة. ثانيًا، من خلال الضبط الدقيق لنموذج LLaMA.
نجح الباحثون في إنشاء نموذج حوار UltraLLaMA بأداء فائق.
RUC يولان-دردشة أون/ز اللاما تم تطويره بناءً على ضبط LLaMA بتعليمات عالية الجودة باللغتين الإنجليزية والصينية.
AI2 تولو أون اللاما/بيثيا/OPT مجموعة من نماذج LLaMa تم ضبطها بالكامل على مزيج قوي من مجموعات البيانات.
كايست SelfFee أون اللاما LLM ذات المراجعة التكرارية مدعومة بتوليد الملاحظات الذاتية.
@lyogavin أنيما أون/ز اللاما تم تدريبه على أساس جواناكو QLoRA's33B، والذي تم ضبطه لـ 10000 خطوة.
الخميس الدردشةGLM2-6B أون/ز - ChatGLM 2 -6B هو إصدار الجيل الثاني من نموذج الدردشة ثنائي اللغة (الصيني-الإنجليزية) مفتوح المصدر ChatGLM-6B.
فهو يحتفظ بتدفق المحادثة السلس وعتبة النشر المنخفضة لنموذج الجيل الأول، مع تقديم الميزات الجديدة التالية:
-أداء أقوى
- سياق أطول
- استدلال أكثر كفاءة - ترخيص أكثر انفتاحًا
دردشة مفتوحة دردشة مفتوحة أون لاما، الخ. سلسلة من نماذج اللغات مفتوحة المصدر التي تم ضبطها بدقة على مجموعة بيانات صغيرة ومتنوعة وعالية الجودة من المحادثات متعددة الجولات.
على وجه التحديد، نحن نستخدم فقط ~6K من محادثات GPT-4 التي تمت تصفيتها مباشرةً من ~90K من محادثات ShareGPT.
على الرغم من صغر حجم مجموعة البيانات، فقد أظهرت OpenLLMs أداءً رائعًا.
CAS بايلينج متعدد اللاما BayLing عبارة عن ماجستير في اللغة الإنجليزية / الصينية ومجهز بمحاذاة اللغة المتقدمة،
يُظهر قدرة فائقة في الجيل الإنجليزي/الصيني ومتابعة التعليمات والتفاعل متعدد المنعطفات.
ثباتي فري ويلي/فري ويلي2 أون لاما/لاما2 FreeWilly هو نموذج Llama65B تم ضبطه بدقة على مجموعة بيانات نمط Orca.
FreeWilly2 هو نموذج Llama2 70B تم ضبطه على مجموعة بيانات بنمط Orca.
يتفوق FreeWilly2 على Llama2 70B في لوحة المتصدرين لـ Huggingface Open LLM.
بابا كوين-7ب أون/ز - إصدار 7B من سلسلة نماذج اللغات الكبيرة، Qwen (اختصار Tongyi Qianwen)، مقترح من Alibaba Cloud.
ZJU كنولم أون/ز اللاما مع التطور السريع لتكنولوجيا التعلم العميق، حققت نماذج اللغات الكبيرة مثل ChatGPT خطوات كبيرة في مجال معالجة اللغة الطبيعية.
ومع ذلك، لا تزال هذه النماذج الموسعة تواجه العديد من التحديات في اكتساب المعرفة واستيعابها، بما في ذلك صعوبة تحديث المعرفة والمعرفة المحتملة
التناقضات والتحيزات، والمعروفة مجتمعة باسم مغالطات المعرفة .
يسعى مشروع KnowLM إلى معالجة هذه المشكلات من خلال إطلاق إطار نموذج لغة واسع النطاق مفتوح المصدر وواسع النطاق وإصدار النماذج المقابلة.
نيو تك جي بي تي أون/ز اللاما تعمل تقنية TechGPT بشكل أساسي على تقوية الأنواع الثلاثة التالية من المهام:
- مهام مختلفة لاستخراج المعلومات مثل استخراج العلاقة الثلاثية مع "بناء الرسم البياني المعرفي" باعتباره جوهرًا
- العديد من مهام الأسئلة والأجوبة الذكية التي تتمحور حول "فهم القراءة".
- مهام إنشاء تسلسل مختلفة مثل إنشاء الكلمات الرئيسية مع "فهم النص" باعتباره جوهرًا.
@ميولاب تايوان-LLaMa أون/ز LLaMA2 LLMs الصينية التقليدية لتايوان.
Xwin-LM Xwin-LM أون LLaMA2 يهدف Xwin-LM إلى تطوير تقنيات محاذاة مفتوحة المصدر لنماذج اللغات الكبيرة، بما في ذلك الضبط الدقيق الخاضع للإشراف (SFT)،
نماذج المكافأة (RM)، ورفض العينات، والتعلم المعزز من ردود الفعل البشرية (RLHF)، وما إلى ذلك. إصدارنا الأول، المبني على
تم تصنيف طرازات Llama2 الأساسية في المرتبة الأولى على AlpacaEval، ومن الجدير بالذكر أنها أول طراز يتفوق على GPT-4 في هذا المعيار.
ينجي البحوث ياي أون/ز لاما/لاما2 تم ضبط YaYi على الملايين من بيانات النطاق عالية الجودة التي تم إنشاؤها بشكل مصطنع وتغطي بيانات التدريب هذه خمسة مجالات رئيسية:
الدعاية الإعلامية، وتحليل الرأي العام، والسلامة العامة، والسيطرة على المخاطر المالية، والحكم الحضري، والتي تشمل أكثر من مائة مهمة لتعليم اللغة الطبيعية.
HuggingFace زفير أون ميسترال Zephyr عبارة عن سلسلة من النماذج اللغوية التي تم تدريبها للعمل كمساعدين مفيدين، Zephyr-7B-α هو النموذج الأول في السلسلة، وهو نسخة دقيقة من
mistralai/Mistral-7B-v0.1 التي تم تدريبها على مزيج من مجموعات البيانات الاصطناعية المتاحة للجمهور باستخدام تحسين التفضيل المباشر (DPO).
التحم الأوامر-R / الأوامر R+ متعدد - يتمتع Command-R بالقدرة على إنشاء متعدد اللغات تم تقييمه بـ 10 لغات وقدرات RAG عالية الأداء.
XAI جروك أون - 314B وزارة التعليم، طول السياق: 8192
طوب البيانات dbrx-instruct - - بنية خليط من الخبراء (MoE) دقيقة الحبيبات مع 132B من المعلمات الإجمالية منها 36B من المعلمات نشطة على أي مدخلات، وقد تم تدريبها مسبقًا على 12T من الرموز المميزة للنص والبيانات البرمجية مقارنة بنماذج MoE المفتوحة الأخرى مثل Mixtral-. 8x7B وGrok-1، يعتبر DBRX دقيقًا، مما يعني أنه يستخدم عددًا أكبر من الخبراء الأصغر حجمًا، ويضم DBRX 16 خبيرًا ويختار 4، بينما لدى Mixtral-8x7B وGrok-1 8 خبراء واختيار 2.

دمج النموذج

مساهم النموذج/الطريقة الميزة الرئيسية الميزة الرئيسية
FuseAI com.FuseChat أولاً، يقوم بدمج المعرفة الزوجية لـ LLMs المصدر لاشتقاق LLMs مستهدفة متعددة ذات بنية وحجم متطابقين من خلال الضبط الدقيق خفيف الوزن، ثم يتم دمج هذه LLMs المستهدفة داخل مساحة المعلمة، حيث نقترح طريقة VaRM جديدة لتحديد الأوزان المدمجة. بناءً على نسبة التباين في مصفوفات المعلمات قبل وبعد الضبط الدقيق. مزيج من ثلاثة برامج LLM للدردشة البارزة ذات بنيات ومقاييس متنوعة، وهي NH2-Mixtral-8x7B، وNH2-Solar-10.7B، وOpenChat-3.5-7B، يحقق متوسط ​​أداء يبلغ 8.22 على MT-Bench، متفوقًا على الأداء. العديد من برامج الدردشة القوية LLM بمقاييس 7B و34B مثل Starling-7B و yi-34b-chat ، حتى تجاوز GPT-3.5 (مارس) ، Claude-2.1 ، والاقتراب من Mixtral-8x7b-instruct.
arcee-ai mergekit أدوات لدمج نماذج اللغة الكبيرة المسبقة.
ساكاناي evollm التحسين التطوري لوصفات دمج النموذج.

بدائل للمحول

(ربما الخلفاء؟)

مساهم طريقة الميزة الرئيسية
Blinkdl RWKV-LM RWKV هو RNN مع أداء LLM على مستوى المحولات.
لذلك فهو يجمع بين أفضل ما في RNN و Transformer - أداء رائع ، استدلال سريع ، يحفظ VRAM ، التدريب السريع ، "Infinite" CTX_LEN ، وتضمين الجملة الحرة.
MSRA Retnet في وقت واحد تحقيق التوازي التدريبي ، والاستدلال منخفض التكلفة ، والأداء الجيد.
ثم نقترح آلية الاستبقاء لنمذجة التسلسل ، والتي تدعم ثلاثة نماذج حسابية ، أي ، موازية ، متكررة ، ومتكررة.
على وجه التحديد ، يسمح التمثيل الموازي بالتوازي التدريبي.
الكمون ، وذاكرة GPU دون التضحية بالأداء.
حيث يتم ترميز كل قطعة من البارلي أثناء تلخيصها بشكل متكرر.
التدريب المتوازي ، والنشر منخفض التكلفة ، والاستدلال الفعال.
ستانفورد BAPCPACK يعد AbackPack بديلاً عن محول يوفر أدوات جديدة للسيطرة على القابلية للتفسير مع استمرار تمكين نماذج لغة قوية.
تحلل حقائب الظهر المعنى التنبئي للكلمات إلى مكونات غير سهلة ، وتتجمع منها بمجموع مرجح ، مما يسمح بتدخلات دقيقة يمكن التنبؤ بها.
ستانفورد ، إلخ. Monarch Mixer (M2) الفكرة الأساسية هي استبدال العناصر الرئيسية للمحول مع مصفوفات العاهل-والتي هي فئة من المصفوفات المنظمة التي تعمم FFT و Quadratic ،
في الخلاط المفعول للأجهزة ، والتعبيرية.
CMU ، إلخ. مامبا Mamba هي بنية نموذجية جديدة للفضاء تُظهر الأداء الواعد على البيانات الكثيفة مثل نمذجة اللغة ، حيث تنخفض النماذج الفرعية السابقة من المحولات. والتنفيذ بروح الفلاش.
معا Stripedhyena يعد Stripedhyena أول نموذج بديل ينافسي مع أفضل المحولات مفتوحة المصدر بأحجام مماثلة في تقييمات قصيرة وطويلة السياق.
Stripedhyena هي بنية هجينة تتكون من اهتمام متعدد الرأس ومجمع وملاحقات بوابة مرتبة على كتل inhyena ، تختلف عن المحولات التقليدية فقط للترميز.
1.
2. زمن انتقال منخفض ، فك تشفير أسرع وإنتاجية أعلى من المحولات.
3. تحسين قوانين التدريب والاستدلال الأمثل ، مقارنة ببنيات المحولات المحسنة مثل LLAMA-2.
4. تدرب على تسلسل ما يصل إلى 32 ألف ، مما يسمح لها بمعالجة مطالبات أطول.
مايكروسوفت BGPT تدعم BGPT النمذجة التنظيمية عبر التنبؤ بالبايت التالي على أي نوع من البيانات ويمكنها أداء أي مهمة قابلة للتنفيذ على جهاز كمبيوتر ، مما يدل على إمكانية محاكاة جميع الأنشطة داخل العالم الرقمي ، مع إمكاناته المحدودة فقط بالموارد الحسابية وخيالنا.
ديب مايند غريفين جاكس تنفيذ Jax + Flax لـ TheGriffin: خلط تكرار بوابات مع الاهتمام المحلي لنماذج اللغة الفعالة ، وليس الكود الرسمي (لم يتم إصدار الكود الرسمي بعد) ؛
طبقة RG-LRU ، وهي طبقة متكررة ذات بوابات جديدة ، نقوم من حولها بتصميم كتلة متكررة جديدة لاستبدال MQA. النموذج الهجين الذي يتشابك مع MLPs مع مزيج من الكتل المتكررة والاهتمام المحلي
يتفوق Griffin-3B على Mamba-3B ، و Griffin-7B و Griffin-14B يحققون أداءًا تنافسيًا مع LLAMA-2 ، على الرغم من تدريبه على ما يقرب من 7 أضعاف الرموز الرموز.
AI21 جامبا Jamba هو أول نموذج توليني من النطاق. ما يصل إلى 140 كيلو رموز على وحدة معالجة الرسومات 80 جيجا بايت.
ميتا ميغالودون يرث Megalodon بنية MEGA (المتوسط ​​المتحرك الأسي مع انتباه بوابات) ، ويقدم أيضًا مكونات تقنية متعددة لتحسين قدرتها واستقرارها ، بما في ذلك المتوسط ​​المتحرك الأسي المعقد (CEMA) ، وطبقة تطبيع الطوابع الزمنية ، وآلية الانتباه الطبيعية و pre-norm مع اثنين -HOP التكوين المتبقي.

وزارة التربية والتعليم

مساهم نموذج/مشروع الميزة الرئيسية
ميسترالاي Mixtral-8x7b نموذج اللغة الكبير Mixtral-8x7B (LLM) هو مزيج متناثر من الخبراء.
مختبر شنغهاي AI ، إلخ. لاما مو نموذج MOE صغير وبأسعار معقولة يعتمد على LAMA و SLIMPAJAMA.
NUS ، إلخ. OpenMoe عائلة من نماذج لغة كبيرة من الخبراء (MOE).
ندفة الثلج القطب الشمالي يستخدم القطب الشمالي بنية محول هجينة فريدة من نوعها.

متعدد الوسائط

مساهم مشروع لغة نموذج قاعدة الميزة الرئيسية
Baihaiaien idpchat en/zh لاما -13 ب
انتشار مستقر		 مفتوح النموذج الصيني متعدد الوسائط ، GPU المفرد ، سهل النشر ، المقدمة.
Kaust مصغرة 4 en/zh اللاما Minigpt-4 يحاذي التشفير المرئي المجمد من BLIP-2 مع LLM المجمدة ، Vicuna ، باستخدام طبقة إسقاط واحدة فقط ،
ويعطي العديد من إمكانات اللغة الناشئة التي تشبه تلك الموضحة في GPT-4.
MSR ، إلخ. llava أون اللاما يتم اقتراح ضبط التعليمات المرئية ، نحو بناء نماذج كبيرة للغة والرؤية مع قدرات مستوى GPT-4.
NUS/THU VPGTRANS أون لاما/OPT/
flan-t5/blip-2
...		 نقل VPG عبر LLMS لبناء VL-LLMs بتكلفة أقل بكثير
يمكن تخفيضها أكثر من 10 مرات ويمكن تخفيض بيانات التدريب إلى حوالي 10 ٪.
يتم إصدار اثنين من VL-LLMS عبر VPGTRANS ، بما في ذلك VL-Llama و VL-VICUNA .
VL-Llama هي نسخة متعددة الوسائط LLAMA عن طريق نقل BLIP-2 OPT-6.7B إلى LLAMA عبر VPGTRANS.
VL-Vicuna عبارة عن chatbot متعددة الوسائط GPT-4 ، استنادًا إلى Vicuna LLM.
CAS ، إلخ. X-LLM en/zh الدردشةGLM-6B يقوم X-LLM بتحويل التعددية (الصور والكلام ومقاطع الفيديو) إلى لغات أجنبية باستخدام واجهات X2L وتغذيها
نموذج لغة كبير (ChatGLM) لإنجاز LLM متعدد الوسائط ، لتحقيق قدرات الدردشة متعددة الوسائط المثيرة للإعجاب.
NTU قضاعة أون OpenFlamingo نموذج متعدد الوسائط يعتمد على OpenFlamingo (إصدار مفتوح المصدر من Flamingo DeepMind) ،
تم تدريبه على التقليد وعرض القدرة على متابعة التعليمات المحسّنة والتعلم داخل السياق.
Futhermore ، تحسين تنفيذ OpenFlamingo ، وإضفاء الطابع الديمقراطي على المطلوب
موارد التدريب من 1x A100 GPU إلى وحدات معالجة الرسومات 4x RTX-3090.
XMU لافين أون اللاما اقترح حلًا جديدًا وبأسعار معقولة لضبط تعليمات اللغات الرؤية ، وهو تكيف مزيج من الطريقة (MMA).
على وجه الخصوص ، MMA هو نظام تحسين شامل ، والذي يربط تشفير الصور و LLM عبر محولات خفيفة الوزن.
وفي الوقت نفسه ، نقترح أيضًا خوارزمية توجيه جديدة في MMA ، والتي يمكن أن تساعد النموذج تلقائيًا في تحويل مسارات التفكير
للحصول على تعليمات واحدة ومتعددة الوسائط.
USTC نقار الخشب - - أول عمل لتصحيح الهلوسة في نماذج اللغة الكبيرة متعددة الوسائط.
hpcaitech مفتوح - - بديل مفتوح المصدر لـ Openai Sora.

انظر أيضًا: نماذج بلغوية رائعة

بيانات

بيانات ما قبل الأثرياء

مساهم البيانات/المشروع لغة الميزة الرئيسية
معا redpajama-data أون وصفة مفتوحة المصدر لإعادة إنتاج مجموعة بيانات تدريب لاما.
goldsmith ويكيبيديا متعدد غلاف مده

بيانات التعليمات

انظر جمع بيانات الألبكة

مساهم بيانات لغة الميزة الرئيسية
com.salesforce Dialogstudio أون DialogStudio: نحو أغنى وأكثرها تنوعًا لمجموعة البيانات الموحدة ونماذج مدركة للتعليمات للعلماء الذكاء المحادثة.

توليد البيانات الاصطناعية

مساهم طريقة الميزة الرئيسية
UW ، إلخ. البنية الذاتية باستخدام الأجيال الخاصة بالنموذج لإنشاء مجموعة كبيرة من البيانات التعليمية.
@liuhc0428 موثوقة الذات استخدم chatgpt لإنشاء بعض الأسئلة والإجابات بناءً على نص معين.
PKU Evol-instruct طريقة جديدة ، inwizardlm المقترحة ، باستخدام LLMs بدلاً من البشر لإنتاج النمو التلقائي للمجال المفتوح
تعليمات من مختلف مستويات الصعوبة ومهارات ، لتحسين أداء LLMs.
Kaust ، إلخ. جمل يُقترح إطار عمل تواصل جديد باسم لعب الأدوار ، والذي ينطوي على استخدام Inception مطالبة بتوجيه وكلاء الدردشة
نحو الانتهاء من المهمة مع الحفاظ على الاتساق مع النوايا البشرية.
يمكن استخدام لعب الأدوار لإنشاء بيانات المحادثة في مهمة/مجال معين.
chatarena شاتارينا مكتبة توفر بيئات ألعاب اللغة متعددة الوكلاء وتسهل البحث حول عوامل LLM المستقلة وتفاعلاتها الاجتماعية.
يوفر إطارًا مرنًا لتحديد العديد من اللاعبين والبيئات والتفاعلات بينهم ، بناءً على عملية قرار Markov.

تقييم

مساهم طريقة الميزة الرئيسية
- التقييم البشري -
OpenAI GPT-4/chatgpt -
PKU/CMU/MSRA ... باندالم تقييم نموذج اللغة القابلة للتكرار والآلي.
يو سي بي chatbot Arena الدردشة مع نموذجين مجهولين جنبًا إلى جنب والتصويت الذي يكون أحدهما أفضل ،
ثم استخدم نظام تصنيف ELO لحساب الأداء النسبي للنماذج.
ستانفورد AlpacaEval GPT-4/Claude تقييم Onalpacafarm مجموعة.
كلوي superclueleb النسخة الصينية Ofchatbot Arena التي طورتها Clueai.
Sjtu ، إلخ. Auto-J قاض جديد مفتوح المصدر يمكنه تقييم LLMs المختلفة بشكل فعال حول كيفية توافقها مع التفضيل البشري.
CMU Codebertscore مقياس تلقائي لتوليد الكود ، استنادًا إلى BertScore.
بصفتها BertScore ، يقوم Codebertscore بتعزيز التضمينات السياقية التي تم تدريبها مسبقًا من نموذج مثل Codebert ويطابق الكلمات في الجمل المرجعية والمرجعية عن طريق تشابه جيب التمام.
بشكل مختلف عن BertScore ، يقوم Codebertscore أيضًا بتشغيل مدخلات اللغة الطبيعية أو سياق آخر إلى جانب الكود الذي تم إنشاؤه ، لكنه لا يستخدم هذا السياق لحساب أوجه تشابه جيب التمام.

المعيار

الوضع الحالي لتقييم النماذج الكبيرة المحلية

مساهم المعيار الميزة الرئيسية
برينستون مقعد SWE معيار لتقييم نماذج اللغة الكبيرة على مشكلات برامج العالم الحقيقي التي تم جمعها من Github .
يتم تكليف نموذج اللغة بإنشاء تصحيح يحل المشكلة الموصوفة.
مايكروسوفت حاضر المعيار المتمحور حول الإنسان مصمم خصيصًا لتقييم القدرات العامة لنماذج الأساس في المهام ذات الصلة بالإدراك البشري وحل المشكلات.
كلوي وكيل فائق معيار تقييم الوكيل على أساس المهام الأصلية الصينية.
com.bytedance GPT-Fathom GPT-Fathom هو جناح تقييم LLM مفتوح المصدر وقابل للتكرار ، حيث يعقد 10+ LLMS الرائدة في المصدر المفتوح والمصادر بالإضافة إلى النماذج السابقة لـ Openai على أكثر من 20 معايير منسقة تحت إعدادات محاذاة.

لوحة المتصدرين

OpenCompass ، Huggingface

إطار/مجموعة أدوات/منصة

مساهم مشروع الميزة الرئيسية
CAS الألبكة-CoT تمديد بيانات COT إلى الألبكة لتعزيز قدرتها على التفكير.
يهدف إلى بناء منصة تعليمية في مجال التعليمات (IFT) مع جمع تعليمات مكثف (وخاصة مجموعات بيانات COT)
وواجهة موحدة لمختلف نماذج اللغة الكبيرة.
Hiyouga تشات GRING-الكفاءة chatglm-6b فعالة فعالة مع PEFT.
Hiyouga للااما التثبيت صقل لاما مع PEFT (PT+SFT+RLHF مع Qlora).
Jianzhnie صرف فعال فعالية في Qlora LLMS.
ColossalAI com.ColossalChat حل منخفض التكلفة مفتوح المصدر لـ CloningChatgpt مع خط أنابيب RLHF كامل.
مايكروسوفت الدردشة العميقة تدريب RLHF سهل وسريع وبأسعار معقولة لنماذج تشبه ChatGPT في جميع المقاييس.
لاون آي مساعد مفتوح مشروع يهدف إلى منح الجميع إمكانية الوصول إلى نموذج لغة كبير قائم على الدردشة.
هكست lmflow صندوق أدوات قابلة للتمديد ومريحة وفعالة لتصنيع نماذج التعلم الآلي الكبيرة ،
مصممة لتكون سهلة الاستخدام وسريعة وموثوقة ، و ACC
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل