أوزان بامبي

هل يمكن لمتخيل الذكاء الاصطناعي أن يساعدنا في بناء نماذج الذكاء الاصطناعي ومراجعتها؟

إن بناء نماذج الذكاء الاصطناعي الكبيرة له منحنى تعليمي، ويتطلب الكثير من الوقت والموارد. حتى وقت قريب، كنا نظن أن نموذج الذكاء الاصطناعي المدرب مسبقًا يزن مصفوفات غامضة ثنائية الأبعاد من الأرقام العشرية، ولكن ماذا لو كان هناك شيء أكثر من ذلك.

اليوم نريد أن نشارك كيف نستكشف أوزان نماذج الذكاء الاصطناعي، ولكن دعونا أولاً نرى كيف وصلنا إلى هنا.

خلفية

1. نقرأ هذه الأوراق الرئيسية

   • تصنيف ImageNet مع الشبكات العصبية التلافيفية العميقة

   • الاهتمام هو كل ما تحتاجه

2. الوجبات السريعة / ويسلط الضوء

   • يتم استخدام المحولات والانتباه لتشفير وفك تشفير بيانات التدريب
   • تتيح الهندسة المعمارية إجراء تنبؤات باستخدام الرياضيات والمصفوفات من خلال استضافة الأوزان في الذاكرة
   • يتم تخزين كل ما هو مطلوب لإعادة إنتاج سلوكيات المحولات ومشاركتها كأوزان في ملفات النموذج
   • يتم حفظ الأوزان كبيانات رقمية في ملف نموذجي (عادةً ما يكون صفيفًا ثنائي الأبعاد مكونًا من 32 مصفوفة)

3. الأسئلة الرئيسية

   • ما الذي يعمل أيضًا مع المصفوفات وبيانات التعويم 32 عالية الدقة؟ (صور TIFF)؟

     • الرسومات / محركات الألعاب / ffmpeg
     • مسح صور الدماغ باستخدام FMRI / CAT / MEG
     • ناسا بيانات الأرض GeoTiff

   • لماذا لا يمكننا إعادة استخدام تقنيات مماثلة من هذه الأنظمة التي تحتوي على مجموعات بيانات كبيرة وعالية الدقة للتنقل بين "الأوزان" باستخدام نوع مختلف من التكرارات؟ مع أداء الصدأ الحالي وmmap الذي يقوم بتحميل ملف بحجم 100 جيجابايت على القرص، من يدري ربما يمكن أن يعمل هذا الأسلوب بدون وحدة معالجة الرسومات للنماذج الأصغر المقيدة بوحدة المعالجة المركزية فقط.

   • ما هي القطع الفنية المفقودة/المطلوبة للبدء؟

     • كيف تبدو الأوزان؟
     • كيف يمكننا تعليم الذكاء الاصطناعي لمعرفة معنى الأوزان؟
     • ماذا يمكننا أن نفعل ببيانات تدريب السلاسل الزمنية بناءً على كيفية تغير أوزان نموذج الذكاء الاصطناعي بمرور الوقت؟

خاتمة

• ماذا

  • لقد قمنا ببناء نموذج أولي لاستخراج ونأمل أن نحدد كيفية الأوزان:

    • ترتبط مرة أخرى ببيانات التدريب المصدر الأصلي

    • التغيير على مدى العديد من أجيال التدريب

    • يبدو أنه يمثل مجالًا كثيفًا ثلاثي الأبعاد للمعرفة التدريبية المحفوظة كـ "أوزان" مضمنة (غير مثبتة ولكن هذه هي فرضيتنا المستندة إلى التقنيات التي يبدو أنها تعمل)

• لماذا

  • أردنا أن نفهم سبب تميز ماجستير إدارة الأعمال (LLM) وكيف تتناسب الأوزان مع هذه التكنولوجيا المبتكرة.

  • من خلال اختيار قضاء وقتنا في محاولة عرض ما هي أوزان LLM، نعتقد أنه يمكننا تطبيق تقنيات التصور المعروفة لتحليل فحوصات الدماغ البشري لاستخراج الأوزان وتحديدها وإعادة استخدامها وتدقيقها.

  • قبل أن تكون أوزان محولات الذكاء الاصطناعي التوليدية الكبيرة متاحة على نطاق واسع، كانت هذه الأنواع من مجموعات بيانات التدريب الكثيفة وعالية الدقة باهظة الثمن ولم يتم مشاركتها بشكل متكرر

• كيف

  • لقد قمنا ببناء هذا النموذج الأولي باستخدام خوارزميات معالجة الإشارات الرقمية (DSP) للتحليل الحجمي للبيانات عالية الدقة ودمجنا محرك التحليل مع Blender (أداة تصور مفتوحة المصدر).

  • سنفتح المصدر ونتتبع كيف يتعلم الذكاء الاصطناعي من الألف إلى الياء ونستخدم Blender لتصدير ومشاركة الشكل الذي تبدو عليه الأوزان أثناء تقدمنا.

  • من خلال اختيار استخدام Blender لتحليل أوزان النماذج في مجلد ثلاثي الأبعاد، قمنا ببناء إمكانات الرسوم المتحركة التي تتيح لنا تصميم واجهة برمجة التطبيقات الأولية v1 الخاصة بنا لالتقاط مجموعة بيانات التدريب على السلاسل الزمنية. تركز مجموعة بيانات التدريب هذه على التقاط كيفية تعلم النموذج التأسيسي للذكاء الاصطناعي خلال كل مرحلة تدريب باستخدام تحليل الوزن عالي الأداء على البيانات الحجمية.

  • نعتقد أننا بحاجة إلى مشاركة الشكل الذي تبدو عليه هذه النماذج حتى نتمكن من فهمها وتدريب الذكاء الاصطناعي على بناء ومراجعة أنفسهم.

  • نريد أن نرى كيف تبدو مجموعات الخبراء أيضًا (قم بتنزيل أحدث إصدارات شبكة Dolphin 2.5 Mixtral 8x7B STL/glTF أدناه).

ملخص

هذا المستودع مخصص للتوصيف والاستخراج والتصور وإعادة استخدام أوزان الذكاء الاصطناعي التوليدية على أمل بناء نماذج ذكاء اصطناعي أكثر دقة وأوزان التدقيق/المسح الضوئي في حالة عدم النشاط لتحديد مجالات المعرفة للمخاطر (المخاطر).

ملحوظة: إصدار اليوم يتضمن فقط كيفية تحديد أوزان النماذج الموجودة واستخراجها وتصورها. الآن بعد أن أصبح بإمكاننا تصور كيفية تعلم نماذج الذكاء الاصطناعي، فإن التدريب على النماذج التأسيسية هو التالي. سيبدأ التصور التدريبي بتدريس نموذج جديد للذكاء الاصطناعي حول "كيفية دمج مستودع الأوزان البامبية بين numpy وpandas وBlender". لدينا ما يقرب من 190 ملفًا من ملفات python/(مهمة، مطالبة، إجابة) لتنظيمها قبل المشاركة.

كيف تبدو الأوزان المستخرجة؟

يستكشف هذا المستودع تصورات تعلم النموذج بمرور الوقت وبناء مجموعات بيانات التدريب من "أشكال الوزن" المستخرجة لبناء أوزان نماذج الذكاء الاصطناعي الجديدة والتنبؤ بها (نأمل أن تكون أسرع من طرق التدريب التقليدية أيضًا).

إليك ما يبدو عليه Llama 2 7B Chat GPTQ داخل Blender ويتم تصديره كصورة GIF باستخدام هذا المستودع:

• عرض الأشكال المستخرجة من Llama 2 7B Chat GPTQ في صورة GIF بحجم 75 ميجابايت - https://i.imgur.com/9vdATAt.mp4

كتالوج تصورات AI Blender ثلاثية الأبعاد المتاحة في ملفات glTF وSTL المستضافة على Google Drive

تحتوي مجلدات Google Drive التالية على الفهرس الناشئ لمرئيات نماذج اللغات الكبيرة glTF وSTL. تتراوح الملفات من ~1 ميجا بايت إلى +2 جيجا بايت.

تواصل معنا إذا كنت تريد رؤية نموذج/كثافة جديدة!

• دولفين 2.5 ميكسترال 8x7B GPTQ
• Phind CodeLlama 34B v2 GPTQ
• ديب سيك كودر 34B GPTQ
• ميسترال 7B OpenOrca GPTQ
• اللاما 2 7B دردشة GPTQ
• جي بي تي 2

مجموعات البيانات على جيثب

عرض ملفات STL على جيثب

إذا كان ملف STL صغيرًا بدرجة كافية، فيمكن لـ GitHub عرض الشبكات ثلاثية الأبعاد تلقائيًا. ملحوظة: عرض GitHub STL على الهاتف المحمول ليس مثاليًا في الوقت الحالي، ولكن على سطح المكتب يمكنك تكبير الطبقات باستخدام عجلة الماوس في الاتجاه المعاكس والتدوير باستخدام أزرار الماوس الأيسر/الأيمن:

• دولفين 2.5 ميكسترال 8x7b
• Phind Code Llama 2 34B v2
• ميسترال 7B أوبن أوركا

مستودع مجموعة بيانات جيثب

نحن نحاول البقاء أقل من 50 ميغابايت ونخزن الأصول في الريبو الخاص بنا على GitHub - https://github.com/matlok-ai/gen-ai-datasets-for-bampe-weights/docs/images/blender

استخدام Blender لتصور نماذج الذكاء الاصطناعي التوليدية أثناء عملية تدريب الذكاء الاصطناعي

عرض الأشكال المستخرجة من أوزان نماذج الذكاء الاصطناعي باستخدام صورة حاوية الخلاط

خلاط مضيف ذاتيًا في حاوية للمساعدة في معرفة كيف تبدو أوزان الذكاء الاصطناعي التوليدية محليًا:

1. صورة حاوية العرض التوضيحي لـ Blender مع ملفات STL/GLB المصدرة المضمنة بالفعل

   تم إنشاء صورة matlok/blender-ai-demos من صورة LinuxServer Blender وتتضمن ملفات STL وGLB ثلاثية الأبعاد التي يمكنك عرضها في المتصفح. صورة الحاوية المستخرجة من Blender-ai-Demos أكبر من 4.0 جيجابايت على القرص وتستخدم حوالي 3 جيجابايت من ذاكرة الوصول العشوائي لمعالجة ملفات STL أو glTF أكبر من 40 ميجابايت:

   تم العثور على المرئيات التجريبية في هذا الدليل داخل الحاوية:

   /config/bampe-visualizations

   عامل ميناء

    docker rm blender; docker-compose -f compose/blender-demos.yaml up -d
   

   بودمان

    podman rm -t 0 -f blender; podman-compose -f compose/blender-demos.yaml up -d
   

2. صورة خادم Linux الأساسي

   قم بتشغيل صورة LinuxServer/docker-blender (lscr.io/linuxserver/blender:latest) وقم بإنشاء ملفات STL/GLB جديدة جاهزة للعرض باستخدام وحدة تخزين مثبتة بالفعل بين المضيف وحاوية Blender (دليل .blender ). صورة الحاوية المستخرجة من docker-blender تبلغ حوالي 3 جيجابايت على القرص.

   عامل ميناء

    docker rm blender; docker-compose -f compose/blender-demos.yaml up -d
   

   بودمان

    podman rm -t 0 -f blender; podman-compose -f compose/base.yaml up -d
   

   ملاحظة: تظهر العناصر المرئية المنشأة حديثًا (ملفات STL وglTF glb) فقط بمجرد إعادة تشغيل الحاوية في هذا الدليل داخل حاوية Blender:

   /config/bampe

3. افتح Blender في المتصفح

   يستمع Blender إلى عنوان url هذا:

   http://localhost:3000

4. قم بتحميل تصور AI للخلاط ثلاثي الأبعاد يدويًا

   بمجرد تشغيل Blender في المتصفح، يمكنك استيراد ملفات STL أو glTF بالنقر فوق هذه القوائم:

   1. ملف

   2. يستورد

   3. STL أو glTF

   4. الملفات موجودة إما في /config/bampe أو /config/bampe-visualizations اعتمادًا على إصدار الحاوية قيد التشغيل

نصائح حول وضع التنقل في الخلاط

وضع التنقل - المشي

• استخدم Shift + ` لتمكين وضع التنقل باستخدام الماوس وW، A، S، D لحركة الشخص الأول.

• سيؤدي الضغط على زر Shift إلى التحرك بسرعة توربو أيضًا.

ضبط حساسية ماوس التنقل وسرعة المشي

1. افتح تحرير -> التفضيلات -> التنقل -> الطيران والمشي -> سهم تبديل المشي

2. ضبط حساسية الماوس -> 0.1

3. اضبط سرعة المشي -> 20 م/ث

عرض نماذج الذكاء الاصطناعي مثل لعبة فيديو باستخدام Blender على سطر الأوامر

تهيئة بيئة التطوير

هذا المستودع مخصص للبحث عن طرق بديلة لبناء الذكاء الاصطناعي باستخدام أوزان الذكاء الاصطناعي المدربة مسبقًا. إنه عمل قيد التقدم لذا يرجى الرجوع إلى إعداد بيئة التطوير للحصول على مزيد من التفاصيل حول تشغيل هذا من سطر الأوامر.

أين يمكنني أيضًا عرض ملفات glTF وSTL المصدرة؟

يمكننا مشاركة هذه الأشكال وعرضها باستخدام الأدوات عبر الإنترنت.

مشاهدي glTF عبر الإنترنت

• https://gltf-viewer.donmccurdy.com/

مشاهدي STL عبر الإنترنت

• https://stlviewer.kwebpia.net

المنصات المدعومة

تم اختبار هذا المستودع على المنصات التالية:

ويندوز دبليو اس ال

• Blender 3 على Ubuntu 22.04 (الحزمة المناسبة) - wsl2 Windows 11 gpu

لينكس أوبونتو 22.04 المعدن العاري

• Blender 4 على Ubuntu 22.04 (حزمة مبكرة) - برنامج Hypervisor بدون وحدة معالجة الرسومات

مصادر صور حاوية الخلاط

• العروض التوضيحية - matlokai/blender-ai-demos
• القاعدة - LinuxServer/docker-blender