pratical llms
1.0.0
مرحبًا بك في مستودع مهندسي LLM (نموذج اللغة الكبير)! تم تصميم هذه المجموعة من دفاتر Jupyter Notebook لتجميع الجوانب العملية لعملنا. سأقوم بجمع وإضافة jupyter و/أو البرنامج النصي لغرض التعلم والتجريب.
| دفتر | وصف | عنوان URL |
|---|---|---|
| 1_understanding_llms_benchmarks.ipynb | يوفر هذا الدفتر شرحًا للمعايير الرئيسية المستخدمة في لوحة المتصدرين openLLM. ويهدف إلى مساعدتك على فهم المقاييس والمنهجيات الأساسية المستخدمة في قياس معايير LLM. | وصلة |
| 2_quantization_base.ipynb | في هذا الدفتر، ستتعلم كيفية فتح نموذج Hugging Face بتنسيق 8 بت و4 بت باستخدام مكتبة BitandBytes. يعد التكميم أسلوبًا بالغ الأهمية لتحسين أداء النموذج واستخدام الموارد، ويرشدك هذا الكمبيوتر الدفتري خلال العملية. | وصلة |
| 3_quantization_gptq.ipynb | استكشف القياس الكمي بتنسيق GPTQ باستخدام مكتبة auto-gptq مع هذا الكمبيوتر الدفتري. يكتسب تنسيق GPTQ شعبية كبيرة لفعاليته في ضغط النماذج الكبيرة مثل GPT وقياس حجمها. تعرف على كيفية الاستفادة من هذا التنسيق لنماذجك. | وصلة |
| 4_quantization_exllamav2.ipynb | كيفية تكميم نموذج من HF إلى exllamav2 | وصلة |
| 5_sharding_and_offloading.ipynb | كيفية تقسيم النموذج إلى أجزاء متعددة. يسمح هذا بتحميله على أجهزة مختلفة أو تحميل جهاز واحد في وقت واحد لإدارة الذاكرة. تعرف على كيفية إلغاء تحميل بعض الطبقات على وحدة المعالجة المركزية أو حتى القرص | وصلة |
| 6_gguf_quantization_and_inference.ipynb | قم بقياس نموذج إلى GGUF باستخدام مكتبة llama.cpp. الاستدلال على خادم متوافق مع OpenAI. | وصلة |
| 7_gguf_split_and_load.ipynb | قم بتقسيم نموذج GGUF الكمي إلى أجزاء متعددة، مما يجعله قابلاً للمشاركة بسهولة | وصلة |
| 8_hqq_quantization.ipynb | استكشاف التكميم باستخدام التكميم نصف التربيعي (HQQ) | وصلة |
| 9_inference_big_model_cpu_plus_gpu.ipynb | يوضح هذا الكمبيوتر الدفتري كيفية حساب ذاكرة الوصول العشوائي (RAM) المطلوبة بواسطة نموذج GGUF المكمّم وكيفية تحميلها في الذاكرة باستخدام كل من ذاكرة الوصول العشوائي (RAM) وVRAM، مما يؤدي إلى تحسين عدد الطبقات التي يمكن تفريغها إلى وحدة معالجة الرسومات. يوضح الكمبيوتر الدفتري تحميل Qwen/Qwen1.5-32B-Chat-GGUF كمثال على نظام مزود بذاكرة VRAM T4 بسعة 15 جيجابايت وذاكرة وصول عشوائي تبلغ سعتها 32 جيجابايت تقريبًا | وصلة |
| a10_inference_llama3.ipynb | تم إصدار LLama3. يوضح هذا الكمبيوتر الدفتري كيفية تشغيل LLama3-8B-Instruct بنصف الدقة إذا كان لديك إمكانية الوصول إلى وحدة معالجة الرسومات بسعة 24 جيجابايت من VRAM، وكمية إلى 8 بت إذا كان لديك 10 جيجابايت من VRAM، ويوضح كيفية تشغيل إصدار Q8 GGUF لتحقيق أقصى قدر من الأداء إذا لديك 10 جيجابايت فقط من VRAM. | وصلة |
| a11_llm_guardrails_using_llama3_guard.ipynb | قم بحماية الواجهة الخلفية وتطبيقات الذكاء الاصطناعي التوليدية باستخدام LLama3-guard-2. في هذا الدفتر، أوضح لك كيفية إعداد خادم باستخدام 10 جيجابايت من VRAM وكيفية إجراء الاستدلال من خلال طلبات HTTP POST. | وصلة |
| a12_speculative_decoding.ipynb | يصف دفتر الملاحظات عمليًا ويوضح أسلوب "فك التشفير التخميني" لزيادة الرموز المميزة في الثانية التي يولدها النموذج المستهدف من خلال استخدام نموذج مسودة أصغر حجمًا وأخف وزنًا. تم تنفيذ المثال على LLama-3-70B-Instruct (الهدف) وLLama-3-8B-Instruct (مسودة). | وصلة |
| a13_inference_vision_llm.ipynb | يوضح دفتر الملاحظات كيفية إجراء استنتاج بسيط باستخدام رؤية LLM. على سبيل المثال، اخترت إصدار Microsoft الجديد Phi-3-vision-128k-instruct. النموذج مرخص من معهد ماساتشوستس للتكنولوجيا (MIT)، لذا يمكن استخدامه في تطبيقاتك الخاصة دون أي قيود. يمكن تشغيل النموذج على جهاز Nvidia L4 واحد. | وصلة |
| a14_llm_as_evaluator.ipynb | يوضح دفتر الملاحظات كيفية استخدام ماجستير في القانون كقاضي باستخدام Prometheus 2. ويوضح في دفتر الملاحظات كيفية تقييم الإجابة التي يتم إرجاعها من أي برنامج ماجستير في القانون أو مسار التقديم. | وصلة |
| a15_llm_evaluation.ipynb | يوضح دفتر الملاحظات كيفية استخدام EleutherAI/lm-evaluation-harness لتقييم LLMs وفقًا للمعايير المشتركة المستخدمة أيضًا في لوحات المتصدرين الرسمية. يتم استخدام العملية نفسها تلقائيًا عند إرسال نموذج إلى لوحة المتصدرين | وصلة |
| a16_synthetic_data_generation.ipynb | في هذا الدفتر، قمت بإنشاء فئة مخصصة لإنشاء مجموعة بيانات ضمان الجودة الاصطناعية من ملف إدخال باستخدام Llama-3-8B كـ LLM. يوضح البرنامج النصي أيضًا كيفية إنشاء الإصدار الجديد من خادم llama وتشغيله على llama-3-8b-Q_8 GGUF | وصلة |
| a17_sglan_serving_llm_multiusers.ipynb | في هذا الدفتر، أعرض جميع الخطوات الخاصة بكيفية نشر LLama3.1-8B-FP8 بكفاءة على خادم مخصص باستخدام SGLang وخدمة 64 مستخدمًا متوازيًا محتملاً مع الحفاظ على الأداء الجيد. | وصلة |
| a18_jailbreak_control_using_promptguard.ipynb | تجربة PromptGuard-86M الجديد لكسر الحماية. المفسد: يبدو النموذج مكسورًا أو سيئًا حقًا في هذه اللحظة | وصلة |
| a19_document_information_and_table_extraction.ipynb | يوضح هذا الكمبيوتر الدفتري كيفية استخدام نموذج القراءة والكتابة متعدد الوسائط (Kosmos 2.5) لاستخراج النصوص والجداول بدقة وكفاءة دون استخدام الخدمات السحابية المدفوعة. يعمل النموذج على وحدة معالجة الرسومات الشخصية الخاصة بك، مما يحافظ على خصوصية بياناتك وأمانها. | وصلة |
| a20_finetuning_llm_unsloth.ipynb | يوضح هذا الكمبيوتر الدفتري كيفية ضبط Phi-3.5-mini-instruct باستخدام unsloth على مجموعة بيانات HF لسلسلة من بنية "التفكير" | وصلة |
لمزيد من الموارد والدعم، لا تتردد في التواصل مع المجتمع أو الرجوع إلى ما يلي:
تعلم سعيد وتجربة LLMs!
