ملاحظة الإهمال

شكرًا لك على تطوير نماذج اللاما. كجزء من إصدار Llama 3.1، قمنا بتوحيد عمليات إعادة الشراء على GitHub وأضفنا بعض عمليات إعادة الشراء الإضافية حيث قمنا بتوسيع وظائف Llama لتصبح حزمة Llama Stack e2e. يرجى استخدام مستودعات إعادة الشراء التالية للمضي قدمًا:

نماذج اللاما - الريبو المركزي للنماذج الأساسية بما في ذلك المرافق الأساسية وبطاقات النماذج وسياسات الترخيص والاستخدام
PurpleLlama - مكون رئيسي في Llama Stack يركز على مخاطر السلامة وتخفيف وقت الاستدلال
llama-toolchain - تطوير النماذج (الاستدلال/الضبط الدقيق/دروع الأمان/إنشاء البيانات الاصطناعية) الواجهات والتطبيقات الأساسية
نظام llama-agentic - نظام Llama Stack المستقل من E2E، إلى جانب واجهة أساسية مدروسة، تتيح إنشاء تطبيقات وكيلة
وصفات اللاما - البرامج النصية والتكاملات التي يحركها المجتمع

إذا كانت لديك أي أسئلة، فلا تتردد في تقديم مشكلة في أي من اتفاقيات إعادة الشراء المذكورة أعلاه وسنبذل قصارى جهدنا للرد في الوقت المناسب.

شكرًا لك!

(مهمل) ميتا لاما 3

نحن نطلق العنان لقوة نماذج اللغات الكبيرة. أصبح الآن أحدث إصدار من Llama متاحًا للأفراد والمبدعين والباحثين والشركات من جميع الأحجام حتى يتمكنوا من تجربة أفكارهم وابتكارها وتوسيع نطاقها بشكل مسؤول.

يتضمن هذا الإصدار أوزان النماذج وكود البدء لنماذج لغة Llama 3 المدربة مسبقًا والمضبوطة حسب التعليمات - بما في ذلك أحجام المعلمات من 8B إلى 70B.

يعد هذا المستودع مثالًا بسيطًا لتحميل نماذج Llama 3 وتشغيل الاستدلال. للحصول على أمثلة أكثر تفصيلاً، راجع وصفات اللاما.

تحميل

لتنزيل أوزان النموذج والرمز المميز، يرجى زيارة موقع Meta Llama الإلكتروني وقبول الترخيص الخاص بنا.

بمجرد الموافقة على طلبك، ستتلقى عنوان URL موقعًا عبر البريد الإلكتروني. بعد ذلك، قم بتشغيل البرنامج النصي download.sh، وقم بتمرير عنوان URL المقدم عندما يُطلب منك بدء التنزيل.

المتطلبات الأساسية: تأكد من تثبيت wget و md5sum . ثم قم بتشغيل البرنامج النصي: ./download.sh .

تذكر أن الروابط تنتهي صلاحيتها بعد 24 ساعة وبعد قدر معين من التنزيلات. يمكنك دائمًا إعادة طلب الرابط إذا بدأت في رؤية أخطاء مثل 403: Forbidden .

الوصول إلى معانقة الوجه

نوفر أيضًا تنزيلات على Hugging Face، بكل من تنسيقات المحولات وتنسيقات llama3 الأصلية. لتحميل الأوزان من Hugging Face برجاء اتباع الخطوات التالية:

قم بزيارة أحد مواقع إعادة الشراء، على سبيل المثال meta-llama/Meta-Llama-3-8B-Instruct.
قراءة وقبول الترخيص. بمجرد الموافقة على طلبك، سيتم منحك حق الوصول إلى جميع نماذج Llama 3. لاحظ أن الطلبات كانت تستغرق ما يصل إلى ساعة واحدة لتتم معالجتها.
لتنزيل الأوزان الأصلية الأصلية لاستخدامها مع هذا الريبو، انقر فوق علامة التبويب "الملفات والإصدارات" وقم بتنزيل محتويات المجلد original . يمكنك أيضًا تنزيلها من سطر الأوامر إذا pip install huggingface-hub :

 Huggingface-cli تنزيل meta-llama/Meta-Llama-3-8B-Instruct --تشمل "original/*" --local-dir meta-llama/Meta-Llama-3-8B-Instruct

للاستخدام مع المحولات، سيقوم مقتطف خط الأنابيب التالي بتنزيل الأوزان وتخزينها مؤقتًا:

 import Transformersimport torchmodel_id = "meta-llama/Meta-Llama-3-8B-Instruct"pipeline = Transformers.pipeline( "text-Generation"، model = "meta-llama/Meta-Llama-3-8B-Instruct"، model_kwargs ={"torch_dtype": torch.bfloat16}، جهاز = "cuda"،
)

بداية سريعة

يمكنك اتباع الخطوات الموضحة أدناه لبدء تشغيل نماذج Llama 3 بسرعة. ستتيح لك هذه الخطوات تشغيل الاستدلال السريع محليًا. لمزيد من الأمثلة، راجع مستودع وصفات اللاما.

قم باستنساخ هذا المستودع وتنزيله في conda env باستخدام PyTorch / CUDA.
في دليل المستوى الأعلى، قم بتشغيل:
```
 تثبيت النقطة -e .
```
تفضل بزيارة موقع Meta Llama وقم بالتسجيل لتنزيل النموذج/النماذج.
بمجرد التسجيل، ستصلك رسالة بريد إلكتروني تحتوي على عنوان URL لتنزيل النماذج. ستحتاج إلى عنوان URL هذا عند تشغيل البرنامج النصي download.sh.
بمجرد حصولك على البريد الإلكتروني، انتقل إلى مستودع اللاما الذي تم تنزيله وقم بتشغيل البرنامج النصي download.sh.

تأكد من منح أذونات التنفيذ للبرنامج النصي download.sh
خلال هذه العملية، سيُطلب منك إدخال عنوان URL من البريد الإلكتروني.
لا تستخدم خيار "نسخ الرابط"؛ انسخ الرابط من البريد الإلكتروني يدويًا.

بمجرد تنزيل النموذج/النماذج التي تريدها، يمكنك تشغيل النموذج محليًا باستخدام الأمر أدناه:

 torchrun --nproc_per_node 1 example_chat_completion.py 
    --ckpt_dir Meta-Llama-3-8B-Instruct/ 
    --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model 
    --max_seq_len 512 --max_batch_size 6

ملحوظة

استبدل Meta-Llama-3-8B-Instruct/ بالمسار إلى دليل نقاط التفتيش الخاصة بك و Meta-Llama-3-8B-Instruct/tokenizer.model بالمسار إلى نموذج الرمز المميز الخاص بك.
يجب ضبط –nproc_per_node على قيمة MP للنموذج الذي تستخدمه.
اضبط معلمات max_seq_len و max_batch_size حسب الحاجة.
يقوم هذا المثال بتشغيل example_chat_completion.py الموجود في هذا المستودع، ولكن يمكنك تغيير ذلك إلى ملف .py مختلف.

الاستدلال

تتطلب النماذج المختلفة قيمًا مختلفة للنموذج الموازي (MP):

نموذج	النائب
8 ب	1
70 ب	8

تدعم جميع الطرز طول تسلسل يصل إلى 8192 رمزًا مميزًا، لكننا نقوم بتخصيص ذاكرة التخزين المؤقت مسبقًا وفقًا لقيم max_seq_len و max_batch_size . لذا قم بتعيينها وفقًا لجهازك.

نماذج مُدربة مسبقًا

لم يتم ضبط هذه النماذج للدردشة أو الأسئلة والأجوبة. يجب أن تتم مطالبتهم بحيث تكون الإجابة المتوقعة هي الاستمرار الطبيعي للمطالبة.

راجع example_text_completion.py للحصول على بعض الأمثلة. للتوضيح، راجع الأمر أدناه لتشغيله باستخدام نموذج llama-3-8b (يجب ضبط nproc_per_node على قيمة MP ):

torchrun --nproc_per_node 1 example_text_completion.py 
    --ckpt_dir Meta-Llama-3-8B/ 
    --tokenizer_path Meta-Llama-3-8B/tokenizer.model 
    --max_seq_len 128 --max_batch_size 4

نماذج مضبوطة للتعليمات

تم تدريب النماذج المضبوطة لتطبيقات الحوار. للحصول على الميزات والأداء المتوقع لها، يجب اتباع التنسيق المحدد المحدد في ChatFormat : يبدأ الموجه برمز مميز خاص <|begin_of_text|> ، تتبعه بعد ذلك رسالة واحدة أو أكثر. تبدأ كل رسالة بالعلامة <|start_header_id|> system الدور user أو assistant والعلامة <|end_header_id|> . بعد السطر الجديد المزدوج nn ، تظهر محتويات الرسالة على النحو التالي. يتم وضع علامة على نهاية كل رسالة بالرمز المميز <|eot_id|> .

يمكنك أيضًا نشر مصنفات إضافية لتصفية المدخلات والمخرجات التي تعتبر غير آمنة. راجع مستودع وصفات اللاما للحصول على مثال حول كيفية إضافة مدقق الأمان إلى مدخلات ومخرجات رمز الاستدلال الخاص بك.

أمثلة على استخدام llama-3-8b-chat:

torchrun --nproc_per_node 1 example_chat_completion.py 
    --ckpt_dir Meta-Llama-3-8B-Instruct/ 
    --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model 
    --max_seq_len 512 --max_batch_size 6

Llama 3 هي تقنية جديدة تحمل مخاطر محتملة مع استخدامها. الاختبارات التي تم إجراؤها حتى الآن لم تغطي جميع السيناريوهات، ولا يمكنها ذلك. ولمساعدة المطورين على معالجة هذه المخاطر، قمنا بإنشاء دليل الاستخدام المسؤول.

مشاكل

يرجى الإبلاغ عن أي "خلل" برمجي أو مشاكل أخرى في الموديلات من خلال إحدى الوسائل التالية:

الإبلاغ عن المشكلات المتعلقة بالنموذج: https://github.com/meta-llama/llama3/issues
الإبلاغ عن المحتوى الخطير الذي تم إنشاؤه بواسطة النموذج: Developers.facebook.com/llama_output_feedback
الإبلاغ عن الأخطاء والمخاوف الأمنية: facebook.com/whitehat/info

البطاقة النموذجية

راجع MODEL_CARD.md.

رخصة

نموذجنا وأوزاننا مرخصة للباحثين والكيانات التجارية، مع التمسك بمبادئ الانفتاح. مهمتنا هي تمكين الأفراد والصناعة من خلال هذه الفرصة مع تعزيز بيئة الاكتشاف والتقدم الأخلاقي للذكاء الاصطناعي.

راجع ملف الترخيص، بالإضافة إلى سياسة الاستخدام المقبول المرفقة لدينا