? نماذج عناق الوجه |. موقع ويب |
نحن نطلق العنان لقوة نماذج اللغات الكبيرة. أحدث إصدار لدينا من Llama متاح الآن للأفراد والمبدعين والباحثين والشركات من جميع الأحجام حتى يتمكنوا من تجربة أفكارهم وابتكارها وتوسيع نطاقها بشكل مسؤول.
يتضمن هذا الإصدار أوزان النماذج وكود البدء لنماذج لغة Llama 3 المدربة مسبقًا والمضبوطة حسب التعليمات، بما في ذلك أحجام المعلمات من 8B إلى 70B.
تم تصميم هذا المستودع ليكون مثالًا مبسطًا لتحميل نموذج Llama 3 وتشغيل الاستدلال. راجع وصفات اللاما للحصول على أمثلة أكثر تفصيلاً.
من أجل تنزيل أوزان النموذج والرمز المميز، يرجى زيارة موقع Meta Llama الإلكتروني وقبول اتفاقية الترخيص الخاصة بنا.
بعد إرسال طلبك، ستتلقى عنوان URL موقعًا عبر البريد الإلكتروني. ثم قم بتشغيل البرنامج النصي download.sh، وقم بتمرير عنوان URL المقدم عند مطالبتك ببدء التنزيل.
المتطلب السابق: التأكد من تثبيت wget و md5sum . ثم قم بتشغيل البرنامج النصي: ./download.sh .
ضع في اعتبارك أن الرابط ستنتهي صلاحيته بعد 24 ساعة وعدد معين من التنزيلات. إذا بدأت في رؤية أخطاء مثل 403: Forbidden ، فيمكنك دائمًا إعادة طلب الرابط.
نحن نقدم أيضًا تنزيلات على Hugging Face، بما في ذلك المحولات وتنسيقات llama3 الأصلية. لتحميل الأوزان من Hugging Face اتبع الخطوات التالية:
original . يمكنك أيضًا تنزيلها من سطر الأوامر إذا قمت بتثبيت pip install huggingface-hub : huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include " original/* " --local-dir meta-llama/Meta-Llama-3-8B-Instruct import transformers
import torch
model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
pipeline = transformers . pipeline (
"text-generation" ,
model = "meta-llama/Meta-Llama-3-8B-Instruct" ,
model_kwargs = { "torch_dtype" : torch . bfloat16 },
device = "cuda" ,
)يمكنك البدء بسرعة في استخدام نموذج Llama 3 باتباع الخطوات التالية. ستمكنك هذه الخطوات من إجراء الاستدلال السريع محليًا. لمزيد من الأمثلة، راجع مستودع وصفات اللاما.
قم باستنساخ هذا المستودع وتنزيله في بيئة conda مع تثبيت PyTorch/CUDA.
تشغيل في الدليل العلوي:
pip install -e .تفضل بزيارة موقع Meta Llama وقم بالتسجيل لتنزيل النماذج.
بعد التسجيل، ستتلقى رسالة بريد إلكتروني تحتوي على عنوان URL لتنزيل النموذج. ستحتاج إلى عنوان URL هذا عند تشغيل البرنامج النصي download.sh.
بمجرد تلقي البريد الإلكتروني، انتقل إلى مستودع اللاما الذي قمت بتنزيله وقم بتشغيل البرنامج النصي download.sh.
بعد تنزيل النموذج المطلوب، يمكنك تشغيل النموذج محليًا باستخدام الأمر التالي:
torchrun --nproc_per_node 1 example_chat_completion.py
--ckpt_dir Meta-Llama-3-8B-Instruct/
--tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model
--max_seq_len 512 --max_batch_size 6يلاحظ
Meta-Llama-3-8B-Instruct/ بمسار دليل نقطة التفتيش و Meta-Llama-3-8B-Instruct/tokenizer.model بمسار نموذج الرمز المميز الخاص بك.–nproc_per_node على قيمة MP للنموذج الذي تستخدمه.max_seq_len و max_batch_size حسب الحاجة.تتطلب النماذج المختلفة قيمًا مختلفة لتوازي النماذج (MP):
| نموذج | النائب |
|---|---|
| 8 ب | 1 |
| 70 ب | 8 |
تدعم جميع النماذج أطوال تسلسلية تصل إلى 8192 رمزًا مميزًا، ولكننا نقوم بتخصيص ذاكرة التخزين المؤقت مسبقًا بناءً على قيم max_seq_len و max_batch_size . لذلك، قم بتعيين هذه القيم وفقًا لجهازك.
لم يتم ضبط هذه النماذج بشكل دقيق للدردشة أو الأسئلة والأجوبة. يجب إعداد المطالبات بحيث تكون الإجابة المتوقعة استمرارًا طبيعيًا للموجه.
راجع example_text_completion.py للحصول على بعض الأمثلة. للتوضيح، راجع الأمر أدناه لتشغيله باستخدام نموذج llama-3-8b (يجب ضبط nproc_per_node على قيمة MP ):
torchrun --nproc_per_node 1 example_text_completion.py --ckpt_dir Meta-Llama-3-8B/ --tokenizer_path Meta-Llama-3-8B/tokenizer.model --max_seq_len 128 --max_batch_size 4
يتم تدريب النماذج المضبوطة جيدًا لتطبيقات المحادثة. من أجل الحصول على الخصائص والأداء المتوقع، يجب عليهم اتباع تنسيق محدد محدد في ChatFormat : تبدأ المطالبات بالرمز المميز <|begin_of_text|> ، متبوعًا برسالة واحدة أو أكثر. تبدأ كل رسالة بالعلامة <|start_header_id|> ، ولها دور system أو user أو assistant ، وتنتهي بالعلامة <|end_header_id|> . بعد السطر الجديد المزدوج nn يتبع محتوى الرسالة. يتم وضع علامة على نهاية كل رسالة بالرمز المميز <|eot_id|> .
يمكنك أيضًا نشر مصنفات إضافية لتصفية المدخلات والمخرجات التي تعتبر غير آمنة. راجع مثالاً في مستودع وصفات اللاما حول كيفية إضافة أدوات التحقق من الأمان إلى مدخلات ومخرجات رمز الاستدلال الخاص بك.
مثال باستخدام llama-3-8b-chat:
torchrun --nproc_per_node 1 example_chat_completion.py --ckpt_dir Meta-Llama-3-8B-Instruct/ --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model --max_seq_len 512 --max_batch_size 6
Llama 3 هي تقنية جديدة ولها مخاطر محتملة. إن الاختبارات التي أجريت حتى الآن لا تغطي – ولا يمكنها – تغطية كل المواقف. ولمساعدة المطورين على معالجة هذه المخاطر، قمنا بإنشاء إرشادات الاستخدام المسؤول.
الرجاء الإبلاغ عن "أخطاء" البرامج أو مشكلات أخرى تتعلق بالنموذج عبر إحدى الطرق التالية:
راجع MODEL_CARD.md.
نماذجنا وأوزاننا مرخصة للباحثين والكيانات التجارية، مع الالتزام بالمبادئ المفتوحة. مهمتنا هي تمكين الأفراد والصناعات من خلال هذه الفرصة مع تعزيز بيئة الاكتشاف والتقدم الأخلاقي للذكاء الاصطناعي.
يرجى مراجعة مستند الترخيص، بالإضافة إلى سياسة الاستخدام المقبول لدينا
بالنسبة للأسئلة الشائعة، يمكن العثور على الأسئلة الشائعة هنا https://llama.meta.com/faq، وسيتم تحديثها باستمرار عند ظهور أسئلة جديدة.
