شكرا لك على تطوير نماذج لاما. كجزء من إصدار Llama 3.1 ، قمنا بتوحيد repos Github وأضفنا بعض عمليات إعادة الشراء الإضافية حيث قمنا بتوسيع وظائف Llama إلى كونها مكدس E2E Llama. الرجاء استخدام إعادة الشراء التالية للمضي قدمًا:
إذا كان لديك أي أسئلة ، فلا تتردد في تقديم مشكلة على أي من عمليات إعادة الشراء المذكورة أعلاه وسنبذل قصارى جهدنا للرد في الوقت المناسب.
شكرًا لك!
نحن نفتح قوة نماذج اللغة الكبيرة. أصبح Llama 2 الآن في متناول الأفراد والمبدعين والباحثين والشركات من جميع الأحجام حتى يتمكنوا من تجربة أفكارهم وابتكارها وتوسيع نطاقها بمسؤولية.
يتضمن هذا الإصدار أوزان نموذجية ورمز البدء لنماذج لغة LLAMA التي تم تدريبها مسبقًا وضبطها-تتراوح من 7B إلى 70B.
يهدف هذا المستودع إلى مثال أدنى لتحميل نماذج Llama 2 وتشغيل الاستدلال. لمزيد من الأمثلة التفصيلية التي تستفيد من الوجه المعانقة ، راجع لماشية Llama.
انظر التحديثات. أيضًا للحصول على قائمة بتشغيل الأسئلة التي يتم طرحها بشكل متكرر ، انظر هنا.
من أجل تنزيل أوزان النموذج والرمز المميز ، يرجى زيارة موقع META وقبول ترخيصنا.
بمجرد الموافقة على طلبك ، ستتلقى عنوان URL موقّع عبر البريد الإلكتروني. ثم قم بتشغيل البرنامج النصي Download.sh ، وتمرير عنوان URL المقدم عند مطالبة ببدء التنزيل.
المتطلبات المسبقة: تأكد من تثبيت wget و md5sum . ثم قم بتشغيل البرنامج النصي: ./download.sh .
ضع في اعتبارك أن الروابط تنتهي بعد 24 ساعة وكمية معينة من التنزيلات. إذا بدأت في رؤية أخطاء مثل 403: Forbidden ، فيمكنك دائمًا إعادة تكوين رابط.
نحن نقدم أيضًا تنزيلات على وجه المعانقة. يمكنك طلب الوصول إلى النماذج من خلال الاعتراف بالترخيص وملء النموذج في بطاقة النموذج لإعادة الريبو. بعد القيام بذلك ، يجب أن تحصل على جميع طرز Llama من الإصدار (Code Llama ، Llama 2 ، أو Llama Guard) في غضون ساعة واحدة.
يمكنك متابعة الخطوات أدناه للاستعداد بسرعة وتشغيلها مع طرازات Llama 2. ستتيح لك هذه الخطوات تشغيل الاستدلال السريع محليًا. لمزيد من الأمثلة ، راجع مستودع وصفات Llama 2.
في Conda Env مع Pytorch / CUDA المتاح استنساخ وتنزيل هذا المستودع.
في تشغيل الدليل الأعلى:
pip install -e .تفضل بزيارة موقع META والتسجيل لتنزيل النموذج/s.
بمجرد التسجيل ، ستحصل على بريد إلكتروني مع عنوان URL لتنزيل النماذج. ستحتاج إلى عنوان URL هذا عند تشغيل البرنامج النصي Download.sh.
بمجرد الحصول على البريد الإلكتروني ، انتقل إلى مستودع Llama الذي تم تنزيله وقم بتشغيل البرنامج النصي للتنزيل.
بمجرد تنزيل النموذج/S الذي تريده ، يمكنك تشغيل النموذج محليًا باستخدام الأمر أدناه:
torchrun --nproc_per_node 1 example_chat_completion.py
--ckpt_dir llama-2-7b-chat/
--tokenizer_path tokenizer.model
--max_seq_len 512 --max_batch_size 6ملحوظة
llama-2-7b-chat/ بالمسار إلى دليل نقطة التفتيش و tokenizer.model مع المسار إلى نموذج الرمز المميز.–nproc_per_node على قيمة MP للنموذج الذي تستخدمه.max_seq_len و max_batch_size حسب الحاجة.تتطلب النماذج المختلفة قيم مختلفة متوازية (MP):
| نموذج | النائب |
|---|---|
| 7 ب | 1 |
| 13 ب | 2 |
| 70 ب | 8 |
تدعم جميع الطرز طول تسلسل ما يصل إلى 4096 رمزًا ، لكننا نقوم بتخصيص ذاكرة التخزين المؤقت وفقًا لقيم max_seq_len و max_batch_size . لذا اضبط تلك وفقًا لأجهزةك.
هذه النماذج ليست محايدة للدردشة أو الأسئلة والأجوبة. يجب أن تتم مطالبتها بحيث تكون الإجابة المتوقعة هي الاستمرار الطبيعي للمطالبة.
انظر example_text_completion.py للحصول على بعض الأمثلة. لتوضيح ، راجع الأمر أدناه لتشغيله باستخدام نموذج LLAMA-2-7B (يجب ضبط nproc_per_node على قيمة MP ):
torchrun --nproc_per_node 1 example_text_completion.py
--ckpt_dir llama-2-7b/
--tokenizer_path tokenizer.model
--max_seq_len 128 --max_batch_size 4
تم تدريب النماذج التي تم ضبطها على تطبيقات الحوار. للحصول على الميزات والأداء المتوقعة لهم ، يجب اتباع تنسيق محدد محدد في chat_completion ، بما في ذلك INST و <<SYS>> العلامات ، ورموز BOS و EOS ، والمساحات البيضاء والخطوط بينهما (نوصي بالاتصال strip() على المدخلات لتجنب المساحات المزدوجة).
يمكنك أيضًا نشر مصنفات إضافية لتصفية المدخلات والمخرجات التي تعتبر غير آمنة. راجع repo-Recipes Llama للحصول على مثال على كيفية إضافة مدقق أمان إلى مدخلات ومخرجات رمز الاستدلال الخاص بك.
أمثلة باستخدام Llama-2-7b-Chat:
torchrun --nproc_per_node 1 example_chat_completion.py
--ckpt_dir llama-2-7b-chat/
--tokenizer_path tokenizer.model
--max_seq_len 512 --max_batch_size 6
Llama 2 هي تقنية جديدة تحمل مخاطر محتملة مع الاستخدام. الاختبار الذي أجري حتى الآن لم يكن - ولا يمكن - تغطية جميع السيناريوهات. من أجل مساعدة المطورين على معالجة هذه المخاطر ، أنشأنا دليل الاستخدام المسؤول. يمكن العثور على مزيد من التفاصيل في ورقة البحث لدينا أيضًا.
يرجى الإبلاغ عن أي برنامج "خطأ" ، أو مشاكل أخرى مع النماذج من خلال إحدى الوسائل التالية:
انظر Model_card.md.
نموذجنا وأوزاننا مرخصة لكل من الباحثين والكيانات التجارية ، مما يدعم مبادئ الانفتاح. تتمثل مهمتنا في تمكين الأفراد والصناعة من خلال هذه الفرصة ، مع تعزيز بيئة من الاكتشاف والتقدم الأخلاقي الذكاء الاصطناعي.
انظر ملف الترخيص ، وكذلك سياسة الاستخدام المقبولة المصاحبة لدينا
بالنسبة للأسئلة الشائعة ، يمكن العثور على الأسئلة الشائعة هنا والتي سيتم تحديثها بمرور الوقت مع ظهور أسئلة جديدة.
إن الريبو لإصدار Llama الأصلي موجود في فرع llama_v1 .
