gemma
1.0.0
Gemma هي عائلة من النماذج اللغوية الكبيرة ذات الأوزان المفتوحة (LLM) من Google DeepMind، استنادًا إلى أبحاث وتقنيات Gemini.
يحتوي هذا المستودع على تطبيق الاستدلال والأمثلة، بناءً على Flax وJAX.
يعرض تقرير Gemma الفني (الإصداران 1 و2) تفاصيل قدرات النماذج.
للحصول على البرامج التعليمية، والتطبيقات المرجعية في أطر تعلم الآلة الأخرى، والمزيد، قم بزيارة https://ai.google.dev/gemma.
لتثبيت Gemma، عليك استخدام Python 3.10 أو أعلى.
قم بتثبيت JAX لوحدة المعالجة المركزية أو وحدة معالجة الرسومات أو TPU. اتبع التعليمات الموجودة على موقع JAX الإلكتروني.
يجري
python -m venv gemma-demo . gemma-demo/bin/activate pip install git+https://github.com/google-deepmind/gemma.git
تتوفر نقاط التفتيش النموذجية من خلال Kaggle على http://kaggle.com/models/google/gemma. حدد أحد أشكال نموذج Flax ، وانقر فوق الزر ⤓ لتنزيل أرشيف النموذج، ثم استخرج المحتويات إلى دليل محلي. يحتوي الأرشيف على كل من أوزان النموذج والرمز المميز، على سبيل المثال يحتوي الإصدار 2b Flax على:
2b/ # Directory containing model weights tokenizer.model # Tokenizer
لتشغيل اختبارات الوحدة، قم بتثبيت تبعيات [test] الاختيارية (على سبيل المثال، باستخدام pip install -e .[test] من جذر الشجرة المصدر)، ثم:
pytest .
لاحظ أنه يتم تخطي الاختبارات الموجودة في sampler_test.py افتراضيًا نظرًا لعدم توزيع أي رمز مميز مع مصادر Gemma. لإجراء هذه الاختبارات، قم بتنزيل رمز مميز باتباع الإرشادات المذكورة أعلاه، وقم بتحديث ثابت _VOCAB في sampler_test.py بالمسار إلى tokenizer.model .
لتشغيل البرنامج النصي لأخذ العينات، قم بتمرير المسارات إلى دليل الأوزان والرمز المميز:
python examples/sampling.py --path_checkpoint=/path/to/archive/contents/2b/ --path_tokenizer=/path/to/archive/contents/tokenizer.model
هناك أيضًا العديد من البرامج التعليمية الخاصة بدفتر Colab:
يحتوي colabs/sampling_tutorial.ipynb على دفتر ملاحظات Colab مع مثال لأخذ العينات.
يحتوي colabs/fine_tuning_tutorial.ipynb على Colab مع برنامج تعليمي أساسي حول كيفية ضبط Gemma لمهمة ما، مثل الترجمة من الإنجليزية إلى الفرنسية.
colabs/gsm8k_eval.ipynb هو Colab مع تنفيذ مرجعي لتقييم GSM8K.
لتشغيل هذه الدفاتر، ستحتاج إلى تنزيل نسخة محلية من الأوزان والرمز المميز (انظر أعلاه)، وتحديث متغيرات ckpt_path و vocab_path بالمسارات المقابلة.
يمكن لـ Gemma العمل على وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات (GPU) وTPU. بالنسبة لوحدة معالجة الرسومات، نوصي باستخدام ذاكرة وصول عشوائي (RAM) بسعة 8 جيجابايت + على وحدة معالجة الرسومات لنقطة التفتيش 2B وذاكرة وصول عشوائي (RAM) بسعة 24 جيجابايت + على وحدة معالجة الرسومات لنقطة التفتيش 7B.
نحن منفتحون على تقارير الأخطاء وطلبات السحب (PR) والمساهمات الأخرى. يرجى الاطلاع على CONTRIBUTING.md للحصول على تفاصيل حول العلاقات العامة.
حقوق الطبع والنشر لعام 2024 محفوظة لشركة DeepMind Technologies Limited
تم ترخيص هذا الرمز بموجب ترخيص Apache، الإصدار 2.0 ("الترخيص")؛ لا يجوز لك استخدام هذا الملف إلا وفقًا للترخيص. يمكنك الحصول على نسخة من الترخيص على http://www.apache.org/licenses/LICENSE-2.0.
ما لم يكن ذلك مطلوبًا بموجب القانون المعمول به أو تم الاتفاق عليه كتابيًا، يتم توزيع البرامج الموزعة بموجب الترخيص على أساسها كما هي، دون ضمانات أو شروط من أي نوع، سواء كانت صريحة أو ضمنية. راجع الترخيص لمعرفة الأذونات والقيود التي تحكم اللغة المحددة بموجب الترخيص.
هذا ليس أحد منتجات Google الرسمية.
