gemma

permata

Gemma adalah rangkaian Model Bahasa Besar (LLM) bobot terbuka oleh Google DeepMind, berdasarkan penelitian dan teknologi Gemini.

Repositori ini berisi implementasi inferensi dan contoh, berdasarkan Flax dan JAX.

Pelajari selengkapnya tentang Gemma

• Laporan teknis Gemma (v1, v2) merinci kemampuan model.

• Untuk tutorial, referensi implementasi dalam framework ML lainnya, dan banyak lagi, kunjungi https://ai.google.dev/gemma.

Mulai cepat

Instalasi

1. Untuk menginstal Gemma Anda perlu menggunakan Python 3.10 atau lebih tinggi.

2. Instal JAX untuk CPU, GPU atau TPU. Ikuti instruksi di situs JAX.

3. Berlari

python -m venv gemma-demo
. gemma-demo/bin/activate
pip install git+https://github.com/google-deepmind/gemma.git

Mengunduh model

Pos pemeriksaan model tersedia melalui Kaggle di http://kaggle.com/models/google/gemma. Pilih salah satu variasi model Flax , klik tombol ⤓ untuk mengunduh arsip model, lalu ekstrak isinya ke direktori lokal. Arsip berisi bobot model dan tokenizer, misalnya variasi 2b Flax berisi:

2b/              # Directory containing model weights
tokenizer.model  # Tokenizer

Menjalankan tes unit

Untuk menjalankan pengujian unit, instal dependensi [test] opsional (misalnya menggunakan pip install -e .[test] dari akar pohon sumber), lalu:

pytest .

Perhatikan bahwa pengujian di sampler_test.py dilewati secara default karena tidak ada tokenizer yang didistribusikan dengan sumber Gemma. Untuk menjalankan pengujian ini, unduh tokenizer dengan mengikuti petunjuk di atas, dan perbarui konstanta _VOCAB di sampler_test.py dengan jalur ke tokenizer.model .

Contoh

Untuk menjalankan contoh skrip pengambilan sampel, teruskan jalur ke direktori bobot dan tokenizer:

python examples/sampling.py 
  --path_checkpoint=/path/to/archive/contents/2b/ 
  --path_tokenizer=/path/to/archive/contents/tokenizer.model

Ada juga beberapa tutorial notebook Colab:

• colabs/sampling_tutorial.ipynb berisi notebook Colab dengan contoh pengambilan sampel.

• colabs/fine_tuning_tutorial.ipynb berisi Colab dengan tutorial dasar tentang cara menyempurnakan Gemma untuk suatu tugas, seperti terjemahan Bahasa Inggris ke Bahasa Prancis.

• colabs/gsm8k_eval.ipynb adalah Colab dengan implementasi eval referensi GSM8K.

Untuk menjalankan notebook ini, Anda perlu mengunduh salinan lokal dari bobot dan tokenizer (lihat di atas), dan memperbarui variabel ckpt_path dan vocab_path dengan jalur yang sesuai.

Persyaratan Sistem

Gemma dapat berjalan di CPU, GPU, dan TPU. Untuk GPU, kami merekomendasikan RAM 8GB+ pada GPU untuk pos pemeriksaan 2B dan RAM 24GB+ pada GPU untuk pos pemeriksaan 7B.

Berkontribusi

Kami terbuka untuk laporan bug, permintaan penarikan (PR), dan kontribusi lainnya. Silakan lihat CONTRIBUTING.md untuk rincian tentang PR.

Lisensi

Hak Cipta 2024 DeepMind Technologies Limited

Kode ini dilisensikan di bawah Lisensi Apache, Versi 2.0 ("Lisensi"); Anda tidak boleh menggunakan file ini kecuali sesuai dengan Lisensi. Anda dapat memperoleh salinan Lisensi di http://www.apache.org/licenses/LICENSE-2.0.

Kecuali diwajibkan oleh undang-undang yang berlaku atau disetujui secara tertulis, perangkat lunak yang didistribusikan berdasarkan Lisensi ini didistribusikan SEBAGAIMANA ADANYA, TANPA JAMINAN ATAU KETENTUAN DALAM BENTUK APAPUN, baik tersurat maupun tersirat. Lihat Lisensi untuk bahasa tertentu yang mengatur izin dan batasan berdasarkan Lisensi.

Penafian

Ini bukan produk resmi Google.