Model Lama

Llama adalah model bahasa besar terbuka (LLM) yang mudah diakses dan dirancang bagi pengembang, peneliti, dan bisnis untuk membangun, bereksperimen, dan secara bertanggung jawab menskalakan ide AI generatif mereka. Sebagai bagian dari sistem dasar, hal ini berfungsi sebagai landasan bagi inovasi dalam komunitas global. Beberapa aspek penting:

Akses terbuka : Aksesibilitas mudah ke model bahasa besar yang mutakhir, mendorong kolaborasi dan kemajuan di antara pengembang, peneliti, dan organisasi
Ekosistem luas : Model Llama telah diunduh ratusan juta kali, ada ribuan proyek komunitas yang dibangun di Llama dan dukungan platform luas mulai dari penyedia cloud hingga startup - dunia sedang membangun dengan Llama!
Kepercayaan & keamanan : Model Llama adalah bagian dari pendekatan komprehensif terhadap kepercayaan dan keamanan, merilis model dan alat yang dirancang untuk memungkinkan kolaborasi komunitas dan mendorong standarisasi pengembangan dan penggunaan alat kepercayaan dan keamanan untuk AI generatif

Misi kami adalah memberdayakan individu dan industri melalui peluang ini sambil mendorong lingkungan penemuan dan kemajuan AI yang etis. Anak timbangan model dilisensikan untuk peneliti dan entitas komersial, dengan menjunjung tinggi prinsip keterbukaan.

Model Lama

Model	Tanggal peluncuran	Ukuran model	Panjang Konteks	Tokenizer	Kebijakan penggunaan yang dapat diterima	Lisensi	Kartu Model
Lama 2	18/7/2023	7B, 13B, 70B	4K	Kalimat	Gunakan Kebijakan	Lisensi	Kartu Model
Lama 3	18/04/2024	8B, 70B	8K	Berbasis TikToken	Gunakan Kebijakan	Lisensi	Kartu Model
Lama 3.1	23/7/2024	8B, 70B, 405B	128K	Berbasis TikToken	Gunakan Kebijakan	Lisensi	Kartu Model
Lama 3.2	25/9/2024	1B, 3B	128K	Berbasis TikToken	Gunakan Kebijakan	Lisensi	Kartu Model
Llama 3.2-Visi	25/9/2024	11B, 90B	128K	Berbasis TikToken	Gunakan Kebijakan	Lisensi	Kartu Model

Unduh

Untuk mengunduh bobot model dan tokenizer:

Kunjungi situs web Meta Llama.
Baca dan terima lisensinya.
Setelah permintaan Anda disetujui, Anda akan menerima URL yang ditandatangani melalui email.
Instal Llama CLI: pip install llama-stack . ( <-- Mulai Di Sini jika Anda sudah menerima email. )
Jalankan llama model list untuk menampilkan model terbaru yang tersedia dan menentukan ID model yang ingin Anda unduh. CATATAN : Jika Anda menginginkan model versi lama, jalankan llama model list --show-all untuk menampilkan semua model Llama yang tersedia.
Jalankan: llama download --source meta --model-id CHOSEN_MODEL_ID
Berikan URL yang diberikan saat diminta untuk memulai pengunduhan.

Ingatlah bahwa tautan akan kedaluwarsa setelah 24 jam dan jumlah unduhan tertentu. Anda selalu dapat meminta ulang tautan jika Anda mulai melihat kesalahan seperti 403: Forbidden .

Menjalankan model

Anda perlu menginstal dependensi berikut (selain requirements.txt di direktori root repositori ini) untuk menjalankan model:

pip install torch fairscale fire blobfile

Setelah menginstal dependensi, Anda dapat menjalankan contoh skrip (dalam subdirektori llama_models/scripts/ ) sebagai berikut:

 #!/bin/bashCHECKPOINT_DIR=~/.llama/checkpoints/Meta-Llama3.1-8B-Instruksikan
PYTHONPATH=$(git rev-parse --show-toplevel) torchrun llama_models/scripts/example_chat_completion.py $CHECKPOINT_DIR

Skrip di atas harus digunakan dengan model Instruct (Chat). Untuk model Dasar, gunakan skrip llama_models/scripts/example_text_completion.py . Perhatikan bahwa Anda dapat menggunakan skrip ini dengan model seri Llama3 dan Llama3.1.

Untuk menjalankan model yang lebih besar dengan paralelisme tensor, Anda harus memodifikasi sebagai:

 #!/bin/bashNGPUS=8
PYTHONPATH=$(git rev-parse --show-toplevel) lari cepat
   --nproc_per_node=$NGPUS
   llama_models/scripts/example_chat_completion.py $CHECKPOINT_DIR
   --model_parallel_size $NGPUS

Untuk fleksibilitas lebih dalam menjalankan inferensi (termasuk menjalankan inferensi FP8), silakan lihat repositori Llama Stack .

Akses ke Memeluk Wajah

Kami juga menyediakan unduhan di Hugging Face, baik dalam format transformator maupun llama3 asli. Untuk mendownload beban dari Hugging Face, silakan ikuti langkah-langkah berikut:

Kunjungi salah satu repo, misalnya meta-llama/Meta-Llama-3.1-8B-Instruct.
Baca dan terima lisensinya. Setelah permintaan Anda disetujui, Anda akan diberikan akses ke semua model Llama 3.1 serta versi sebelumnya. Perhatikan bahwa permintaan biasanya memerlukan waktu hingga satu jam untuk diproses.
Untuk mengunduh bobot asli asli untuk digunakan dengan repo ini, klik tab "File dan versi" dan unduh konten folder original . Anda juga dapat mengunduhnya dari baris perintah jika Anda pip install huggingface-hub :

 unduhan huggingface-cli meta-llama/Meta-Llama-3.1-8B-Instruct --termasuk "asli/*" --local-dir meta-llama/Meta-Llama-3.1-8B-Instruct

CATATAN Bobot asli asli meta-llama/Meta-Llama-3.1-405B tidak akan tersedia melalui repo HugginFace ini.

Untuk digunakan dengan transformator, cuplikan alur berikut akan mengunduh dan menyimpan bobot dalam cache:

 impor transformatorsimport torchmodel_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"pipeline = transformers.pipeline( "pembuatan teks", model="meta-llama/Meta-Llama-3.1-8B-Instruct", model_kwargs ={"torch_dtype": torch.bfloat16}, perangkat="cuda",
)

Instalasi

Anda dapat menginstal repositori ini sebagai sebuah paket hanya dengan melakukan pip install llama-models

Penggunaan yang Bertanggung Jawab

Model Llama adalah teknologi baru yang memiliki potensi risiko saat digunakan. Pengujian yang dilakukan hingga saat ini belum – dan tidak dapat – mencakup semua skenario. Untuk membantu pengembang mengatasi risiko ini, kami telah membuat Panduan Penggunaan yang Bertanggung Jawab.