โมเดลลามะ

โมเดลลามะ

Llama คือโมเดลภาษาขนาดใหญ่แบบเปิด (LLM) ที่เข้าถึงได้และออกแบบมาสำหรับนักพัฒนา นักวิจัย และธุรกิจต่างๆ เพื่อสร้าง ทดลอง และปรับขนาดแนวคิด AI เชิงสร้างสรรค์อย่างมีความรับผิดชอบ ส่วนหนึ่งของระบบพื้นฐานทำหน้าที่เป็นรากฐานสำหรับนวัตกรรมในประชาคมโลก ประเด็นสำคัญบางประการ:

1. การเข้าถึงแบบเปิด : เข้าถึงโมเดลภาษาขนาดใหญ่ที่ทันสมัยได้อย่างง่ายดาย ส่งเสริมการทำงานร่วมกันและความก้าวหน้าระหว่างนักพัฒนา นักวิจัย และองค์กร

2. ระบบนิเวศในวงกว้าง : มีการดาวน์โหลดโมเดล Llama หลายร้อยล้านครั้ง มีโครงการชุมชนหลายพันโครงการที่สร้างขึ้นบน Llama และการสนับสนุนแพลตฟอร์มนั้นกว้างขวางตั้งแต่ผู้ให้บริการคลาวด์ไปจนถึงสตาร์ทอัพ - โลกกำลังสร้างด้วย Llama!

3. ความน่าเชื่อถือและความปลอดภัย : โมเดล Llama เป็นส่วนหนึ่งของแนวทางที่ครอบคลุมสำหรับความไว้วางใจและความปลอดภัย โดยเปิดตัวโมเดลและเครื่องมือที่ออกแบบมาเพื่อให้สามารถทำงานร่วมกันในชุมชนได้ และสนับสนุนการสร้างมาตรฐานของการพัฒนาและการใช้เครื่องมือความไว้วางใจและความปลอดภัยสำหรับ AI ทั่วไป

ภารกิจของเราคือการเสริมศักยภาพบุคคลและอุตสาหกรรมผ่านโอกาสนี้ ในขณะเดียวกันก็ส่งเสริมสภาพแวดล้อมของการค้นพบและความก้าวหน้าทางจริยธรรมของ AI ตุ้มน้ำหนักแบบจำลองได้รับอนุญาตสำหรับนักวิจัยและหน่วยงานเชิงพาณิชย์ โดยยึดถือหลักการของการเปิดกว้าง

โมเดลลามะ

แบบอย่าง	วันที่เปิดตัว	ขนาดโมเดล	ความยาวบริบท	โทเค็นไนเซอร์	นโยบายการใช้งานที่ยอมรับได้	ใบอนุญาต	การ์ดโมเดล
ลามะ 2	18/7/2023	7B, 13B, 70B	4เค	ประโยค	ใช้นโยบาย	ใบอนุญาต	การ์ดโมเดล
ลามะ 3	18/4/2024	8B, 70B	8ก	อิงจาก TikToken	ใช้นโยบาย	ใบอนุญาต	การ์ดโมเดล
ลามะ 3.1	23/07/2024	8B, 70B, 405B	128K	อิงจาก TikToken	ใช้นโยบาย	ใบอนุญาต	การ์ดโมเดล
ลามะ 3.2	25/9/2024	1B, 3B	128K	อิงจาก TikToken	ใช้นโยบาย	ใบอนุญาต	การ์ดโมเดล
ลามะ 3.2-วิสัยทัศน์	25/9/2024	11B, 90B	128K	อิงจาก TikToken	ใช้นโยบาย	ใบอนุญาต	การ์ดโมเดล

ดาวน์โหลด

วิธีดาวน์โหลดน้ำหนักโมเดลและโทเค็นไนเซอร์:

1. เยี่ยมชมเว็บไซต์ Meta Llama

2. อ่านและยอมรับใบอนุญาต

3. เมื่อคำขอของคุณได้รับการอนุมัติ คุณจะได้รับ URL ที่ลงนามทางอีเมล

4. ติดตั้ง Llama CLI: pip install llama-stack ( <-- เริ่มที่นี่ หากคุณได้รับอีเมลแล้ว )

5. เรียกใช้ llama model list เพื่อแสดงโมเดลล่าสุดที่มีอยู่ และระบุรหัสโมเดลที่คุณต้องการดาวน์โหลด หมายเหตุ : หากคุณต้องการรุ่นเก่า ให้เรียกใช้ llama model list --show-all เพื่อแสดงโมเดล Llama ที่มีอยู่ทั้งหมด

6. เรียกใช้: llama download --source meta --model-id CHOSEN_MODEL_ID

7. ส่ง URL ที่ให้ไว้เมื่อได้รับแจ้งให้เริ่มการดาวน์โหลด

โปรดจำไว้ว่าลิงก์จะหมดอายุหลังจากผ่านไป 24 ชั่วโมงและมีการดาวน์โหลดตามจำนวนที่กำหนด คุณสามารถขอลิงก์ใหม่ได้ตลอดเวลา หากคุณเริ่มเห็นข้อผิดพลาด เช่น 403: Forbidden

เรียกใช้โมเดล

คุณต้องติดตั้งการขึ้นต่อกันต่อไปนี้ (นอกเหนือจาก requirements.txt ในไดเร็กทอรีรากของที่เก็บนี้) เพื่อรันโมเดล:

pip install torch fairscale fire blobfile

หลังจากติดตั้งการขึ้นต่อกัน คุณสามารถรันสคริปต์ตัวอย่าง (ภายในไดเร็กทอรีย่อย llama_models/scripts/ ) ได้ดังนี้:

 #!/bin/bashCHECKPOINT_DIR=~/.llama/checkpoints/Meta-Llama3.1-8B-สั่งสอน
PYTHONPATH=$(git rev-parse --show-toplevel) torchrun llama_models/scripts/example_chat_completion.py $CHECKPOINT_DIR

สคริปต์ด้านบนควรใช้กับโมเดล Instruct (Chat) สำหรับโมเดลฐาน ให้ใช้สคริปต์ llama_models/scripts/example_text_completion.py โปรดทราบว่าคุณสามารถใช้สคริปต์เหล่านี้กับโมเดลทั้งซีรีส์ Llama3 และ Llama3.1

สำหรับการรันโมเดลขนาดใหญ่ที่มีเทนเซอร์ขนานกัน คุณควรแก้ไขดังนี้:

 #!/bin/bashNGPUS=8
PYTHONPATH=$(git rev-parse --show-toplevel) ไฟฉายรัน
   --nproc_per_node=$NGPUS
   llama_models/scripts/example_chat_completion.py $CHECKPOINT_DIR
   --model_parallel_size $NGPUS

หากต้องการความยืดหยุ่นมากขึ้นในการรันการอนุมาน (รวมถึงการรันการอนุมาน FP8) โปรดดูที่พื้นที่เก็บข้อมูล Llama Stack

เข้าถึงการกอดใบหน้า

นอกจากนี้เรายังมีการดาวน์โหลดบน Hugging Face ทั้งในรูปแบบ Transformers และ Native llama3 หากต้องการดาวน์โหลดตุ้มน้ำหนักจาก Hugging Face โปรดทำตามขั้นตอนเหล่านี้:

• ไปที่ repos แห่งใดแห่งหนึ่ง เช่น meta-llama/Meta-Llama-3.1-8B-Instruct

• อ่านและยอมรับใบอนุญาต เมื่อคำขอของคุณได้รับการอนุมัติ คุณจะได้รับสิทธิ์ในการเข้าถึงรุ่น Llama 3.1 ทั้งหมดรวมถึงเวอร์ชันก่อนหน้า โปรดทราบว่าคำขอจะใช้เวลาดำเนินการถึงหนึ่งชั่วโมง

• หากต้องการดาวน์โหลดน้ำหนักดั้งเดิมดั้งเดิมเพื่อใช้กับ repo นี้ ให้คลิกแท็บ "ไฟล์และเวอร์ชัน" และดาวน์โหลดเนื้อหาของโฟลเดอร์ original คุณยังสามารถดาวน์โหลดได้จากบรรทัดคำสั่งหากคุณ pip install huggingface-hub :

 Huggingface-cli ดาวน์โหลด meta-llama/Meta-Llama-3.1-8B-Instruct --include "Original/*" --local-dir meta-llama/Meta-Llama-3.1-8B-Instruct

หมายเหตุ น้ำหนักดั้งเดิมดั้งเดิมของ meta-llama/Meta-Llama-3.1-405B จะไม่สามารถใช้ได้ผ่าน repo HugginFace นี้

• หากต้องการใช้กับหม้อแปลง ข้อมูลโค้ดไปป์ไลน์ต่อไปนี้จะดาวน์โหลดและแคชน้ำหนัก:

   นำเข้า Transformersimport torchmodel_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"pipeline = Transformers.pipeline( "text-generator", model="meta-llama/Meta-Llama-3.1-8B-Instruct", model_kwargs ={"torch_dtype": torch.bfloat16}, อุปกรณ์="cuda",
  -

การติดตั้ง

คุณสามารถติดตั้งพื้นที่เก็บข้อมูลนี้เป็นแพ็คเกจได้โดยเพียงแค่ทำ pip install llama-models

การใช้งานอย่างมีความรับผิดชอบ

โมเดลลามะเป็นเทคโนโลยีใหม่ที่มีความเสี่ยงที่อาจเกิดขึ้นเมื่อใช้งาน การทดสอบที่ดำเนินการจนถึงปัจจุบันไม่ครอบคลุมทุกสถานการณ์และไม่สามารถครอบคลุมทุกสถานการณ์ได้ เพื่อช่วยนักพัฒนาจัดการกับความเสี่ยงเหล่านี้ เราได้สร้างคู่มือการใช้งานอย่างมีความรับผิดชอบ

คำถาม

สำหรับคำถามทั่วไป สามารถดูคำถามที่พบบ่อยได้ที่นี่ ซึ่งจะมีการอัปเดตเมื่อเวลาผ่านไปเมื่อมีคำถามใหม่เกิดขึ้น