อังกฤษ | 中文
- กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด
ถามคำถามหรือหารือเกี่ยวกับแนวคิดบน GitHub
เข้าร่วมกับเราบน ? ดิสคอร์ดหรือวีแชต
ตรวจสอบรายงานของ Yi Tech
เติบโตที่ Yi Learning Hub
- เรียนรู้ที่บล็อกของ Yi Tech
- โมเดลซีรีส์ Yi เป็นโมเดลภาษาโอเพ่นซอร์สขนาดใหญ่รุ่นต่อไปที่ได้รับการฝึกฝนตั้งแต่เริ่มต้นโดย 01.AI
- ซีรีส์ Yi มีเป้าหมายเป็นโมเดลภาษาสองภาษาและได้รับการฝึกอบรมเกี่ยวกับคลังข้อมูลหลายภาษาของ 3T และกลายเป็นหนึ่งใน LLM ที่แข็งแกร่งที่สุดในโลก โดยแสดงให้เห็นถึงศักยภาพในด้านความเข้าใจภาษา การใช้เหตุผลเชิงสามัญสำนึก ความเข้าใจในการอ่าน และอื่นๆ อีกมากมาย ตัวอย่างเช่น,
โมเดล Yi-34B-Chat ขึ้นสู่อันดับที่สอง (ตามหลัง GPT-4 Turbo) ซึ่งเหนือกว่า LLM อื่นๆ (เช่น GPT-4, Mixtral, Claude) บนกระดานผู้นำ AlpacaEval (อิงตามข้อมูลที่มีจนถึงเดือนมกราคม 2024)
โมเดล Yi-34B ได้รับการจัดอันดับเป็นที่หนึ่งในบรรดาโมเดลโอเพ่นซอร์สที่มีอยู่ทั้งหมด (เช่น Falcon-180B, Llama-70B, Claude) ทั้งภาษาอังกฤษและภาษาจีน บนเกณฑ์มาตรฐานต่างๆ รวมถึง Hugging Face Open LLM Leaderboard (ผ่านการฝึกอบรมล่วงหน้า) และ C-Eval (ตามข้อมูลที่มีจนถึงเดือนพฤศจิกายน 2023)
(ขอขอบคุณ Llama) ต้องขอบคุณชุมชนโอเพ่นซอร์ส Transformer และ Llama ที่พวกเขาลดความพยายามที่จำเป็นในการสร้างตั้งแต่เริ่มต้นและเปิดใช้งานการใช้เครื่องมือเดียวกันภายในระบบนิเวศ AI
TL;ดร
โมเดลซีรีส์ Yi ใช้สถาปัตยกรรมโมเดลเดียวกันกับลามะ แต่ ไม่ใช่ อนุพันธ์ของลามะ
ทั้ง Yi และ Llama อิงตามโครงสร้าง Transformer ซึ่งเป็นสถาปัตยกรรมมาตรฐานสำหรับโมเดลภาษาขนาดใหญ่มาตั้งแต่ปี 2018
ด้วยพื้นฐานสถาปัตยกรรม Transformer Llama ได้กลายเป็นรากฐานใหม่สำหรับโมเดลโอเพ่นซอร์สที่ล้ำสมัยส่วนใหญ่ เนื่องจากความเสถียรที่ยอดเยี่ยม การบรรจบกันที่เชื่อถือได้ และความเข้ากันได้ที่แข็งแกร่ง สิ่งนี้ทำให้ Llama เป็นเฟรมเวิร์กพื้นฐานที่ได้รับการยอมรับสำหรับโมเดลต่างๆ รวมถึง Yi
ด้วยสถาปัตยกรรม Transformer และ Llama โมเดลอื่นๆ จึงสามารถใช้ประโยชน์จากพลังของตนได้ ลดความพยายามที่จำเป็นในการสร้างตั้งแต่เริ่มต้น และช่วยให้สามารถใช้เครื่องมือเดียวกันภายในระบบนิเวศของตนได้
อย่างไรก็ตาม โมเดลซีรีส์ Yi ไม่ใช่อนุพันธ์ของลามะ เนื่องจากไม่ได้ใช้ตุ้มน้ำหนักของลามะ
เนื่องจากโครงสร้างของ Llama ถูกใช้โดยโมเดลโอเพ่นซอร์สส่วนใหญ่ ปัจจัยสำคัญในการพิจารณาประสิทธิภาพของโมเดลคือชุดข้อมูลการฝึกอบรม ไปป์ไลน์การฝึกอบรม และโครงสร้างพื้นฐานการฝึกอบรม
ด้วยการพัฒนาในลักษณะที่เป็นเอกลักษณ์และเป็นกรรมสิทธิ์ Yi ได้สร้างชุดข้อมูลการฝึกอบรมคุณภาพสูงของตัวเอง ไปป์ไลน์การฝึกอบรมที่มีประสิทธิภาพ และโครงสร้างพื้นฐานการฝึกอบรมที่แข็งแกร่งตั้งแต่ต้นทางอย่างอิสระ ความพยายามนี้ได้นำไปสู่ประสิทธิภาพที่ยอดเยี่ยมด้วยรุ่น Yi Series ซึ่งอยู่อันดับหลัง GPT4 และแซงหน้า Llama บนกระดานผู้นำ Alpaca ในเดือนธันวาคม 2023
[ กลับไปด้านบน ⬆️ ]
Yi-9B-200K เป็นแบบโอเพ่นซอร์สและเผยแพร่สู่สาธารณะYi-9B เป็นแบบโอเพ่นซอร์สและเผยแพร่สู่สาธารณะYi-9B โดดเด่นในฐานะประสิทธิภาพอันดับต้นๆ ในบรรดารุ่นโอเพ่นซอร์สที่มีขนาดใกล้เคียงกัน (รวมถึง Mistral-7B, SOLAR-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-v1.5 และอื่นๆ) โดยเฉพาะอย่างยิ่งในการเขียนโค้ด คณิตศาสตร์ การใช้เหตุผลสามัญสำนึก และความเข้าใจในการอ่านYi-VL-34B และ Yi-VL-6B เป็นแบบโอเพ่นซอร์สและเผยแพร่สู่สาธารณะYi-VL-34B ได้รับการจัดอันดับ เป็นที่หนึ่ง ในบรรดาโมเดลโอเพ่นซอร์สที่มีอยู่ทั้งหมดในการวัดประสิทธิภาพล่าสุด รวมถึง MMMU และ CMMMU (อิงตามข้อมูลที่มีจนถึงเดือนมกราคม 2024)Yi-34B-ChatYi-34B-Chat-4bitsYi-34B-Chat-8bitsYi-6B-ChatYi-6B-Chat-4bitsYi-6B-Chat-8bitsคุณสามารถลองโต้ตอบบางส่วนได้ที่:
Yi-6B-200K และ Yi-34B-200K เป็นแบบโอเพ่นซอร์สและเผยแพร่สู่สาธารณะYi-6B และ Yi-34B เป็นแบบโอเพ่นซอร์สและเผยแพร่สู่สาธารณะ[ กลับไปด้านบน ⬆️ ]
รุ่น Yi มีหลายขนาดและรองรับกรณีการใช้งานที่แตกต่างกัน คุณยังสามารถปรับแต่งโมเดล Yi ให้ตรงตามความต้องการเฉพาะของคุณได้
หากคุณต้องการปรับใช้โมเดล Yi ตรวจสอบให้แน่ใจว่าคุณมีคุณสมบัติตรงตามข้อกำหนดด้านซอฟต์แวร์และฮาร์ดแวร์
| แบบอย่าง | ดาวน์โหลด |
|---|---|
| Yi-34B-แชท | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| Yi-34B-แชท-4bits | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| Yi-34B-แชท-8bits | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| Yi-6B-แชท | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| Yi-6B-แชท-4bits | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| Yi-6B-แชท-8bits | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
- โมเดลซีรีส์ 4 บิตได้รับการวัดปริมาณโดย AWQ
- โมเดลซีรีส์ 8 บิตได้รับการวัดปริมาณโดย GPTQ
- โมเดลเชิงปริมาณทั้งหมดมีอุปสรรคในการใช้งานต่ำ เนื่องจากสามารถนำไปใช้กับ GPU ระดับผู้บริโภคได้ (เช่น 3090, 4090)
| แบบอย่าง | ดาวน์โหลด |
|---|---|
| ยี่-34B | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| ยี่-34B-200K | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| ยี่-9B | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| ยี่-9B-200K | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| ยี่-6B | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
| ยี่-6B-200K | - กอดหน้า • ? โมเดลสโคป • ? แบบอย่างอันชาญฉลาด |
- 200,000 เทียบเท่ากับตัวอักษรจีน 400,000 ตัวโดยประมาณ
- หากคุณต้องการใช้ Yi-34B-200K เวอร์ชันก่อนหน้า (เปิดตัวเมื่อวันที่ 5 พฤศจิกายน 2023) ให้รัน git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf เพื่อดาวน์โหลดน้ำหนัก
| แบบอย่าง | บทนำ | หน้าต่างบริบทเริ่มต้น | โทเค็นที่ได้รับการฝึกอบรมล่วงหน้า | วันที่ข้อมูลการฝึกอบรม |
|---|---|---|---|---|
| รุ่นซีรีส์ 6B | เหมาะสำหรับการใช้งานส่วนบุคคลและเชิงวิชาการ | 4เค | 3ต | จนถึงเดือนมิถุนายน 2023 |
| รุ่นซีรีส์ 9B | การเขียนโค้ดและคณิตศาสตร์ดีที่สุดในรุ่น Yi Series | Yi-9B ได้รับการฝึกอย่างต่อเนื่องโดยใช้ Yi-6B โดยใช้โทเค็น 0.8T | ||
| รุ่นซีรีส์ 34B | เหมาะสำหรับวัตถุประสงค์ส่วนบุคคล การศึกษา และเชิงพาณิชย์ (โดยเฉพาะสำหรับองค์กรขนาดเล็กและขนาดกลาง) เป็นโซลูชันที่คุ้มค่าคุ้มราคาและมาพร้อมกับความสามารถฉุกเฉิน | 3ต |
สำหรับรุ่นแชท
อย่างไรก็ตาม ความหลากหลายที่สูงขึ้นนี้อาจขยายประเด็นปัญหาที่มีอยู่บางประการ เช่น:
[ กลับไปด้านบน ⬆️ ]
เคล็ดลับ : หากคุณต้องการเริ่มต้นใช้งานโมเดล Yi และสำรวจวิธีการอนุมานต่างๆ โปรดดูที่ Yi Cookbook
เลือกหนึ่งในเส้นทางต่อไปนี้เพื่อเริ่มต้นการเดินทางของคุณกับ Yi!
หากคุณต้องการปรับใช้โมเดล Yi ภายในเครื่อง
?♀️ และคุณมีทรัพยากร เพียงพอ (เช่น NVIDIA A800 80GB) คุณสามารถเลือกวิธีใดวิธีหนึ่งต่อไปนี้:
?♀️ และคุณมีทรัพยากร ที่จำกัด (เช่น MacBook Pro) คุณสามารถใช้ llama.cpp ได้
หากคุณไม่ต้องการปรับใช้โมเดล Yi ภายในเครื่อง คุณสามารถสำรวจความสามารถของ Yi ได้โดยใช้ตัวเลือกใดๆ ต่อไปนี้
หากคุณต้องการสำรวจคุณสมบัติเพิ่มเติมของ Yi คุณสามารถใช้วิธีใดวิธีหนึ่งต่อไปนี้:
Yi APIs (อย่างเป็นทางการของ Yi)
Yi API (จำลอง)
หากคุณต้องการแชทกับ Yi ด้วยตัวเลือกที่ปรับแต่งได้มากขึ้น (เช่น ข้อความเตือนของระบบ อุณหภูมิ การลงโทษการทำซ้ำ ฯลฯ) คุณสามารถลองใช้ตัวเลือกใดตัวเลือกหนึ่งต่อไปนี้:
Yi-34B-Chat-Playground (ยี่อย่างเป็นทางการ)
Yi-34B-Chat-Playground (จำลอง)
หากคุณต้องการแชทกับ Yi คุณสามารถใช้หนึ่งในบริการออนไลน์เหล่านี้ ซึ่งให้ประสบการณ์ผู้ใช้ที่คล้ายกัน:
Yi-34B-Chat (ยี่อย่างเป็นทางการใน Hugging Face)
Yi-34B-Chat (เบต้าอย่างเป็นทางการของ Yi)
[ กลับไปด้านบน ⬆️ ]
บทช่วยสอนนี้จะแนะนำคุณตลอดทุกขั้นตอนของการรัน Yi-34B-Chat ในเครื่อง A800 (80G) จากนั้นทำการอนุมาน
ตรวจสอบให้แน่ใจว่าติดตั้ง Python 3.10 หรือเวอร์ชันที่ใหม่กว่าแล้ว
หากคุณต้องการใช้งานโมเดล Yi อื่นๆ โปรดดูข้อกำหนดซอฟต์แวร์และฮาร์ดแวร์
ในการตั้งค่าสภาพแวดล้อมและติดตั้งแพ็คเกจที่จำเป็น ให้ดำเนินการคำสั่งต่อไปนี้
git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txtคุณสามารถดาวน์โหลดน้ำหนักและโทเค็นไนเซอร์ของโมเดล Yi ได้จากแหล่งต่อไปนี้:
คุณสามารถทำการอนุมานด้วย Yi Chat หรือโมเดลพื้นฐานได้ดังนี้
สร้างไฟล์ชื่อ quick_start.py และคัดลอกเนื้อหาต่อไปนี้ลงไป
from transformers import AutoModelForCausalLM , AutoTokenizer
model_path = ''
tokenizer = AutoTokenizer . from_pretrained ( model_path , use_fast = False )
# Since transformers 4.35.0, the GPT-Q/AWQ model can be loaded using AutoModelForCausalLM.
model = AutoModelForCausalLM . from_pretrained (
model_path ,
device_map = "auto" ,
torch_dtype = 'auto'
). eval ()
# Prompt content: "hi"
messages = [
{ "role" : "user" , "content" : "hi" }
]
input_ids = tokenizer . apply_chat_template ( conversation = messages , tokenize = True , add_generation_prompt = True , return_tensors = 'pt' )
output_ids = model . generate ( input_ids . to ( 'cuda' ))
response = tokenizer . decode ( output_ids [ 0 ][ input_ids . shape [ 1 ]:], skip_special_tokens = True )
# Model response: "Hello! How can I assist you today?"
print ( response ) เรียกใช้ quick_start.py
python quick_start.pyจากนั้นคุณจะเห็นผลลัพธ์ที่คล้ายกับผลลัพธ์ด้านล่าง -
Hello ! How can I assist you today ? ยี่-34B
ขั้นตอนจะคล้ายกับ pip - ทำการอนุมานด้วยโมเดล Yi chat
คุณสามารถใช้ไฟล์ text_generation.py ที่มีอยู่ได้
python demo/text_generation.py --model < your-model-path >จากนั้นคุณจะเห็นผลลัพธ์ที่คล้ายกับผลลัพธ์ด้านล่าง -
พร้อม : ขอเล่าเรื่องน่าสนใจเกี่ยวกับแมวทอมกับเจอร์รี่หนูหน่อยค่ะ
Generation : ขอเล่าเรื่องราวที่น่าสนใจเกี่ยวกับแมวทอมและเมาส์เจอร์รี่ที่เกิดขึ้นในวัยเด็กของฉัน พ่อของฉันมีบ้านหลังใหญ่ที่มีแมวสองตัวอาศัยอยู่ข้างในเพื่อฆ่าหนู วันหนึ่ง ขณะที่ฉันเล่นอยู่ที่บ้านคนเดียว ฉันพบแมวตัวหนึ่งนอนอยู่บนหลังใกล้ประตูห้องครัวของเรา ดูราวกับว่ามันต้องการบางอย่างจากเราแต่ไม่สามารถลุกขึ้นได้ เพราะมีคนอยู่รอบตัวเขามากเกินไป! เขาพยายามอยู่หลายนาทีก่อนที่จะยอมแพ้ในที่สุด...
ยี่-9B
ป้อนข้อมูล
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_DIR = " 01-ai/Yi-9B "
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype= " auto " )
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, use_fast=False)
input_text = " # write the quick sort algorithm "
inputs = tokenizer(input_text, return_tensors= " pt " ).to(model.device)
outputs = model.generate( ** inputs, max_length=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))เอาท์พุต
# write the quick sort algorithm
def quick_sort(arr):
if len(arr) < = 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
# test the quick sort algorithm
print(quick_sort([3, 6, 8, 10, 1, 2, 1]))[ กลับไปด้านบน ⬆️ ]
ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้ง Docker และ nvidia-container-toolkit แล้ว
docker run -it --gpus all
-v : /models
ghcr.io/01-ai/yi:latest
หรือคุณสามารถดึงอิมเมจ Yi Docker ได้จาก registry.lingyiwanwu.com/ci/01-ai/yi:latest
คุณสามารถทำการอนุมานด้วย Yi Chat หรือโมเดลพื้นฐานได้ดังนี้
ขั้นตอนจะคล้ายกับ pip - ทำการอนุมานด้วยโมเดล Yi chat
โปรดทราบ ว่าข้อแตกต่างเพียงอย่างเดียวคือการตั้งค่า model_path = ' แทน model_path = '
ขั้นตอนจะคล้ายกับ pip - ทำการอนุมานด้วยโมเดลฐาน Yi
โปรดทราบ ว่าข้อแตกต่างเพียงอย่างเดียวคือการตั้งค่า --model แทน model
conda-lock เพื่อสร้างไฟล์ล็อคที่ทำซ้ำได้อย่างสมบูรณ์สำหรับสภาพแวดล้อม condamicromamba เพื่อติดตั้งการขึ้นต่อกันเหล่านี้ได้ติดตั้ง micromamba โดยทำตามคำแนะนำที่มีให้ที่นี่
ดำเนินการ micromamba install -y -n yi -f conda-lock.yml เพื่อสร้างสภาพแวดล้อม conda ชื่อ yi และติดตั้งการขึ้นต่อกันที่จำเป็น
บทช่วยสอนต่อไปนี้จะแนะนำคุณตลอดทุกขั้นตอนของการรันโมเดลเชิงปริมาณ (Yi-chat-6B-2bits) ภายในเครื่อง จากนั้นทำการอนุมาน
บทช่วยสอนนี้อนุมานว่าคุณใช้ MacBook Pro ที่มีหน่วยความจำ 16GB และชิป Apple M2 Pro
ตรวจสอบให้แน่ใจว่าติดตั้ง git-lfs บนเครื่องของคุณแล้ว
llama.cpp หากต้องการโคลนพื้นที่เก็บข้อมูล llama.cpp ให้รันคำสั่งต่อไปนี้
git clone [email protected]:ggerganov/llama.cpp.git2.1 หากต้องการโคลน XeIaso/yi-chat-6B-GGUF ด้วยพอยน์เตอร์ ให้รันคำสั่งต่อไปนี้
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF2.2 หากต้องการดาวน์โหลดโมเดล Yi เชิงปริมาณ (yi-chat-6b.Q2_K.gguf) ให้รันคำสั่งต่อไปนี้
git-lfs pull --include yi-chat-6b.Q2_K.ggufหากต้องการดำเนินการอนุมานด้วยโมเดล Yi คุณสามารถใช้วิธีใดวิธีหนึ่งต่อไปนี้
วิธีที่ 1: ทำการอนุมานในเทอร์มินัล
วิธีที่ 2: ทำการอนุมานในเว็บ
หากต้องการคอมไพล์ llama.cpp โดยใช้ 4 เธรด จากนั้นทำการอนุมาน ให้ไปที่ไดเร็กทอรี llama.cpp และรันคำสั่งต่อไปนี้
เคล็ดลับ
แทนที่
/Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufด้วยพาธที่แท้จริงของโมเดลของคุณตามค่าเริ่มต้น โมเดลจะทำงานในโหมดเสร็จสมบูรณ์
สำหรับตัวเลือกการปรับแต่งเอาต์พุตเพิ่มเติม (เช่น พรอมต์ของระบบ อุณหภูมิ การปรับโทษการทำซ้ำ ฯลฯ) ให้รัน
./main -hเพื่อตรวจสอบคำอธิบายโดยละเอียดและการใช้งาน
make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p " How do you feed your pet fox? Please answer this question in 6 simple steps:nStep 1: " -n 384 -e
...
How do you feed your pet fox ? Please answer this question in 6 simple steps:
Step 1: Select the appropriate food for your pet fox. You should choose high-quality, balanced prey items that are suitable for their unique dietary needs. These could include live or frozen mice, rats, pigeons, or other small mammals, as well as fresh fruits and vegetables.
Step 2: Feed your pet fox once or twice a day, depending on the species and its individual preferences. Always ensure that they have access to fresh water throughout the day.
Step 3: Provide an appropriate environment for your pet fox. Ensure it has a comfortable place to rest, plenty of space to move around, and opportunities to play and exercise.
Step 4: Socialize your pet with other animals if possible. Interactions with other creatures can help them develop social skills and prevent boredom or stress.
Step 5: Regularly check for signs of illness or discomfort in your fox. Be prepared to provide veterinary care as needed, especially for common issues such as parasites, dental health problems, or infections.
Step 6: Educate yourself about the needs of your pet fox and be aware of any potential risks or concerns that could affect their well-being. Regularly consult with a veterinarian to ensure you are providing the best care.
...
ตอนนี้คุณได้ถามคำถามกับโมเดล Yi สำเร็จแล้วและได้รับคำตอบ! -
หากต้องการเริ่มต้นแชทบอทที่มีน้ำหนักเบาและรวดเร็ว ให้รันคำสั่งต่อไปนี้
cd llama.cpp
./server --ctx-size 2048 --host 0.0.0.0 --n-gpu-layers 64 --model /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufจากนั้นคุณจะได้ผลลัพธ์ดังนี้:
...
llama_new_context_with_model: n_ctx = 2048
llama_new_context_with_model: freq_base = 5000000.0
llama_new_context_with_model: freq_scale = 1
ggml_metal_init: allocating
ggml_metal_init: found device: Apple M2 Pro
ggml_metal_init: picking default device: Apple M2 Pro
ggml_metal_init: ggml.metallib not found, loading from source
ggml_metal_init: GGML_METAL_PATH_RESOURCES = nil
ggml_metal_init: loading ' /Users/yu/llama.cpp/ggml-metal.metal '
ggml_metal_init: GPU name: Apple M2 Pro
ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008)
ggml_metal_init: hasUnifiedMemory = true
ggml_metal_init: recommendedMaxWorkingSetSize = 11453.25 MB
ggml_metal_init: maxTransferRate = built-in GPU
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 128.00 MiB, ( 2629.44 / 10922.67)
llama_new_context_with_model: KV self size = 128.00 MiB, K (f16): 64.00 MiB, V (f16): 64.00 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 0.02 MiB, ( 2629.45 / 10922.67)
llama_build_graph: non-view tensors processed: 676/676
llama_new_context_with_model: compute buffer total size = 159.19 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 156.02 MiB, ( 2785.45 / 10922.67)
Available slots:
- > Slot 0 - max context: 2048
llama server listening at http://0.0.0.0:8080 หากต้องการเข้าถึงอินเทอร์เฟซแชทบอท ให้เปิดเว็บเบราว์เซอร์แล้วป้อน http://0.0.0.0:8080 ลงในแถบที่อยู่
ป้อนคำถาม เช่น "คุณให้อาหารสุนัขจิ้งจอกสัตว์เลี้ยงของคุณอย่างไร โปรดตอบคำถามนี้ใน 6 ขั้นตอนง่ายๆ" ลงในหน้าต่างแจ้ง แล้วคุณจะได้รับคำตอบที่เกี่ยวข้อง
[ กลับไปด้านบน ⬆️ ]
คุณสามารถสร้างการสาธิต UI บนเว็บสำหรับโมเดล การแชท ของ Yi ได้ (โปรดทราบว่ารุ่นฐานของ Yi ไม่รองรับในรุ่นอาวุโสนี้)
ขั้นตอนที่ 1: เตรียมสภาพแวดล้อมของคุณ
ขั้นตอนที่ 2: ดาวน์โหลดโมเดล Yi
ขั้นตอนที่ 3 หากต้องการเริ่มบริการเว็บในเครื่อง ให้รันคำสั่งต่อไปนี้
python demo/web_demo.py -c < your-model-path >คุณสามารถเข้าถึง UI ของเว็บได้โดยป้อนที่อยู่ที่ให้ไว้ในคอนโซลลงในเบราว์เซอร์ของคุณ
[ กลับไปด้านบน ⬆️ ]
bash finetune/scripts/run_sft_Yi_6b.shเมื่อเสร็จแล้ว คุณสามารถเปรียบเทียบโมเดลที่ปรับแต่งแล้วและโมเดลพื้นฐานด้วยคำสั่งต่อไปนี้:
bash finetune/scripts/run_eval.sh ตามค่าเริ่มต้น เราใช้ชุดข้อมูลขนาดเล็กจาก BAAI/COIG เพื่อปรับแต่งโมเดลพื้นฐาน คุณยังเตรียมชุดข้อมูลที่กำหนดเองในรูปแบบ jsonl ต่อไปนี้ได้ด้วย
{ "prompt" : " Human: Who are you? Assistant: " , "chosen" : " I'm Yi. " }จากนั้นติดตั้งไว้ในคอนเทนเนอร์เพื่อแทนที่อันเริ่มต้น:
docker run -it
-v /path/to/save/finetuned/model/:/finetuned-model
-v /path/to/train.jsonl:/yi/finetune/data/train.json
-v /path/to/eval.jsonl:/yi/finetune/data/eval.json
ghcr.io/01-ai/yi:latest
bash finetune/scripts/run_sft_Yi_6b.shตรวจสอบให้แน่ใจว่าคุณมีคอนดา ถ้าไม่ใช้
mkdir -p ~ /miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~ /miniconda3/miniconda.sh
bash ~ /miniconda3/miniconda.sh -b -u -p ~ /miniconda3
rm -rf ~ /miniconda3/miniconda.sh
~ /miniconda3/bin/conda init bash
source ~ /.bashrcจากนั้นสร้าง conda env:
conda create -n dev_env python=3.10 -y
conda activate dev_env
pip install torch==2.0.1 deepspeed==0.10 tensorboard transformers datasets sentencepiece accelerate ray==2.7สำหรับรุ่น Yi-6B แนะนำให้ใช้โหนดที่มี GPU 4 ตัว โดยแต่ละตัวมีหน่วยความจำ GPU ขนาดใหญ่กว่า 60GB
สำหรับรุ่น Yi-34B เนื่องจากการใช้เทคนิค Zero-offload จะใช้หน่วยความจำ CPU จำนวนมาก โปรดใช้ความระมัดระวังในการจำกัดจำนวน GPU ในการฝึกแบบละเอียดของ 34B โปรดใช้ CUDA_VISIBLE_DEVICES เพื่อจำกัดจำนวน GPU (ดังแสดงใน scripts/run_sft_Yi_34b.sh)
การตั้งค่าฮาร์ดแวร์ทั่วไปสำหรับการปรับแต่งรุ่น 34B อย่างละเอียดคือโหนดที่มี GPU 8 ตัว (จำกัดอยู่ที่ 4 ตัวในการทำงานโดย CUDA_VISIBLE_DEVICES=0,1,2,3) แต่ละตัวมีหน่วยความจำ GPU ใหญ่กว่า 80GB และหน่วยความจำ CPU ทั้งหมดมีขนาดใหญ่กว่า 900GB
ดาวน์โหลดโมเดลฐาน LLM เป็น MODEL_PATH (6B และ 34B) โฟลเดอร์ทั่วไปของโมเดลจะเป็นดังนี้:
| -- $MODEL_PATH
| | -- config.json
| | -- pytorch_model-00001-of-00002.bin
| | -- pytorch_model-00002-of-00002.bin
| | -- pytorch_model.bin.index.json
| | -- tokenizer_config.json
| | -- tokenizer.model
| | -- ...ดาวน์โหลดชุดข้อมูลจาก Huggingface ไปยังที่เก็บข้อมูลในเครื่อง DATA_PATH เช่น Dahoas/rm-static
| -- $DATA_PATH
| | -- data
| | | -- train-00000-of-00001-2a1df75c6bce91ab.parquet
| | | -- test-00000-of-00001-8c7c51afc6d45980.parquet
| | -- dataset_infos.json
| | -- README.md finetune/yi_example_dataset มีชุดข้อมูลตัวอย่าง ซึ่งแก้ไขจาก BAAI/COIG
| -- $DATA_PATH
| --data
| -- train.jsonl
| -- eval.jsonl cd ลงในโฟลเดอร์สคริปต์ คัดลอกและวางสคริปต์แล้วเรียกใช้ ตัวอย่างเช่น:
cd finetune/scripts
bash run_sft_Yi_6b.shสำหรับโมเดลฐาน Yi-6B การตั้งค่า training_debug_steps=20 และ num_train_epochs=4 สามารถส่งออกโมเดลแชทได้ ซึ่งจะใช้เวลาประมาณ 20 นาที
สำหรับรุ่นพื้นฐาน Yi-34B จะใช้เวลาในการเริ่มต้นค่อนข้างนาน กรุณาอดทน.
cd finetune/scripts
bash run_eval.shแล้วคุณจะเห็นคำตอบจากทั้งรุ่นพื้นฐานและรุ่นที่ได้รับการปรับแต่ง
[ กลับไปด้านบน ⬆️ ]
python quantization/gptq/quant_autogptq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeเมื่อเสร็จแล้ว คุณสามารถประเมินโมเดลผลลัพธ์ได้ดังนี้:
python quantization/gptq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeGPT-Q คือวิธี PTQ (Post-Training Quantization) ช่วยประหยัดหน่วยความจำและให้การเร่งความเร็วที่เป็นไปได้ในขณะที่ยังคงความแม่นยำของโมเดลไว้
โมเดล Yi สามารถวัดปริมาณ GPT-Q ได้โดยไม่ต้องใช้ความพยายามมากนัก เรามีบทช่วยสอนแบบทีละขั้นตอนด้านล่าง
หากต้องการเรียกใช้ GPT-Q เราจะใช้ AutoGPTQ และ exllama และหม้อแปลงแบบกอดได้รวมเอา optimum และ auto-gptq เข้าด้วยกันเพื่อดำเนินการหาปริมาณ GPTQ บนโมเดลภาษา
สคริปต์ quant_autogptq.py มีไว้เพื่อให้คุณดำเนินการหาปริมาณ GPT-Q:
python quant_autogptq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code คุณสามารถรันโมเดลเชิงปริมาณได้โดยใช้ eval_quantized_model.py :
python eval_quantized_model.py --model /quantized_model --trust_remote_codepython quantization/awq/quant_autoawq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeเมื่อเสร็จแล้ว คุณสามารถประเมินโมเดลผลลัพธ์ได้ดังนี้:
python quantization/awq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeAWQ คือวิธี PTQ (Post-Training Quantization) เป็นการวัดปริมาณน้ำหนักบิตต่ำที่มีประสิทธิภาพและแม่นยำ (INT3/4) สำหรับ LLM
โมเดล Yi สามารถวัดปริมาณ AWQ ได้โดยไม่ต้องใช้ความพยายามมากนัก เรามีบทช่วยสอนแบบทีละขั้นตอนด้านล่าง
หากต้องการเรียกใช้ AWQ เราจะใช้ AutoAWQ
สคริปต์ quant_autoawq.py มีไว้เพื่อให้คุณดำเนินการหาปริมาณ AWQ:
python quant_autoawq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code คุณสามารถรันโมเดลเชิงปริมาณได้โดยใช้ eval_quantized_model.py :
python eval_quantized_model.py --model /quantized_model --trust_remote_code[ กลับไปด้านบน ⬆️ ]
หากคุณต้องการปรับใช้โมเดล Yi ตรวจสอบให้แน่ใจว่าคุณมีคุณสมบัติตรงตามข้อกำหนดด้านซอฟต์แวร์และฮาร์ดแวร์
ก่อนที่จะใช้โมเดลเชิงปริมาณของ Yi ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้งซอฟต์แวร์ที่ถูกต้องตามรายการด้านล่าง
| แบบอย่าง | ซอฟต์แวร์ |
|---|---|
| โมเดลเชิงปริมาณของ Yi 4 บิต | AWQ และ CUDA |
| โมเดลเชิงปริมาณของ Yi 8 บิต | GPTQ และ CUDA |
ก่อนที่จะปรับใช้ Yi ในสภาพแวดล้อมของคุณ ตรวจสอบให้แน่ใจว่าฮาร์ดแวร์ของคุณตรงตามข้อกำหนดต่อไปนี้
| แบบอย่าง | VRAM ขั้นต่ำ | ตัวอย่าง GPU ที่แนะนำ |
|---|---|---|
| Yi-6B-แชท | 15 กิกะไบต์ | 1 x RTX 3090 (24 กิกะไบต์) 1 x RTX 4090 (24 กิกะไบต์) 1 x A10 (24GB) 1 x A30 (24 กิกะไบต์) |
| Yi-6B-แชท-4bits | 4 กิกะไบต์ | 1 x RTX 3060 (12 กิกะไบต์) 1 x RTX 4060 (8 กิกะไบต์) |
| Yi-6B-แชท-8bits | 8 กิกะไบต์ | 1 x RTX 3070 (8 กิกะไบต์) 1 x RTX 4060 (8 กิกะไบต์) |
| Yi-34B-แชท | 72GB | 4 x RTX 4090 (24 กิกะไบต์) 1 x A800 (80GB) |
| Yi-34B-แชท-4bits | 20 กิกะไบต์ | 1 x RTX 3090 (24 กิกะไบต์) 1 x RTX 4090 (24 กิกะไบต์) 1 x A10 (24GB) 1 x A30 (24 กิกะไบต์) 1 x A100 (40 กิกะไบต์) |
| Yi-34B-แชท-8bits | 38GB | RTX 3090 จำนวน 2 เครื่อง (24GB) RTX 4090 จำนวน 2 เครื่อง (24GB) 1 x A800 (40GB) |
ด้านล่างนี้คือรายละเอียดข้อกำหนด VRAM ขั้นต่ำภายใต้กรณีการใช้งานแบบแบตช์ต่างๆ
| แบบอย่าง | แบทช์=1 | ชุด=4 | ชุด=16 | ชุด=32 |
|---|---|---|---|---|
| Yi-6B-แชท | 12 กิกะไบต์ | 13 กิกะไบต์ | 15 กิกะไบต์ | 18 กิกะไบต์ |
| Yi-6B-แชท-4bits | 4 กิกะไบต์ | 5 กิกะไบต์ | 7 กิกะไบต์ | 10 กิกะไบต์ |
| Yi-6B-แชท-8bits | 7 กิกะไบต์ | 8 กิกะไบต์ | 10 กิกะไบต์ | 14 กิกะไบต์ |
| Yi-34B-แชท | 65 กิกะไบต์ | 68GB | 76GB | > 80 กิกะไบต์ |
| Yi-34B-แชท-4bits | 19 กิกะไบต์ | 20 กิกะไบต์ | 30 กิกะไบต์ | 40 กิกะไบต์ |
| Yi-34B-แชท-8bits | 35 กิกะไบต์ | 37GB | 46GB | 58GB |
| แบบอย่าง | VRAM ขั้นต่ำ | ตัวอย่าง GPU ที่แนะนำ |
|---|---|---|
| ยี่-6B | 15 กิกะไบต์ | 1 x RTX 3090 (24 กิกะไบต์) 1 x RTX 4090 (24 กิกะไบต์) 1 x A10 (24GB) 1 x A30 (24 กิกะไบต์) |
| ยี่-6B-200K | 50GB | 1 x A800 (80GB) |
| ยี่-9B | 20 กิกะไบต์ | 1 x RTX 4090 (24 กิกะไบต์) |
| ยี่-34B | 72GB | 4 x RTX 4090 (24 กิกะไบต์) 1 x A800 (80GB) |
| ยี่-34B-200K | 200GB | 4 x A800 (80GB) |
[ กลับไปด้านบน ⬆️ ]
Yi-34B และ Yi-34B-Chat นั้นอยู่ที่แนวทางและผลลัพธ์ในการปรับแต่งแบบละเอียดYi-34B อย่างละเอียดอาจเป็นทางเลือกของคุณYi-34B-Chat อาจเป็นทางออกที่ดีที่สุดของคุณ ฉันจะหาแหล่งที่มาของชุดข้อมูลเพื่อตอบคำถามแบบละเอียดได้ที่ไหน
ข้อกำหนดหน่วยความจำ GPU สำหรับการปรับแต่ง Yi-34B FP16 คืออะไร
หน่วยความจำ GPU ที่จำเป็นสำหรับการปรับแต่ง 34B FP16 แบบละเอียดจะขึ้นอยู่กับวิธีการปรับแต่งแบบละเอียดเฉพาะที่ใช้ สำหรับการปรับแต่งพารามิเตอร์แบบเต็ม คุณจะต้องมี GPU 8 ตัว โดยแต่ละตัวมีขนาด 80 GB อย่างไรก็ตาม โซลูชันที่ประหยัดกว่าเช่น Lora ต้องการน้อยกว่า สำหรับรายละเอียดเพิ่มเติม โปรดดูที่ hiyouga/LLaMA-Factory นอกจากนี้ ให้พิจารณาใช้ BF16 แทน FP16 เพื่อการปรับแต่งอย่างละเอียดเพื่อเพิ่มประสิทธิภาพ
มีแพลตฟอร์มของบุคคลที่สามใดบ้างที่รองรับฟังก์ชันการแชทสำหรับรุ่น Yi-34b-200k?
หากคุณกำลังมองหาการแชทจากบุคคลที่สาม ตัวเลือกต่างๆ ได้แก่ ดอกไม้ไฟ.ai
ยินดีต้อนรับสู่ศูนย์การเรียนรู้ Yi!
ไม่ว่าคุณจะเป็นนักพัฒนาที่มีประสบการณ์หรือเป็นมือใหม่ คุณจะพบแหล่งข้อมูลทางการศึกษาที่มีประโยชน์มากมายเพื่อเพิ่มความเข้าใจและทักษะของคุณด้วยโมเดล Yi รวมถึงโพสต์ในบล็อกที่เจาะลึก วิดีโอบทช่วยสอนที่ครอบคลุม คำแนะนำแบบลงมือปฏิบัติจริง และอื่นๆ อีกมากมาย
เนื้อหาที่คุณพบที่นี่ได้รับการสนับสนุนอย่างล้นหลามจากผู้เชี่ยวชาญ Yi ที่มีความรู้และผู้ที่ชื่นชอบ เราขอแสดงความขอบคุณจากใจจริงสำหรับการมีส่วนร่วมอันล้ำค่าของคุณ!
ในเวลาเดียวกัน เรายังขอเชิญคุณอย่างอบอุ่นให้เข้าร่วมความพยายามในการทำงานร่วมกันของเราโดยสนับสนุน Yi หากคุณได้มีส่วนร่วมกับ Yi แล้ว โปรดอย่าลังเลที่จะแสดงผลงานที่โดดเด่นของคุณในตารางด้านล่าง
ด้วยทรัพยากรทั้งหมดนี้เพียงปลายนิ้วสัมผัส คุณก็พร้อมที่จะเริ่มต้นการเดินทางอันน่าตื่นเต้นกับ Yi แล้ว มีความสุขในการเรียนรู้! -
| ส่งมอบได้ | วันที่ | ผู้เขียน |
|---|---|---|
| 使用 Dify、Meilisearch、零一万物模型实现最简单的 RAG 应用（三）：AI 电影推荐 | 2024-05-20 | 苏洋 |
| 使用autodl服务器，在A40显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度18 คำ-s | 2024-05-20 | บิน-iot |
| Yi-VL 最佳实践 | 2024-05-20 | โมเดลสโคป |
| 一键运行零一万物新鲜出炉Yi-1.5-9B-Chat大模型 | 13-05-2024 | รัฐที่สอง |
| 零一万物เปิด源Yi-1.5系列大模型 | 13-05-2024 | 刘聪 |
| 零一万物Yi-1.5系列模型发布并 beginning源！ 34B-9B-6B 多尺寸，魔搭社区推理微调最佳实践教程来啦！ | 13-05-2024 | โมเดลสโคป |
| Yi-34B 本地部署简单测试 | 13-05-2024 | 漆妮妮 |
| 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年（上） | 13-05-2024 | คำพูดที่คุ้มค่า |
| 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年（下篇） | 13-05-2024 | คำพูดที่คุ้มค่า |
| Ollama新增两个命令，部始支持零一万物Yi-1.5系列模型 | 13-05-2024 | AI 工程师笔记 |
| 使用零一万物 200K 模型和 Dify 快速搭建模型应用 | 13-05-2024 | 苏洋 |
| (持更) 零一万物模型折腾笔记：社区 Yi-34B 微调模型使用 | 13-05-2024 | 苏洋 |
| Python+ERNIE-4.0-8K-Yi-34B-Chat ตัวใหญ่ | 11-05-2024 | 江湖评谈 |
| 技术布道 Vue及Python调用零一万物模型和Prompt模板（通过百度千帆大模型平台） | 11-05-2024 | มูมูแล็บ |
| 多模态大模型Yi-VL-plus体验 效果很棒 | 27-04-2024 | บิ๊กเฮ้าส์好我是爱因 |
| 使用autodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度23 คำ-s | 27-04-2024 | บิน-iot |
| เริ่มต้นใช้งาน Yi-1.5-9B-Chat | 27-04-2024 | รัฐที่สอง |
| 基于零一万物yi-vl-plus大模型简单几步就能批量生成Ankiภาพพื้นหลัง笔记 | 24-04-2024 | 正经人王同学 |
| 【AI เริ่มต้น：语言】一、Yi-34B超大模型本地部署CPU和GPU版 | 21-04-2024 | ของฉัน 梦想已实现 |
| 【Yi-34B-Chat-Int4】使用4个2080Ti显卡11G版本，运行Yi-34B模型，5年前老显卡是支持的，可以正常运行，速度21 คำ-s，vllm要求算力在7以上的显卡就可以 | 22-03-2024 | บิน-iot |
| 零一万物大模型部署+微调总结 | 22-03-2024 | v_wus |
| 零一万物Yi大模型vllm推理时Yi-34B或Yi-6bchat重复输出的解决方案 | 02-03-2024 | 郝铠锋 |
| Yi-34B 微调训练 | 02-03-2024 | lsjlnd |
| 实测零一万物Yi-VL多模态语言模型：能准确“识上吃瓜” | 02-02-2024 | 苏洋 |
| 零一万物 beginning源Yi-VL多模态大模型，魔搭社区推理&微调最佳实践来啦！ | 26-01-2024 | โมเดลสโคป |
| 单卡 3 小时训练 Yi-6B 大模型 ตัวแทน：基于 Llama Factory 实战 | 22-01-2024 | 郑耀威 |
| 零一科技Yi-34B Chatตัวใหญ่模型环境搭建&推理 | 15-01-2024 | 要养家的程序员 |
| 基于LLaMA Factory，单卡3小时训练专属大模型 ตัวแทน | 15-01-2024 | 机器学习社区 |
| 双卡 3080ti 部署 Yi-34B ยิ่งใหญ่ - Gradio + vLLM 踩坑全记录 | 02-01-2024 | 漆妮妮 |
| 【ตัวใหญ่ | 02-01-2024 | aq_ซีบิสกิต |
| 只需 24G 显存，用 vllm 跑起来 Yi-34B 中英双语大模型 | 28-12-2023 | 漆妮妮 |
| 零一万物模型官方 Yi-34B 模型本地离线运行部署使用笔记（物理机和docker两种部署方式),200K超长文本内容，34B 干翻一众 70B 模型，打榜分数那么高，这模型到底行不行？ | 28-12-2023 | 代码讲故事 |
| LLM - ขนาดใหญ่ LoRA 微调 | 18-12-2566 | BIT_666 |
| 通过vllm框架进行大模型推理 | 18-12-2566 | 土yama炮 |
| CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化方案 | 12-12-2566 | 苏洋 |
| 零一万物模型折腾笔记：官方 Yi-34B 模型基础使用 | 10-12-2566 | 苏洋 |
| ใช้งาน Yi-34B-Chat ในเครื่องโดยใช้ LlamaEdge | 30-11-2566 | รัฐที่สอง |
| 本地运行零一万物 34B บิ๊ก模型，使用 Llama.cpp & 21G 显存 | 26-11-2023 | 苏洋 |
| ส่งมอบได้ | วันที่ | ผู้เขียน |
|---|---|---|
| yi-openai-proxy | 11-05-2024 | 苏洋 |
| 基于零一万物 Yi 模型和 B 站构建大语言模型高质量训练数据集 | 29-04-2024 | 正经人王同学 |
| 基于视频网站和零一万物大模型构建大语言模型高质量训练数据集 | 25-04-2024 | 正经人王同学 |
| 基于零一万物yi-34b-chat-200k输入任意文章地址，点击按钮即可生成无广告或推广内容的简要笔记，并生成分享享给好友 | 24-04-2024 | 正经人王同学 |
| อาหาร-GPT-Yi-รุ่น | 21-04-2024 | ฮิวเบิร์ต เอส |
| ส่งมอบได้ | วันที่ | ผู้เขียน |
|---|---|---|
| เรียกใช้ Dolphin-2.2-yi-34b บนอุปกรณ์ IoT | 30-11-2566 | รัฐที่สอง |
| 只需 24G 显存，用 vllm 跑起来 Yi-34B 中英双语大模型 | 28-12-2023 | 漆妮妮 |
| ติดตั้ง Yi 34B ในเครื่อง - LLM จีนอังกฤษสองภาษา | 05-11-2023 | ฟาฮัด มีร์ซา |
| Dolphin Yi 34b - รุ่นพื้นฐานใหม่ล่าสุดที่ผ่านการทดสอบแล้ว | 27-11-2023 | แมทธิว เบอร์แมน |
| Yi-VL-34B 多模态大模型 - 用两张 A40 显卡跑起来 | 28-01-2024 | 漆妮妮 |
| 4060Ti 16G 显卡安装零一万物最新的Yi-1.5版大语言模型 | 14-05-2024 | ไททัน909 |
| Yi-1.5: True Apache 2.0 คู่แข่งกับ LLAMA-3 | 13-05-2024 | วิศวกรรมพร้อมท์ |
| ติดตั้งโมเดล Yi-1.5 ในเครื่อง - เอาชนะ Llama 3 ในเกณฑ์มาตรฐานต่างๆ | 13-05-2024 | ฟาฮัด มีร์ซา |
| วิธีติดตั้ง Ollama และรัน Yi 6B | 13-05-2024 | ริดา เดวิดส์ |
| 地表最强混合智能AI 助手：llama3_70B+Yi_34B+Qwen1.5_110B | 04-05-2024 | 朱扎特 |
| ChatDoc学术论文辅助--基于Yi-34B和langchain进行PDF知识库问答 | 03-05-2024 | 朱扎特 |
| 基于Yi-34B的领域知识问答项目演示 | 02-05-2024 | 朱扎特 |
| 使用RTX4090+GaLore算法 全参微调Yi-6Bใหญ่模型 | 24-03-2024 | 小工蚂创始人 |
| 无内容审查NSFW大语言模型Yi-34B-Chat蒸馏版测试,RolePlay,《天龙八部》马夫人康敏,本地GPU,CPU运行 | 2024-03-20 | 刘悦的技术博客 |
| 无内容审查NSFW大语言模型整合包,Yi-34B-Chat,本地CPU运行,角色扮演潘金莲 | 16-03-2024 | 刘悦的技术博客 |
| 量化 Yi-34B-Chat 并在单卡 RTX 4090 使用 vLLM 部署 | 05-03-2024 | 白鸽巢 |
| Yi-VL-34B（5）：使用3个3090显卡24G版本，运行Yi- VL-34B 模型，支持命令行和web界的方式，理解上的内容转换成文字 | 27-02-2024 | บิน-iot |
| Win环境KoboldCpp本地部署大语言模型进行各种角色扮演游戏 | 25-02-2024 | 魚蟲蟲 |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P2 | 23-02-2024 | 魚蟲蟲 |
| 【wails】(2): 使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度还可以，等待下一版本更新 | 2024-02-20 | บิน-iot |
| 【xinference】(6): 在autodl上，使用xinference部署yi-vl-chat和qwen-vl-chat模型，可以使用openai调用成功 | 06-02-2024 | บิน-iot |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P1 | 05-02-2024 | 魚蟲蟲 |
| 2080Ti 部署YI-34B ตัวใหญ่ xinference-oneapi-fastGPT 本地知识库使用指南 | 30-01-2024 | 小饭护法要转码 |
| สุดยอดการเขียนเรื่องราว AI Model - ติดตั้ง Yi 6B 200K ในเครื่องบน Windows | 22-01-2024 | ฟาฮัด มีร์ซา |
| Mac 本地运行大语言模型方法与常见问题指南（Yi 34B 模型+32 GB 内存测试） | 21-01-2024 | 小吴苹果机器人 |
| 【Dify知识库】(11):Dify0.4.9 改造持MySQL，成功接入yi-6b做对话，本地使用fastchat启动，占8G显存，完成知识库配置 | 21-01-2024 | บิน-iot |
| 这位LLM先生有点暴躁,用的是YI-6B的某个量化版,#LLM #大语言模型 #暴躁老哥 | 2024-01-20 | 晓漫吧 |
| ตัวใหญ่ | 17-01-2024 | 漆妮妮 |
| ตัวใหญ่ A40 vs A6000 谁更强 - 对比 Yi-34B 的单、双卡推理性能 | 2024-01-15 | 漆妮妮 |
| C-EVAL 大语言模型评测基准- 用 LM Evaluation Harness + Vllm 跑起来 | 11-01-2024 | 漆妮妮 |
| 双显卡部署 yi -34b 大模型 - vllm + gradio 踩坑记录 | 01-01-2024 | 漆妮妮 |
| 手把手教学！使用 vllm 快速部署 yi-34b-chat | 26-12-2566 | 白鸽巢 |
| 如何训练企业自己的大语言模型？ yi-6b lora 微调演示 #小工蚁 | 21-12-2023 | 小工蚂创始人 |
| yi-34b （4)： 使用 4 个 2080ti 11g 版本， 运行 yi-34b 模型， 5 年前老显卡是支持的， 可以正常运行可以正常运行， 速度 21 คำ/s | 02-12-2023 | นกไอโอบิน |
| 使用 autodl 服务器， rtx 3090 * 3 显卡上运行， yi-34b-chat 模型， 显存占用 60g | 01-12-2023 | นกไอโอบิน |
| 使用 autodl 服务器， 两个 3090 显卡上运行， yi-34b-chat-int4 模型， 用 vllm 优化， 增加增加增加增加增加增加增加增加增加增加增加增加增加增加增加增加增加增加增加增加 | 01-12-2023 | นกไอโอบิน |
| yi 大模型一键本地部署技术小白玩转 ai | 01-12-2023 | 技术小白玩转 ai |
| 01.ai Yi-6b: ภาพรวมและการปรับแต่ง | 28-11-2023 | ai makerspace |
| yi 34b แชท llm ดีกว่า llama 70b | 27-11-2023 | เครื่องตัดหญ้า |
| วิธีเรียกใช้โมเดลโอเพนซอร์สบน Mac Yi 34b บน M3 Max | 26-11-2023 | เทคโนพรีเมี่ยม |
| Yi -34b - 200k - บริบทที่ดีที่สุดและใหม่ | 24-11-2566 | วิศวกรรมที่รวดเร็ว |
| Yi 34b: การเพิ่มขึ้นของโมเดลขนาดกลางที่ทรงพลัง - ฐาน, 200k & แชท | 24-11-2566 | Sam Witteveen |
| 在 IoT 设备运行破解版李开复大模型 Dolphin-2.2-yi-34b （还可作为私有 openai api 服务器）) | 2023-11-15 | รัฐที่สอง |
| เรียกใช้ Dolphin-2.2-Yi-34b บนอุปกรณ์ IoT (ยังทำงานเป็นเซิร์ฟเวอร์ OpenAI API ส่วนตัว) | 2023-11-14 | รัฐที่สอง |
| วิธีติดตั้ง Yi 34B 200K Llamafied บนแล็ปท็อป Windows | 2023-11-11 | fahd mirza |
ยี่มีระบบนิเวศที่ครอบคลุมนำเสนอเครื่องมือบริการและโมเดลที่หลากหลายเพื่อเสริมสร้างประสบการณ์ของคุณและเพิ่มผลผลิตสูงสุด
รุ่น Yi Series ติดตามสถาปัตยกรรมรุ่นเดียวกับ Llama ด้วยการเลือก Yi คุณสามารถใช้ประโยชน์จากเครื่องมือที่มีอยู่ห้องสมุดและทรัพยากรภายในระบบนิเวศ Llama โดยไม่จำเป็นต้องสร้างเครื่องมือใหม่และเพิ่มประสิทธิภาพการพัฒนา
ตัวอย่างเช่นรุ่น Yi Series จะถูกบันทึกไว้ในรูปแบบของรุ่น Llama คุณสามารถใช้ LlamaForCausalLM และ LlamaTokenizer โดยตรงเพื่อโหลดโมเดล สำหรับข้อมูลเพิ่มเติมดูใช้รูปแบบการแชท
from transformers import AutoModelForCausalLM , AutoTokenizer
tokenizer = AutoTokenizer . from_pretrained ( "01-ai/Yi-34b" , use_fast = False )
model = AutoModelForCausalLM . from_pretrained ( "01-ai/Yi-34b" , device_map = "auto" )[กลับไปด้านบน⬆]
เคล็ดลับ
อย่าลังเลที่จะสร้าง PR และแบ่งปันผลงานที่ยอดเยี่ยมที่คุณสร้างขึ้นโดยใช้รุ่น Yi Series
เพื่อช่วยให้ผู้อื่นเข้าใจงานของคุณได้อย่างรวดเร็วขอแนะนำให้ใช้รูปแบบของ
>: +
หากคุณต้องการตื่นขึ้นมากับยี่ในไม่กี่นาทีคุณสามารถใช้บริการต่อไปนี้ที่สร้างขึ้นบนยี่
Yi-34b-Chat: คุณสามารถแชทกับ Yi โดยใช้หนึ่งในแพลตฟอร์มต่อไปนี้:
Yi-6b-Chat (ทำซ้ำ): คุณสามารถใช้โมเดลนี้พร้อมตัวเลือกเพิ่มเติมโดยการตั้งค่าพารามิเตอร์เพิ่มเติมและ APIs การโทร
Scalellm: คุณสามารถใช้บริการนี้เพื่อเรียกใช้รุ่น Yi ในเครื่องด้วยความยืดหยุ่นและการปรับแต่งที่เพิ่มขึ้น
หากคุณมีความสามารถในการคำนวณที่ จำกัด คุณสามารถใช้โมเดลเชิงปริมาณของ YI ได้ดังนี้
แบบจำลองเชิงปริมาณเหล่านี้มีความแม่นยำลดลง แต่ให้ประสิทธิภาพที่เพิ่มขึ้นเช่นความเร็วการอนุมานที่เร็วขึ้นและการใช้ RAM ที่เล็กลง
หากคุณกำลังมองหาที่จะสำรวจความสามารถที่หลากหลายภายในครอบครัวที่เจริญรุ่งเรืองของ Yi คุณสามารถเจาะลึกลงไปในแบบจำลองที่ปรับแต่งได้ของ Yi ดังต่อไปนี้
Thebloke Models: ไซต์นี้เป็นเจ้าภาพโมเดลที่ได้รับการปรับแต่งจำนวนมากที่ได้มาจาก LLM ต่างๆรวมถึง Yi
นี่ไม่ใช่รายการที่ละเอียดถี่
Sustech/Sus-Chat-34B: รุ่นนี้ได้รับการจัดอันดับเป็นครั้งแรกในทุกรุ่นต่ำกว่า 70B และมีประสิทธิภาพสูงกว่า Deepseek-LLM-67B-Chat ที่มีขนาดใหญ่กว่าสองเท่า คุณสามารถตรวจสอบผลลัพธ์บนกระดานผู้นำ LLM แบบเปิด
Orionstarai/Orionstar-Yi-34b-chat-llama: รุ่นนี้ยอดเยี่ยมเกินกว่ารุ่นอื่น ๆ (เช่น GPT-4, Qwen-14b-Chat, Baichuan2-13b-Chat) ในการประเมิน C-eval และ CMMLU
NouSresearch/nous-capybara-34b: รุ่นนี้ได้รับการฝึกฝนด้วยความยาวบริบท 200k และ 3 ยุคในชุดข้อมูล Capybara
[กลับไปด้านบน⬆]
สำหรับความสามารถโดยละเอียดของรุ่น Yi Series โปรดดู Yi: Open Foundation Models โดย 01.ai
@misc{ai2024yi,
title={Yi: Open Foundation Models by 01.AI},
author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
year={2024},
eprint={2403.04652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
แบบจำลอง Yi-34b-Chat แสดงให้เห็นถึงประสิทธิภาพที่ยอดเยี่ยมอันดับแรกในบรรดาโมเดลโอเพนซอร์ซที่มีอยู่ทั้งหมดในเกณฑ์มาตรฐานรวมถึง MMLU, CMMLU, BBH, GSM8K และอีกมากมาย
* : ผลลัพธ์ C-eval ได้รับการประเมินในชุดข้อมูลการตรวจสอบความถูกต้อง
รุ่น Yi-34b และ Yi-34b-200k โดดเด่นในฐานะนักแสดงชั้นนำในหมู่รุ่นโอเพนซอร์ซโดยเฉพาะอย่างยิ่งที่ยอดเยี่ยมใน MMLU, CMMLU, การใช้เหตุผลสามัญสำนึก, การอ่านความเข้าใจและอื่น ๆ
Yi-9b เป็นรุ่นที่ดีที่สุดในบรรดาโมเดลโอเพนซอร์ซขนาดใกล้เคียงกัน (รวมถึง Mistral-7b, Solar-10.7b, Gemma-7b, Deepseek-Coder-7b-Base-V1.5 และอื่น ๆ ) โดยเฉพาะอย่างยิ่ง ในรหัส, คณิตศาสตร์, การให้เหตุผลสามัญสำนึกและความเข้าใจในการอ่าน
ในแง่ของความสามารถ โดยรวม (หมายถึงทั้งหมด) Yi-9b ทำงานได้ดีที่สุดในบรรดาโมเดลโอเพนซอร์ซที่มีขนาดใกล้เคียงกันมากกว่า Deepseek-Coder, Deepseek-Math, Mistral-7b, Solar-10.7b และ Gemma-7b
ในแง่ของความสามารถ ในการเข้ารหัส (รหัสค่าเฉลี่ย) ประสิทธิภาพของ Yi-9b เป็นอันดับสองรองจาก Deepseek-Coder-7B ซึ่งเหนือกว่า Yi-34b, Solar-10.7b, Mistral-7b และ Gemma-7b
ในแง่ของความสามารถ ทางคณิตศาสตร์ (Mean-Math) ประสิทธิภาพของ Yi-9b เป็นอันดับสองรองจาก Deepseek-Math-7b ซึ่งเหนือกว่า Solar-10.7b, Mistral-7b และ Gemma-7b
ในแง่ของ สามัญสำนึกและความสามารถในการใช้เหตุผล (ข้อความหมายถึง) ประสิทธิภาพของ Yi-9b นั้นเทียบเท่ากับ Mistral-7b, Solar-10.7b และ Gemma-7b
[กลับไปด้านบน⬆]
ทุกคน! -
รหัสและน้ำหนักของรุ่น Yi Series มีการแจกจ่ายภายใต้ใบอนุญาต Apache 2.0 ซึ่งหมายความว่าโมเดล Yi Series นั้นฟรีสำหรับการใช้งานส่วนบุคคลวัตถุประสงค์ทางวิชาการและการใช้งานเชิงพาณิชย์
[กลับไปด้านบน⬆]
ขอขอบคุณอย่างจริงใจสำหรับคุณแต่ละคนที่มีส่วนร่วมในชุมชนยี่! คุณได้ช่วยยี่ไม่เพียง แต่เป็นโครงการ แต่เป็นบ้านที่มีชีวิตชีวาและกำลังเติบโตสำหรับนวัตกรรม
[กลับไปด้านบน⬆]
เราใช้อัลกอริทึมการตรวจสอบการปฏิบัติตามข้อมูลในระหว่างกระบวนการฝึกอบรมเพื่อให้แน่ใจว่าการปฏิบัติตามรูปแบบที่ผ่านการฝึกอบรมให้ดีที่สุดเท่าที่จะทำได้ เนื่องจากข้อมูลที่ซับซ้อนและความหลากหลายของสถานการณ์การใช้แบบจำลองภาษาเราไม่สามารถรับประกันได้ว่าโมเดลจะสร้างผลลัพธ์ที่ถูกต้องและเหมาะสมในทุกสถานการณ์ โปรดทราบว่ายังมีความเสี่ยงที่จะสร้างโมเดลการผลิตผลลัพธ์ที่มีปัญหา เราจะไม่รับผิดชอบต่อความเสี่ยงและปัญหาใด ๆ ที่เกิดจากการใช้ในทางที่ผิดการใช้งานที่ผิดการใช้งานที่ผิดกฎหมายและข้อมูลที่ผิดที่เกี่ยวข้องรวมถึงข้อกังวลด้านความปลอดภัยของข้อมูลที่เกี่ยวข้อง
[กลับไปด้านบน⬆]
รหัสและน้ำหนักของรุ่น Yi-1.5 ซีรีส์มีการแจกจ่ายภายใต้ใบอนุญาต Apache 2.0
หากคุณสร้างงานอนุพันธ์ตามรุ่นนี้โปรดรวมการระบุแหล่งที่มาต่อไปนี้ในงานอนุพันธ์ของคุณ:
This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.
[กลับไปด้านบน⬆]
