الإنجليزية | 中文
؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel
اطرح الأسئلة أو ناقش الأفكار على GitHub
انضم إلينا ؟ الخلاف أو WeChat
تحقق من تقرير يي التقنية
تنمو في مركز التعلم يي
؟ تعلم في مدونة يي تك
؟ نماذج سلسلة Yi هي الجيل التالي من نماذج اللغات الكبيرة مفتوحة المصدر التي تم تدريبها من الصفر بواسطة 01.AI.
؟ تم استهداف نماذج سلسلة Yi كنموذج لغة ثنائي اللغة وتم تدريبها على مجموعة 3T متعددة اللغات، وأصبحت واحدة من أقوى LLM في جميع أنحاء العالم، مما يظهر وعدًا في فهم اللغة، والتفكير المنطقي، وفهم القراءة، والمزيد. على سبيل المثال،
حصل نموذج Yi-34B-Chat على المركز الثاني (بعد GPT-4 Turbo) ، متفوقًا على LLMs الأخرى (مثل GPT-4 وMixtral وClaude) على لوحة المتصدرين AlpacaEval (استنادًا إلى البيانات المتاحة حتى يناير 2024).
احتل نموذج Yi-34B المرتبة الأولى بين جميع النماذج مفتوحة المصدر الحالية (مثل Falcon-180B وLlama-70B وClude) باللغتين الإنجليزية والصينية وفقًا لمعايير مختلفة، بما في ذلك Hugging Face Open LLM Leaderboard (المدربة مسبقًا) وC-Eval (بناءً على البيانات المتاحة حتى نوفمبر 2023).
(الفضل لـ Llama) شكرًا لمجتمعات Transformer وLlama مفتوحة المصدر، حيث أنهما يقللان الجهود المطلوبة للبناء من الصفر ويتيحان استخدام نفس الأدوات داخل النظام البيئي للذكاء الاصطناعي.
ليرة تركية؛ د
تتبنى نماذج سلسلة Yi نفس بنية نموذج Llama ولكنها ليست مشتقات من Llama.
يعتمد كل من Yi وLlama على بنية Transformer، والتي كانت البنية القياسية لنماذج اللغات الكبيرة منذ عام 2018.
نظرًا لتأسيسها في بنية Transformer، أصبحت Llama حجر الزاوية الجديد لغالبية النماذج مفتوحة المصدر الحديثة نظرًا لاستقرارها الممتاز وتقاربها الموثوق وتوافقها القوي. وهذا يضع اللاما كإطار تأسيسي معترف به للنماذج بما في ذلك Yi.
بفضل بنيات Transformer وLlama، يمكن للنماذج الأخرى الاستفادة من قوتها، وتقليل الجهد المطلوب للبناء من الصفر وتمكين استخدام نفس الأدوات داخل أنظمتها البيئية.
ومع ذلك، فإن نماذج سلسلة Yi ليست مشتقات من اللاما، لأنها لا تستخدم أوزان اللاما.
نظرًا لأن هيكل Llama يُستخدم في غالبية النماذج مفتوحة المصدر، فإن العوامل الرئيسية لتحديد أداء النموذج هي مجموعات بيانات التدريب وخطوط التدريب والبنية التحتية للتدريب.
من خلال التطوير بطريقة فريدة ومملوكة، أنشأت Yi بشكل مستقل مجموعات بيانات التدريب عالية الجودة الخاصة بها، وخطوط التدريب الفعالة، والبنية التحتية التدريبية القوية بالكامل من الألف إلى الياء. أدى هذا الجهد إلى أداء ممتاز مع تصنيف نماذج سلسلة Yi خلف GPT4 مباشرةً وتجاوز Llama في لوحة Alpaca Leaderboard في ديسمبر 2023.
[ العودة إلى الأعلى ⬆️ ]
Yi-9B-200K مفتوح المصدر ومتاح للجمهور.Yi-9B مفتوح المصدر ومتاح للجمهور.Yi-9B باعتباره الأفضل أداءً بين مجموعة من النماذج مفتوحة المصدر ذات الحجم المماثل (بما في ذلك Mistral-7B وSOLAR-10.7B وGemma-7B وDeepSeek-Coder-7B-Base-v1.5 والمزيد). التفوق بشكل خاص في البرمجة والرياضيات والتفكير المنطقي وفهم القراءة.Yi-VL-34B و Yi-VL-6B ، مفتوحة المصدر ومتاحة للجمهور.Yi-VL-34B المرتبة الأولى بين جميع النماذج مفتوحة المصدر الحالية في أحدث المعايير، بما في ذلك MMMU وCMMMMU (استنادًا إلى البيانات المتاحة حتى يناير 2024).Yi-34B-ChatYi-34B-Chat-4bitsYi-34B-Chat-8bitsYi-6B-ChatYi-6B-Chat-4bitsYi-6B-Chat-8bitsيمكنك تجربة بعضها بشكل تفاعلي على:
Yi-6B-200K و Yi-34B-200K ، مفتوحان المصدر ومتاحان للجمهور.Yi-6B و Yi-34B ، مفتوحان المصدر ومتاحان للجمهور.[ العودة إلى الأعلى ⬆️ ]
تأتي نماذج Yi بأحجام متعددة وتلبي حالات الاستخدام المختلفة. يمكنك أيضًا ضبط نماذج Yi بشكل دقيق لتلبية متطلباتك المحددة.
إذا كنت تريد نشر نماذج Yi، فتأكد من استيفاء متطلبات البرامج والأجهزة.
| نموذج | تحميل |
|---|---|
| يي-34B-الدردشة | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-34B-دردشة-4 بت | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-34B-الدردشة-8 بت | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-6B-دردشة | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-6B-دردشة-4 بت | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-6B-دردشة-8 بت | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
- يتم قياس نماذج سلسلة 4 بت بواسطة AWQ.
- يتم قياس نماذج سلسلة 8 بت بواسطة GPTQ
- تتمتع جميع النماذج الكمية بحاجز منخفض للاستخدام حيث يمكن نشرها على وحدات معالجة الرسومات المخصصة للمستهلك (على سبيل المثال، 3090، 4090).
| نموذج | تحميل |
|---|---|
| يي-34ب | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-34ب-200ك | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-9ب | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-9B-200K | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-6ب | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
| يي-6B-200K | • ؟ معانقة الوجه • ? ModelScope • ؟ com.wisemodel |
- 200 كيلو يعادل تقريبًا 400000 حرف صيني.
- إذا كنت تريد استخدام الإصدار السابق من Yi-34B-200K (الذي تم إصداره في 5 نوفمبر 2023)، فقم بتشغيل git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf لتنزيل الوزن.
| نموذج | مقدمة | نافذة السياق الافتراضية | الرموز المدربة مسبقًا | تاريخ بيانات التدريب |
|---|---|---|---|---|
| نماذج سلسلة 6B | وهي مناسبة للاستخدام الشخصي والأكاديمي. | 4K | 3T | حتى يونيو 2023 |
| نماذج سلسلة 9B | إنه الأفضل في البرمجة والرياضيات في نماذج سلسلة Yi. | يتم تدريب Yi-9B بشكل مستمر على أساس Yi-6B، باستخدام 0.8T من الرموز. | ||
| نماذج سلسلة 34B | وهي مناسبة للأغراض الشخصية والأكاديمية والتجارية (خاصة للمؤسسات الصغيرة والمتوسطة الحجم). إنه حل فعال من حيث التكلفة وبأسعار معقولة ومجهز بقدرات طارئة. | 3T |
لنماذج الدردشة
ومع ذلك، فإن هذا التنوع العالي قد يؤدي إلى تضخيم بعض القضايا القائمة، بما في ذلك:
[ العودة إلى الأعلى ⬆️ ]
نصيحة : إذا كنت تريد البدء باستخدام نموذج Yi واستكشاف طرق مختلفة للاستدلال، فراجع كتاب Yi Cookbook.
اختر أحد المسارات التالية لتبدأ رحلتك مع Yi!
إذا كنت تفضل نشر نماذج Yi محليًا،
♀️ ولديك الموارد الكافية (مثلاً NVIDIA A800 80GB)، يمكنك اختيار إحدى الطرق التالية:
♀️ ولديك موارد محدودة (على سبيل المثال، MacBook Pro)، يمكنك استخدام llama.cpp.
إذا كنت تفضل عدم نشر نماذج Yi محليًا، فيمكنك استكشاف إمكانيات Yi باستخدام أي من الخيارات التالية.
إذا كنت ترغب في استكشاف المزيد من ميزات Yi، فيمكنك اعتماد إحدى الطرق التالية:
واجهات برمجة تطبيقات Yi (مسؤول Yi)
واجهات برمجة تطبيقات Yi (نسخة متماثلة)
إذا كنت تريد الدردشة مع Yi باستخدام المزيد من الخيارات القابلة للتخصيص (على سبيل المثال، موجه النظام، ودرجة الحرارة، وعقوبة التكرار، وما إلى ذلك)، فيمكنك تجربة أحد الخيارات التالية:
Yi-34B-Chat-Playground (يي الرسمية)
Yi-34B-ساحة الدردشة (نسخة طبق الأصل)
إذا كنت تريد الدردشة مع Yi، يمكنك استخدام إحدى هذه الخدمات عبر الإنترنت، والتي تقدم تجربة مستخدم مماثلة:
Yi-34B-Chat (مسؤول Yi على وجه العناق)
Yi-34B-Chat (الإصدار التجريبي الرسمي من Yi)
[ العودة إلى الأعلى ⬆️ ]
يرشدك هذا البرنامج التعليمي خلال كل خطوة من خطوات تشغيل Yi-34B-Chat محليًا على هاتف A800 (80G) ثم إجراء الاستدلال.
تأكد من تثبيت Python 3.10 أو إصدار أحدث.
إذا كنت تريد تشغيل نماذج Yi أخرى، فراجع متطلبات البرامج والأجهزة.
لإعداد البيئة وتثبيت الحزم المطلوبة، قم بتنفيذ الأمر التالي.
git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txtيمكنك تنزيل الأوزان والرموز المميزة لنماذج Yi من المصادر التالية:
يمكنك إجراء الاستدلال باستخدام دردشة Yi أو النماذج الأساسية على النحو التالي.
قم بإنشاء ملف باسم quick_start.py وانسخ المحتوى التالي إليه.
from transformers import AutoModelForCausalLM , AutoTokenizer
model_path = ''
tokenizer = AutoTokenizer . from_pretrained ( model_path , use_fast = False )
# Since transformers 4.35.0, the GPT-Q/AWQ model can be loaded using AutoModelForCausalLM.
model = AutoModelForCausalLM . from_pretrained (
model_path ,
device_map = "auto" ,
torch_dtype = 'auto'
). eval ()
# Prompt content: "hi"
messages = [
{ "role" : "user" , "content" : "hi" }
]
input_ids = tokenizer . apply_chat_template ( conversation = messages , tokenize = True , add_generation_prompt = True , return_tensors = 'pt' )
output_ids = model . generate ( input_ids . to ( 'cuda' ))
response = tokenizer . decode ( output_ids [ 0 ][ input_ids . shape [ 1 ]:], skip_special_tokens = True )
# Model response: "Hello! How can I assist you today?"
print ( response ) قم بتشغيل quick_start.py .
python quick_start.pyثم يمكنك رؤية مخرجات مشابهة لتلك الموجودة أدناه. ؟
Hello ! How can I assist you today ? يي-34ب
الخطوات مشابهة للنقطة - إجراء الاستدلال باستخدام نموذج الدردشة Yi.
يمكنك استخدام الملف الموجود text_generation.py .
python demo/text_generation.py --model < your-model-path >ثم يمكنك رؤية مخرجات مشابهة لتلك الموجودة أدناه. ؟
عاجل : دعوني أخبركم قصة مثيرة للاهتمام عن القط توم والفأر جيري،
الجيل : دعني أخبركم بقصة مثيرة للاهتمام عن القط توم والفأر جيري، والتي حدثت في طفولتي. كان لدى والدي منزل كبير تعيش فيه قطتان لقتل الفئران. في أحد الأيام عندما كنت ألعب بمفردي في المنزل، وجدت أحد القطط مستلقيًا على ظهره بالقرب من باب مطبخنا، ويبدو أنه يريد شيئًا منا ولكنه لا يستطيع النهوض بسبب وجود الكثير من الأشخاص حوله! وظل يحاول لعدة دقائق قبل أن يستسلم في النهاية.
يي-9ب
مدخل
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_DIR = " 01-ai/Yi-9B "
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype= " auto " )
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, use_fast=False)
input_text = " # write the quick sort algorithm "
inputs = tokenizer(input_text, return_tensors= " pt " ).to(model.device)
outputs = model.generate( ** inputs, max_length=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))الإخراج
# write the quick sort algorithm
def quick_sort(arr):
if len(arr) < = 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
# test the quick sort algorithm
print(quick_sort([3, 6, 8, 10, 1, 2, 1]))[ العودة إلى الأعلى ⬆️ ]
تأكد من تثبيت Docker وnvidia-container-toolkit.
docker run -it --gpus all
-v : /models
ghcr.io/01-ai/yi:latest
وبدلاً من ذلك، يمكنك سحب صورة Yi Docker من registry.lingyiwanwu.com/ci/01-ai/yi:latest .
يمكنك إجراء الاستدلال باستخدام دردشة Yi أو النماذج الأساسية على النحو التالي.
الخطوات مشابهة للنقطة - إجراء الاستدلال باستخدام نموذج الدردشة Yi.
لاحظ أن الاختلاف الوحيد هو تعيين model_path = ' بدلاً من model_path = ' .
الخطوات مشابهة للنقطة - قم بإجراء الاستدلال باستخدام نموذج Yi الأساسي.
لاحظ أن الاختلاف الوحيد هو تعيين --model بدلاً من model .
conda-lock لإنشاء ملفات قفل قابلة للتكرار بالكامل لبيئات conda.micromamba لتثبيت هذه التبعيات.قم بتثبيت micromamba باتباع الإرشادات المتوفرة هنا.
قم بتنفيذ micromamba install -y -n yi -f conda-lock.yml لإنشاء بيئة conda باسم yi وتثبيت التبعيات الضرورية.
سيرشدك البرنامج التعليمي التالي خلال كل خطوة من خطوات تشغيل النموذج الكمي (Yi-chat-6B-2bits) محليًا ثم إجراء الاستدلال.
يفترض هذا البرنامج التعليمي أنك تستخدم جهاز MacBook Pro بذاكرة سعة 16 جيجابايت وشريحة Apple M2 Pro.
تأكد من تثبيت git-lfs على جهازك.
llama.cpp لاستنساخ مستودع llama.cpp ، قم بتشغيل الأمر التالي.
git clone [email protected]:ggerganov/llama.cpp.git2.1 لاستنساخ XeIaso/yi-chat-6B-GGUF باستخدام المؤشرات فقط، قم بتشغيل الأمر التالي.
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF2.2 لتنزيل نموذج Yi المكمّم (yi-chat-6b.Q2_K.gguf)، قم بتشغيل الأمر التالي.
git-lfs pull --include yi-chat-6b.Q2_K.ggufلإجراء الاستدلال باستخدام نموذج Yi، يمكنك استخدام إحدى الطرق التالية.
الطريقة الأولى: إجراء الاستدلال في المحطة
الطريقة الثانية: إجراء الاستدلال في الويب
لتجميع llama.cpp باستخدام 4 سلاسل عمليات ثم إجراء الاستدلال، انتقل إلى دليل llama.cpp ، وقم بتشغيل الأمر التالي.
نصائح
استبدل
/Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufبالمسار الفعلي لنموذجك.افتراضيًا، يعمل النموذج في وضع الإكمال.
للحصول على خيارات إضافية لتخصيص المخرجات (على سبيل المثال، موجه النظام، ودرجة الحرارة، وعقوبة التكرار، وما إلى ذلك)، قم بتشغيل
./main -hللتحقق من الأوصاف التفصيلية والاستخدام.
make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p " How do you feed your pet fox? Please answer this question in 6 simple steps:nStep 1: " -n 384 -e
...
How do you feed your pet fox ? Please answer this question in 6 simple steps:
Step 1: Select the appropriate food for your pet fox. You should choose high-quality, balanced prey items that are suitable for their unique dietary needs. These could include live or frozen mice, rats, pigeons, or other small mammals, as well as fresh fruits and vegetables.
Step 2: Feed your pet fox once or twice a day, depending on the species and its individual preferences. Always ensure that they have access to fresh water throughout the day.
Step 3: Provide an appropriate environment for your pet fox. Ensure it has a comfortable place to rest, plenty of space to move around, and opportunities to play and exercise.
Step 4: Socialize your pet with other animals if possible. Interactions with other creatures can help them develop social skills and prevent boredom or stress.
Step 5: Regularly check for signs of illness or discomfort in your fox. Be prepared to provide veterinary care as needed, especially for common issues such as parasites, dental health problems, or infections.
Step 6: Educate yourself about the needs of your pet fox and be aware of any potential risks or concerns that could affect their well-being. Regularly consult with a veterinarian to ensure you are providing the best care.
...
لقد نجحت الآن في طرح سؤال على نموذج Yi وحصلت على إجابة! ؟
لتهيئة برنامج chatbot خفيف الوزن وسريع، قم بتشغيل الأمر التالي.
cd llama.cpp
./server --ctx-size 2048 --host 0.0.0.0 --n-gpu-layers 64 --model /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufثم يمكنك الحصول على إخراج مثل هذا:
...
llama_new_context_with_model: n_ctx = 2048
llama_new_context_with_model: freq_base = 5000000.0
llama_new_context_with_model: freq_scale = 1
ggml_metal_init: allocating
ggml_metal_init: found device: Apple M2 Pro
ggml_metal_init: picking default device: Apple M2 Pro
ggml_metal_init: ggml.metallib not found, loading from source
ggml_metal_init: GGML_METAL_PATH_RESOURCES = nil
ggml_metal_init: loading ' /Users/yu/llama.cpp/ggml-metal.metal '
ggml_metal_init: GPU name: Apple M2 Pro
ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008)
ggml_metal_init: hasUnifiedMemory = true
ggml_metal_init: recommendedMaxWorkingSetSize = 11453.25 MB
ggml_metal_init: maxTransferRate = built-in GPU
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 128.00 MiB, ( 2629.44 / 10922.67)
llama_new_context_with_model: KV self size = 128.00 MiB, K (f16): 64.00 MiB, V (f16): 64.00 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 0.02 MiB, ( 2629.45 / 10922.67)
llama_build_graph: non-view tensors processed: 676/676
llama_new_context_with_model: compute buffer total size = 159.19 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 156.02 MiB, ( 2785.45 / 10922.67)
Available slots:
- > Slot 0 - max context: 2048
llama server listening at http://0.0.0.0:8080 للوصول إلى واجهة chatbot، افتح متصفح الويب الخاص بك وأدخل http://0.0.0.0:8080 في شريط العناوين.
أدخل سؤالاً، مثل "كيف تطعم ثعلبك الأليف؟ يرجى الإجابة على هذا السؤال في 6 خطوات بسيطة" في نافذة المطالبة، وستتلقى إجابة مقابلة.
[ العودة إلى الأعلى ⬆️ ]
يمكنك إنشاء عرض توضيحي لواجهة مستخدم الويب لنماذج دردشة Yi (لاحظ أن نماذج Yi الأساسية غير مدعومة في هذا السيناريو).
الخطوة 1: إعداد البيئة الخاصة بك
الخطوة 2: قم بتنزيل نموذج Yi.
الخطوة 3. لبدء خدمة ويب محليًا، قم بتشغيل الأمر التالي.
python demo/web_demo.py -c < your-model-path >يمكنك الوصول إلى واجهة مستخدم الويب عن طريق إدخال العنوان الموجود في وحدة التحكم في متصفحك.
[ العودة إلى الأعلى ⬆️ ]
bash finetune/scripts/run_sft_Yi_6b.shبمجرد الانتهاء، يمكنك مقارنة النموذج المضبوط والنموذج الأساسي باستخدام الأمر التالي:
bash finetune/scripts/run_eval.sh افتراضيًا، نستخدم مجموعة بيانات صغيرة من BAAI/COIG لضبط النموذج الأساسي. يمكنك أيضًا إعداد مجموعة البيانات المخصصة الخاصة بك بتنسيق jsonl التالي:
{ "prompt" : " Human: Who are you? Assistant: " , "chosen" : " I'm Yi. " }ثم قم بتركيبها في الحاوية لتحل محل تلك الافتراضية:
docker run -it
-v /path/to/save/finetuned/model/:/finetuned-model
-v /path/to/train.jsonl:/yi/finetune/data/train.json
-v /path/to/eval.jsonl:/yi/finetune/data/eval.json
ghcr.io/01-ai/yi:latest
bash finetune/scripts/run_sft_Yi_6b.shتأكد من أن لديك كوندا. إذا لم يكن الأمر كذلك، استخدم
mkdir -p ~ /miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~ /miniconda3/miniconda.sh
bash ~ /miniconda3/miniconda.sh -b -u -p ~ /miniconda3
rm -rf ~ /miniconda3/miniconda.sh
~ /miniconda3/bin/conda init bash
source ~ /.bashrcثم قم بإنشاء conda env:
conda create -n dev_env python=3.10 -y
conda activate dev_env
pip install torch==2.0.1 deepspeed==0.10 tensorboard transformers datasets sentencepiece accelerate ray==2.7بالنسبة لطراز Yi-6B، يوصى باستخدام عقدة تحتوي على 4 وحدات معالجة رسوميات، كل منها بذاكرة GPU أكبر من 60 جيجابايت.
بالنسبة لطراز Yi-34B، نظرًا لأن استخدام تقنية عدم التحميل الصفري يستهلك الكثير من ذاكرة وحدة المعالجة المركزية، يرجى توخي الحذر للحد من عدد وحدات معالجة الرسومات في التدريب الدقيق 34B. الرجاء استخدام CUDA_VISIBLE_DEVICES للحد من عدد وحدات معالجة الرسومات (كما هو موضح في scripts/run_sft_Yi_34b.sh).
إعداد الأجهزة النموذجي لضبط الطراز 34B عبارة عن عقدة تحتوي على 8 وحدات معالجة رسوميات (تقتصر على 4 في التشغيل بواسطة CUDA_VISIBLE_DEVICES=0,1,2,3)، ولكل منها ذاكرة GPU أكبر من 80 جيجابايت، وإجمالي ذاكرة وحدة المعالجة المركزية أكبر من 900 جيجابايت.
قم بتنزيل نموذج LLM-base إلى MODEL_PATH (6B و34B). المجلد النموذجي للنماذج يشبه:
| -- $MODEL_PATH
| | -- config.json
| | -- pytorch_model-00001-of-00002.bin
| | -- pytorch_model-00002-of-00002.bin
| | -- pytorch_model.bin.index.json
| | -- tokenizer_config.json
| | -- tokenizer.model
| | -- ...قم بتنزيل مجموعة بيانات من Huggingface إلى وحدة التخزين المحلية DATA_PATH، على سبيل المثال Dahoas/rm-static.
| -- $DATA_PATH
| | -- data
| | | -- train-00000-of-00001-2a1df75c6bce91ab.parquet
| | | -- test-00000-of-00001-8c7c51afc6d45980.parquet
| | -- dataset_infos.json
| | -- README.md يحتوي finetune/yi_example_dataset على مجموعات بيانات نموذجية، والتي تم تعديلها من BAAI/COIG
| -- $DATA_PATH
| --data
| -- train.jsonl
| -- eval.jsonl cd في مجلد البرامج النصية، انسخ البرنامج النصي والصقه، ثم قم بتشغيله. على سبيل المثال:
cd finetune/scripts
bash run_sft_Yi_6b.shبالنسبة للنموذج الأساسي Yi-6B، يمكن أن يؤدي إعداد Training_debug_steps=20 وnum_train_epochs=4 إلى إخراج نموذج دردشة، والذي يستغرق حوالي 20 دقيقة.
بالنسبة للنموذج الأساسي Yi-34B، يستغرق التهيئة وقتًا طويلاً نسبيًا. يرجى التحلي بالصبر.
cd finetune/scripts
bash run_eval.shثم سترى الإجابة من كل من النموذج الأساسي والنموذج المضبوط.
[ العودة إلى الأعلى ⬆️ ]
python quantization/gptq/quant_autogptq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeبمجرد الانتهاء، يمكنك بعد ذلك تقييم النموذج الناتج على النحو التالي:
python quantization/gptq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeGPT-Q هي طريقة PTQ (تكميم ما بعد التدريب). فهو يحفظ الذاكرة ويوفر عمليات تسريع محتملة مع الحفاظ على دقة النموذج.
يمكن تكميم نماذج Yi لـ GPT-Q دون بذل الكثير من الجهود. نحن نقدم البرنامج التعليمي خطوة بخطوة أدناه.
لتشغيل GPT-Q، سنستخدم AutoGPTQ وexllama. وقد قامت المحولات المعانقة بدمج الأمثل وgptq التلقائي لإجراء تكميم GPTQ على نماذج اللغة.
يتم توفير البرنامج النصي quant_autogptq.py لك لإجراء تكميم GPT-Q:
python quant_autogptq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code يمكنك تشغيل نموذج كمي باستخدام eval_quantized_model.py :
python eval_quantized_model.py --model /quantized_model --trust_remote_codepython quantization/awq/quant_autoawq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeبمجرد الانتهاء، يمكنك بعد ذلك تقييم النموذج الناتج على النحو التالي:
python quantization/awq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeAWQ هي طريقة PTQ (تكميم ما بعد التدريب). إنها عملية تكميم فعالة ودقيقة للوزن منخفض البت (INT3/4) لطلبة LLM.
يمكن تكميم نماذج Yi بدون بذل الكثير من الجهود. نحن نقدم البرنامج التعليمي خطوة بخطوة أدناه.
لتشغيل AWQ، سوف نستخدم AutoAWQ.
يتم توفير البرنامج النصي quant_autoawq.py لك لإجراء تكميم AWQ:
python quant_autoawq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code يمكنك تشغيل نموذج كمي باستخدام eval_quantized_model.py :
python eval_quantized_model.py --model /quantized_model --trust_remote_code[ العودة إلى الأعلى ⬆️ ]
إذا كنت تريد نشر نماذج Yi، فتأكد من استيفاء متطلبات البرامج والأجهزة.
قبل استخدام نماذج Yi الكمية، تأكد من تثبيت البرنامج الصحيح المدرج أدناه.
| نموذج | برمجة |
|---|---|
| نماذج يي 4 بت الكمية | AWQ و CUDA |
| نماذج يي 8 بت الكمية | جي بي تي كيو وكودا |
قبل نشر Yi في بيئتك، تأكد من أن أجهزتك تلبي المتطلبات التالية.
| نموذج | الحد الأدنى من VRAM | مثال GPU الموصى به |
|---|---|---|
| يي-6B-دردشة | 15 جيجابايت | 1 × آر تي إكس 3090 (24 جيجابايت) 1 × آر تي إكس 4090 (24 جيجابايت) 1 × A10 (24 جيجابايت) 1 × A30 (24 جيجابايت) |
| يي-6B-دردشة-4 بت | 4 غيغابايت | 1 × آر تي إكس 3060 (12 جيجابايت) 1 × آر تي إكس 4060 (8 جيجابايت) |
| يي-6B-دردشة-8 بت | 8 جيجا | 1 × آر تي إكس 3070 (8 جيجابايت) 1 × آر تي إكس 4060 (8 جيجابايت) |
| يي-34B-الدردشة | 72 جيجابايت | 4 × آر تي إكس 4090 (24 جيجابايت) 1 × A800 (80 جيجابايت) |
| يي-34B-دردشة-4 بت | 20 جيجابايت | 1 × آر تي إكس 3090 (24 جيجابايت) 1 × آر تي إكس 4090 (24 جيجابايت) 1 × A10 (24 جيجابايت) 1 × A30 (24 جيجابايت) 1 × A100 (40 جيجابايت) |
| يي-34B-الدردشة-8 بت | 38 جيجابايت | 2 × آر تي إكس 3090 (24 جيجابايت) 2 × آر تي إكس 4090 (24 جيجابايت) 1 × A800 (40 جيجابايت) |
فيما يلي الحد الأدنى التفصيلي لمتطلبات VRAM في حالات استخدام الدُفعات المختلفة.
| نموذج | الدفعة=1 | الدفعة=4 | الدفعة=16 | الدفعة=32 |
|---|---|---|---|---|
| يي-6B-دردشة | 12 جيجابايت | 13 جيجابايت | 15 جيجابايت | 18 جيجابايت |
| يي-6B-دردشة-4 بت | 4 غيغابايت | 5 جيجابايت | 7 جيجابايت | 10 جيجابايت |
| يي-6B-دردشة-8 بت | 7 جيجابايت | 8 جيجا | 10 جيجابايت | 14 جيجابايت |
| يي-34B-الدردشة | 65 جيجابايت | 68 جيجابايت | 76 جيجابايت | > 80 جيجابايت |
| يي-34B-دردشة-4 بت | 19 جيجابايت | 20 جيجابايت | 30 جيجابايت | 40 جيجابايت |
| يي-34B-الدردشة-8 بت | 35 جيجابايت | 37 جيجابايت | 46 جيجابايت | 58 جيجابايت |
| نموذج | الحد الأدنى من VRAM | مثال GPU الموصى به |
|---|---|---|
| يي-6ب | 15 جيجابايت | 1 × آر تي إكس 3090 (24 جيجابايت) 1 × آر تي إكس 4090 (24 جيجابايت) 1 × A10 (24 جيجابايت) 1 × A30 (24 جيجابايت) |
| يي-6B-200K | 50 جيجابايت | 1 × A800 (80 جيجابايت) |
| يي-9ب | 20 جيجابايت | 1 × آر تي إكس 4090 (24 جيجابايت) |
| يي-34ب | 72 جيجابايت | 4 × آر تي إكس 4090 (24 جيجابايت) 1 × A800 (80 جيجابايت) |
| يي-34ب-200ك | 200 جيجابايت | 4 × A800 (80 جيجابايت) |
[ العودة إلى الأعلى ⬆️ ]
Yi-34B و Yi-34B-Chat إلى أسلوب الضبط الدقيق والنتائج.Yi-34B هو الحل الأمثل لك.Yi-34B-Chat هو أفضل رهان لك. أين يمكنني الحصول على مجموعات البيانات الدقيقة للإجابة على الأسئلة؟
ما هي متطلبات ذاكرة وحدة معالجة الرسومات لضبط Yi-34B FP16؟
تتوقف ذاكرة وحدة معالجة الرسومات (GPU) اللازمة للضبط الدقيق لـ 34B FP16 على طريقة الضبط الدقيق المستخدمة. للضبط الكامل للمعلمات، ستحتاج إلى 8 وحدات معالجة رسوميات لكل منها 80 جيجابايت؛ ومع ذلك، فإن الحلول الأكثر اقتصادا مثل لورا تتطلب أقل. لمزيد من التفاصيل، قم بزيارة hiyouga/LLaMA-Factory. ضع في اعتبارك أيضًا استخدام BF16 بدلاً من FP16 للضبط الدقيق لتحسين الأداء.
هل هناك أي منصات تابعة لجهات خارجية تدعم وظيفة الدردشة لطراز Yi-34b-200k؟
إذا كنت تبحث عن محادثات طرف ثالث، فإن الخيارات تشمل fireworks.ai.
مرحبًا بكم في مركز التعلم Yi!
سواء كنت مطورًا متمرسًا أو وافدًا جديدًا، يمكنك العثور على مجموعة كبيرة من الموارد التعليمية المفيدة لتعزيز فهمك ومهاراتك باستخدام نماذج Yi، بما في ذلك منشورات المدونات الثاقبة ودروس الفيديو الشاملة والأدلة العملية والمزيد.
لقد تم المساهمة بالمحتوى الذي تجده هنا بسخاء من قبل خبراء يي ذوي المعرفة والمتحمسين المتحمسين. نعرب عن امتناننا العميق لمساهماتك التي لا تقدر بثمن!
وفي الوقت نفسه، ندعوك أيضًا بحرارة للانضمام إلى جهودنا التعاونية من خلال المساهمة في Yi. إذا كنت قد قدمت بالفعل مساهمات إلى Yi، فلا تتردد في عرض عملك الرائع في الجدول أدناه.
مع وجود كل هذه الموارد في متناول يدك، أنت جاهز لبدء رحلتك المثيرة مع Yi. تعلم سعيد! ؟
| قابل للتسليم | تاريخ | مؤلف |
|---|---|---|
| البحث عن Dify، Meilisearch، البحث عن المعلومات، RAG 应用 (三): AI AI | 2024-05-20 | 苏洋 |
| يمكنك استخدام autodl تلقائيًا، أو A40، أو Yi-34B-Chat-int4، أو vllm 优化加速، أو 42G، أو 18 كلمة. | 2024-05-20 | fly-iot |
| يي-VL 最佳实践 | 2024-05-20 | ModelScope |
| 一键运行零一万物新鲜出炉Yi-1.5-9B-Chat大模型 | 2024-05-13 | الدولة الثانية |
| 零一万物开源Yi-1.5系列大模型 | 2024-05-13 | شكرا |
| تم إطلاق النار على Yi-1.5系列模型发布并开源! 34B-9B-6B في حالة تأهب! | 2024-05-13 | ModelScope |
| Yi-34B 本地部署简单测试 | 2024-05-13 | 漆妮妮 |
| 驾辰龙跨Llama持Wasm،玩转Yi模型迎新春过大年(上) | 2024-05-13 | كلمات تستحق |
| 驾辰龙跨Llama持Wasm،玩转Yi模型迎新春过大年(下篇) | 2024-05-13 | كلمات تستحق |
| Ollama 增两个命令،开始支持零一万物Yi-1.5系列模型 | 2024-05-13 | الذكاء الاصطناعي |
| 使用零一万物 200K 模型 وDify 快速搭建模型应用 | 2024-05-13 | 苏洋 |
| (المصدر) | 2024-05-13 | 苏洋 |
| Python+ERNIE-4.0-8K-Yi-34B-Chat 大模型初探 | 2024-05-11 | 江湖评谈 |
| تم تصميم Vue وPython للبرمجة في الوقت المناسب وPrompt (البحث السريع) | 2024-05-11 | مومولاب |
| 多模态大模型Yi-VL-plus体验 效果很棒 | 2024-04-27 | شكرا لك |
| يمكن استخدام autodl تلقائيًا في 3090 يومًا، وYi-34B-Chat-int4، وvllm 优化加速، و42G، و23 كلمة | 2024-04-27 | fly-iot |
| الشروع في العمل مع Yi-1.5-9B-Chat | 2024-04-27 | الدولة الثانية |
| 基于零一万物yi-vl-plus大模型简单几步就能批量生成Anki图片笔记 | 2024-04-24 | 正经人王同学 |
| 【AI开发:语言】一、Yi-34B تم تصميمه بواسطة وحدة المعالجة المركزية ووحدة معالجة الرسومات | 2024-04-21 | بلدي المفضل |
| [Yi-34B-Chat-Int4] تم إطلاق 4个2080Ti على 11G، قم باستبدال Yi-34B، 5年前老显卡是支持的، في 21 الكلمات-s،vllm要求算力在7以上的شكرا جزيلا | 2024-03-22 | fly-iot |
| سلاسل المفاتيح الكهربائية | 2024-03-22 | v_wus |
| 零一万物Yi大模型vllm推理时Yi-34B或Yi-6bchat重复输出的解决方案 | 2024-03-02 | 郝铠锋 |
| يي-34B 微调训练 | 2024-03-02 | lsjlnd |
| 实测零一万物Yi-VL多模态语言模型:能准确“识图吃瓜” | 2024-02-02 | 苏洋 |
| لقد تم إطلاق سراح Yi-VL من قبل شركة Yi-VL، وهي شركة رائدة في مجال تصنيع المعدات الأصلية! | 2024-01-26 | ModelScope |
| 单卡 3 小时训练 Yi-6B 大模型 الوكيل: 基于 Llama Factory 实战 | 2024-01-22 | 郑耀威 |
| 零一科技Yi-34B Chat大模型环境搭建&推理 | 2024-01-15 | لا يوجد أي مشكلة |
| مصنع LLaMA، وكيل 3小时训练专属大模型 | 2024-01-15 | أفضل ما في الأمر |
| 双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录 | 2024-01-02 | 漆妮妮 |
| 【الإصدارات الأحدث من 3090 上跑起来 4 بتات من Chat模型(baichuan2-13b、InternLM-20b、Yi-34b) | 2024-01-02 | aq_Seabiscuit |
| جهاز 24G مزود بتقنية vllm وYi-34B وجهاز كمبيوتر شخصي | 2023-12-28 | 漆妮妮 |
| تم تجهيز جميع طائرات Yi-34B بمعدات إضافية، و200 ألف دولار أمريكي本内容،34B 干翻一众 70B 模型،打榜分数那么高،这模型到底هل تريد؟ | 2023-12-28 | هذا هو السبب |
| LLM - 大模型速递之 Yi-34B 入门与 LoRA 微调 | 2023-12-18 | بت_666 |
| أفضل نوعية vllm هو الحصول على أفضل النتائج | 2023-12-18 | 土山炮 |
| عنوان وحدة المعالجة المركزية: """""""""""""""""" | 2023-12-12 | 苏洋 |
| تم تصميم هذا المنتج من قبل شركة Yi-34B. | 2023-12-10 | 苏洋 |
| تشغيل Yi-34B-Chat محليًا باستخدام LlamaEdge | 2023-11-30 | الدولة الثانية |
| قم بتنزيل 34B 大模型، 使用 Llama.cpp & 21G 本地运行零一万物 | 2023-11-26 | 苏洋 |
| قابل للتسليم | تاريخ | مؤلف |
|---|---|---|
| yi-openai-proxy | 2024-05-11 | 苏洋 |
| 基于零一万物 Yi 模型和 B 站构建大语言模型高质量训练数据集 | 2024-04-29 | 正经人王同学 |
| قد يكون من الصعب على أي شخص القيام بذلك | 2024-04-25 | 正经人王同学 |
| يمكن أن يكون لديك yi-34b-chat-200k من أجل الحصول على أفضل النتائج الممكنة،并生成分享图给好友 | 2024-04-24 | 正经人王同学 |
| الغذاء-GPT-يي-نموذج | 2024-04-21 | هيوبرت س |
| قابل للتسليم | تاريخ | مؤلف |
|---|---|---|
| قم بتشغيل dolphin-2.2-yi-34b على أجهزة إنترنت الأشياء | 2023-11-30 | الدولة الثانية |
| جهاز 24G مزود بتقنية vllm وYi-34B وجهاز كمبيوتر شخصي | 2023-12-28 | 漆妮妮 |
| تثبيت Yi 34B محليًا - LLM ثنائي اللغة الإنجليزية الصينية | 2023-11-05 | فهد ميرزا |
| Dolphin Yi 34b - تم اختبار النموذج التأسيسي الجديد تمامًا | 2023-11-27 | ماثيو بيرمان |
| Yi-VL-34B 多模态大模型 - 用两张 A40 显卡跑起来 | 2024-01-28 | 漆妮妮 |
| 4060Ti 16G تم تصنيعه بواسطة شركة YI-1.5版大语言模型 | 14-05-2024 | تيتان909 |
| Yi-1.5: منافس حقيقي لـ Apache 2.0 لـ LLAMA-3 | 2024-05-13 | الهندسة السريعة |
| تثبيت طراز Yi-1.5 محليًا - يتفوق على Llama 3 في معايير مختلفة | 2024-05-13 | فهد ميرزا |
| كيفية تثبيت Ollama وتشغيل Yi 6B | 2024-05-13 | رضا ديفيدز |
| اسم المنتج: llama3_70B+Yi_34B+Qwen1.5_110B | 2024-05-04 | 朱扎特 |
| ChatDoc学术论文辅助--基于Yi-34B وlangchain进行PDF知识库问答 | 2024-05-03 | 朱扎特 |
| 基于Yi-34B 的领域知识问答项目演示 | 2024-05-02 | 朱扎特 |
| جهاز RTX4090+GaLore مزود بمعالج Yi-6B | 2024-03-24 | شكرا جزيلا |
| 无内容审查NSFW大语言模型Yi-34B-Chat蒸馏版测试،لعب الأدوار،《天龙八部》马夫人康敏،GPU،CPU行 | 2024-03-20 | شكرا لك |
| 无内容审查NSFW大语言模型整合包،Yi-34B-Chat،本地CPU运行،角色扮演潘金莲 | 2024-03-16 | شكرا لك |
| تم تصميم Yi-34B-Chat لبطاقة RTX 4090 من خلال vLLM | 2024-03-05 | 白鸽巢 |
| Yi-VL-34B (5): الصين 3个3090显卡24G版本، 运行Yi-VL-34B، 支命令行، web界面方式،理解图片的内容转换شكرا جزيلا | 2024-02-27 | fly-iot |
| WinKoboldCpp هو الحل الأمثل لمشكلة الإدمان على المخدرات. | 2024-02-25 | 魚蟲蟲 |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P2 | 2024-02-23 | 魚蟲蟲 |
| 【wails】(2): 使用go-llama.cpp 运行 yi-01-6b 大模型، 使用本地CPU运行،速度还可以،等待下一版本更新 | 2024-02-20 | fly-iot |
| 【xinference】(6): autodl上، وxinference هو yi-vl-chat، وqwen-vl-chat، وopenai调用成功 | 2024-02-06 | fly-iot |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P1 | 2024-02-05 | 魚蟲蟲 |
| 2080Ti 部署YI-34B大模型 xinference-oneapi-fastGPT 本地知识库使用指南 | 2024-01-30 | شكرا جزيلا |
| أفضل نموذج للذكاء الاصطناعي لكتابة القصة - تثبيت Yi 6B 200K محليًا على نظام التشغيل Windows | 2024-01-22 | فهد ميرزا |
| Mac 本地运行大语言模型方法与常见问题指南(Yi 34B 模型+32 GB 内存测试) | 2024-01-21 | كل ما عليك فعله هو القيام بذلك |
| 【اختلاف 知识库】 11） ： dify0.4.9 改造支持 mysql ， 成功接入 yi-6b 做对话 ， fastchat 启动 ， 占 8g 显存 ， 完成知识库配置 | 2024-01-21 | fly-iot |
| 这位 llm 先生有点暴躁 ، 用的是 yi-6b 的某个量化版 ، #llm #大语言模型 #暴躁老哥 | 2024-01-20 | 晓漫吧 |
| 大模型推理 nvlink 桥接器有用吗｜双卡 A6000 测试一下 | 2024-01-17 | 漆妮妮 |
| 大模型推理 A40 مقابل A6000 谁更强 - 对比 YI -34B 的单、双卡推理性能 | 2024-01-15 | 漆妮妮 |
| C-Eval 大语言模型评测基准- 用 LM Harness + Vllm 跑起来 | 2024-01-11 | 漆妮妮 |
| 双显卡部署 yi -34b 大模型 - vllm + gradio 踩坑记录 | 2024-01-01 | 漆妮妮 |
| 手把手教学！使用 vllm 快速部署 yi-34b-chat | 2023-12-26 | 白鸽巢 |
| 如何训练企业自己的大语言模型？ yi-6b lora 微调演示 #小工蚁 | 2023-12-21 | 小工蚂创始人 |
| yi-34b （4 ： ： ： 4 个 2080ti 显卡 11g 版本 ， 运行 yi-34b 模型 ， 5 年前老显卡是支持的 ， 可以正常运行 ， 速度 速度 21 Words/s | 2023-12-02 | يطير |
| 使用 autodl 服务器 ， rtx 3090 * 3 显卡上运行 ， yi-34b-chat 模型 显存占用 显存占用 60g | 2023-12-01 | يطير |
| 使用 autodl 服务器 ， 两个 3090 显卡上运行 ， yi-34b-chat-int4 模型 用 用 vllm 优化 增加 增加-num-gpu 2 ， 速度 23 Words/s | 2023-12-01 | يطير |
| yi 大模型一键本地部署 技术小白玩转 ai | 2023-12-01 | 技术小白玩转 منظمة العفو الدولية |
| 01.AI'S YI-6B: نظرة عامة وضوء | 2023-11-28 | مساحة صانعي الذكاء الاصطناعى |
| yi 34b chat llm يتفوق على llama 70b | 2023-11-27 | Dlexplorer |
| كيفية تشغيل نماذج مفتوحة المصدر على Mac Yi 34b على M3 كحد أقصى | 2023-11-26 | تقنية قسط |
| Yi -34b - 200k - أفضل وجديد نافذة السياق | 2023-11-24 | الهندسة الفورية |
| يي 34 ب: صعود النماذج المتوسطة الحجم القوية - قاعدة ، 200 كيلو ودردشة | 2023-11-24 | سام ويتفين |
| 在 IOT 设备运行破解版李开复大模型 Dolphin-2.2-yi-34b （还可作为私有 Openai API 服务器） | 2023-11-15 | الدولة الثانية |
| قم بتشغيل Dolphin-2.2-yi-34b على أجهزة إنترنت الأشياء (يعمل أيضًا كخادم Openai API خاص) | 2023-11-14 | الدولة الثانية |
| كيفية تثبيت yi 34b 200k llamafied على جهاز الكمبيوتر المحمول Windows | 2023-11-11 | فهد ميرزا |
لدى YI نظام بيئي شامل ، يقدم مجموعة من الأدوات والخدمات والنماذج لإثراء تجاربك وزيادة الإنتاجية.
تتبع نماذج سلسلة YI نفس بنية النموذج مثل Llama. من خلال اختيار YI ، يمكنك الاستفادة من الأدوات والمكتبات والموارد الحالية داخل النظام الإيكولوجي Llama ، مما يلغي الحاجة إلى إنشاء أدوات جديدة وتعزيز كفاءة التطوير.
على سبيل المثال ، يتم حفظ نماذج سلسلة YI في شكل نموذج LLAMA. يمكنك استخدام LlamaForCausalLM و LlamaTokenizer مباشرة لتحميل النموذج. لمزيد من المعلومات ، انظر استخدم نموذج الدردشة.
from transformers import AutoModelForCausalLM , AutoTokenizer
tokenizer = AutoTokenizer . from_pretrained ( "01-ai/Yi-34b" , use_fast = False )
model = AutoModelForCausalLM . from_pretrained ( "01-ai/Yi-34b" , device_map = "auto" )[العودة إلى الأعلى ⬆]
نصيحة
لا تتردد في إنشاء العلاقات العامة ومشاركة العمل الرائع الذي قمت ببنائه باستخدام نماذج سلسلة YI.
لمساعدة الآخرين على فهم عملك بسرعة ، يوصى باستخدام تنسيق
.: +
إذا كنت ترغب في الاستيقاظ مع YI في بضع دقائق ، فيمكنك استخدام الخدمات التالية المبنية على YI.
yi-34b-chat: يمكنك الدردشة مع Yi باستخدام أحد المنصات التالية:
yi-6b-chat (النسخ المتماثل): يمكنك استخدام هذا النموذج بمزيد من الخيارات عن طريق تعيين معلمات إضافية واتصال واجهات برمجة التطبيقات.
Scalellm: يمكنك استخدام هذه الخدمة لتشغيل نماذج YI محليًا مع مرونة وتخصيص إضافي.
إذا كان لديك إمكانات حسابية محدودة ، فيمكنك استخدام النماذج الكمية لـ YI على النحو التالي.
لقد قللت هذه النماذج الكمية من الدقة ولكنها توفر كفاءة متزايدة ، مثل سرعة الاستدلال بشكل أسرع واستخدام ذاكرة الوصول العشوائي الأصغر.
إذا كنت تسعى إلى استكشاف القدرات المتنوعة داخل عائلة Yi المزدهرة ، فيمكنك الخوض في نماذج Yi التي تم ضبطها على النحو التالي.
نماذج TheBloke: يستضيف هذا الموقع العديد من النماذج التي يتم ضبطها المستمدة من LLMs المختلفة بما في ذلك YI.
هذه ليست قائمة شاملة لـ YI ، ولكن على سبيل المثال لا الحصر ، تم فرزها على التنزيلات:
Sustech/Sus-Chat-34b: احتل هذا النموذج المرتبة الأولى بين جميع النماذج التي تقل عن 70 ب وتفوقت على Deepseek-LLM-67-C-Chat. يمكنك التحقق من النتيجة على لوحة LLM Open LLM.
Orionstarai/Orionstar-YI-34B-Chat-Llama: تفوق هذا النموذج وراء النماذج الأخرى (مثل GPT-4 و QWEN-14B-Chat و Baichuan2-13B-Chat) في التقييمات C-Eval و CMMLU على لوحة OpenCompass LLM.
NousResearch/Nous-Capybara-34b: تم تدريب هذا النموذج بطول سياق 200k و 3 عصر على مجموعة بيانات Capybara.
[العودة إلى الأعلى ⬆]
للحصول على قدرات مفصلة لنموذج سلسلة YI ، انظر YI: Open Foundation Models by 01.ai.
@misc{ai2024yi,
title={Yi: Open Foundation Models by 01.AI},
author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
year={2024},
eprint={2403.04652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
يوضح نموذج yi-34b-chat أداءً استثنائياً ، حيث يحتل المرتبة الأولى بين جميع النماذج المفتوحة الموجودة في المعايير بما في ذلك MMLU و CMMLU و BBH و GSM8K والمزيد.
* : يتم تقييم نتائج C-Eval على مجموعات بيانات التحقق من الصحة
تبرز طرازات YI-34B و YI-34B-200K كأفضل فنانيين بين النماذج المفتوحة المصدر ، وخاصة المتفوق في MMLU ، CMMLU ، التفكير المنطقي ، فهم القراءة ، وأكثر من ذلك.
يعد YI-9B الأفضل تقريبًا بين مجموعة من النماذج المفتوحة ذات الحجم المتماثل (بما في ذلك MISTRAL-7B و Solar-10.7B و GEMMA-7B و DEEPSEEK-CODER-7B-BASE-V1.5 وأكثر) ، بشكل خاص متفوق في الكود ، والرياضيات ، والتفكير السليم ، وفهم القراءة.
فيما يتعلق بالقدرة الكلية (المتوسط للجميع) ، يقوم Yi-9b بأفضل ما بين النماذج ذات الحجم المتماثل مفتوح المصدر ، متجاوزًا وردية Deepseek ، Deepseek-Math ، Mistral-7B ، Solar-10.7b ، و Gemma-7B.
من حيث قدرة الترميز (متوسط الكود) ، فإن أداء YI-9B هو في المرتبة الثانية بعد Deepseek-CODER-7B ، متجاوزًا YI-34B ، Solar-10.7B ، MISTRAL-7B ، و GEMMA-7B.
من حيث قدرة الرياضيات (متوسط العقل) ، فإن أداء YI-9B هو الثاني بعد Deepseek-Math-7B ، متجاوزًا شمسي 10.7 ب ، و Mistral-7B ، و Gemma-7B.
من حيث الفطرة السليمة وقدرة التفكير (متوسط النص) ، فإن أداء YI-9B على قدم المساواة مع MISTRAL-7B و Solar-10.7B و GEMMA-7B.
[العودة إلى الأعلى ⬆]
الجميع! ؟ ✅
يتم توزيع رمز وأوزان نماذج سلسلة YI بموجب ترخيص Apache 2.0 ، مما يعني أن نماذج سلسلة YI مجانية للاستخدام الشخصي والأغراض الأكاديمية والاستخدام التجاري.
[العودة إلى الأعلى ⬆]
شكراً جزيلاً لكل واحد منكم الذين قدموا مساهمات في مجتمع YI! لقد ساعدت يي ليس مجرد مشروع ، ولكنه لم يكن منزلًا نابضًا بالحياة للابتكار.
[العودة إلى الأعلى ⬆]
نحن نستخدم خوارزميات فحص الامتثال للبيانات أثناء عملية التدريب ، لضمان امتثال النموذج المدربين لأفضل قدرتنا. نظرًا للبيانات المعقدة وتنوع سيناريوهات استخدام نموذج اللغة ، لا يمكننا أن نضمن أن النموذج سيولد ناتجًا صحيحًا ومعقولًا في جميع السيناريوهات. يرجى العلم أنه لا يزال هناك خطر من النموذج الذي ينتج عنه مخرجات إشكالية. لن نكون مسؤولين عن أي مخاطر وقضايا ناتجة عن سوء الاستخدام ، والتضليل ، والاستخدام غير القانوني ، والمعلومات الخاطئة ذات الصلة ، وكذلك أي مخاوف تتعلق بأمن البيانات المرتبطة بها.
[العودة إلى الأعلى ⬆]
يتم توزيع رمز وأوزان نماذج سلسلة YI-1.5 بموجب ترخيص Apache 2.0.
إذا قمت بإنشاء أعمال مشتقة بناءً على هذا النموذج ، فيرجى تضمين الإسناد التالي في أعمالك المشتقة:
This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.
[العودة إلى الأعلى ⬆]
