Bahasa Inggris | tidak
? Memeluk Wajah • ? Lingkup Model • ? model bijak
? Ajukan pertanyaan atau diskusikan ide di GitHub
Bergabunglah dengan kami di ? Perselisihan atau WeChat
Lihat Laporan Yi Tech
Tumbuh di Yi Learning Hub
? Belajar di Blog Yi Tech
? Model seri Yi adalah generasi berikutnya dari model bahasa besar sumber terbuka yang dilatih dari awal oleh 01.AI.
? Ditargetkan sebagai model bahasa bilingual dan dilatih pada korpus multibahasa 3T, model seri Yi menjadi salah satu LLM terkuat di dunia, menjanjikan dalam pemahaman bahasa, penalaran akal sehat, pemahaman membaca, dan banyak lagi. Misalnya,
Model Yi-34B-Chat menempati posisi kedua (mengikuti GPT-4 Turbo) , mengungguli LLM lainnya (seperti GPT-4, Mixtral, Claude) di Papan Peringkat AlpacaEval (berdasarkan data yang tersedia hingga Januari 2024).
Model Yi-34B menduduki peringkat pertama di antara semua model sumber terbuka yang ada (seperti Falcon-180B, Llama-70B, Claude) dalam bahasa Inggris dan Mandarin pada berbagai tolok ukur, termasuk Hugging Face Open LLM Leaderboard (pra-terlatih) dan C-Eval (berdasarkan data yang tersedia hingga November 2023).
(Kredit untuk Llama) Terima kasih kepada komunitas sumber terbuka Transformer dan Llama, karena mereka mengurangi upaya yang diperlukan untuk membangun dari awal dan memungkinkan pemanfaatan alat yang sama dalam ekosistem AI.
TL;DR
Model seri Yi mengadopsi arsitektur model yang sama dengan Llama tetapi BUKAN turunan dari Llama.
Baik Yi maupun Llama didasarkan pada struktur Transformer, yang telah menjadi arsitektur standar untuk model bahasa besar sejak tahun 2018.
Berlandaskan arsitektur Transformer, Llama telah menjadi landasan baru bagi sebagian besar model sumber terbuka tercanggih karena stabilitasnya yang sangat baik, konvergensi yang andal, dan kompatibilitas yang kuat. Hal ini menempatkan Llama sebagai kerangka dasar yang diakui untuk model-model termasuk Yi.
Berkat arsitektur Transformer dan Llama, model-model lain dapat memanfaatkan kekuatan mereka, mengurangi upaya yang diperlukan untuk membangun dari awal dan memungkinkan pemanfaatan alat yang sama dalam ekosistem mereka.
Namun, model seri Yi BUKAN turunan dari Llama, karena tidak menggunakan beban Llama.
Karena struktur Llama digunakan oleh sebagian besar model sumber terbuka, faktor utama yang menentukan performa model adalah kumpulan data pelatihan, alur pelatihan, dan infrastruktur pelatihan.
Berkembang dengan cara yang unik dan eksklusif, Yi telah secara mandiri menciptakan kumpulan data pelatihan berkualitas tinggi, jalur pelatihan yang efisien, dan infrastruktur pelatihan yang kuat sepenuhnya dari awal. Upaya ini telah menghasilkan kinerja luar biasa dengan peringkat model seri Yi tepat di belakang GPT4 dan melampaui Llama di Papan Peringkat Alpaca pada Desember 2023.
[ Kembali ke atas ⬆️ ]
Yi-9B-200K bersumber terbuka dan tersedia untuk umum.Yi-9B bersumber terbuka dan tersedia untuk umum.Yi-9B menonjol sebagai yang berkinerja terbaik di antara berbagai model sumber terbuka berukuran serupa (termasuk Mistral-7B, SOLAR-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-v1.5 dan banyak lagi), terutama unggul dalam kode, matematika, penalaran akal sehat, dan pemahaman membaca.Yi-VL-34B dan Yi-VL-6B , bersumber terbuka dan tersedia untuk umum.Yi-VL-34B menduduki peringkat pertama di antara semua model sumber terbuka yang ada dalam benchmark terbaru, termasuk MMMU dan CMMMU (berdasarkan data yang tersedia hingga Januari 2024).Yi-34B-ChatYi-34B-Chat-4bitsYi-34B-Chat-8bitsYi-6B-ChatYi-6B-Chat-4bitsYi-6B-Chat-8bitsAnda dapat mencoba beberapa di antaranya secara interaktif di:
Yi-6B-200K dan Yi-34B-200K , bersumber terbuka dan tersedia untuk umum.Yi-6B dan Yi-34B , bersumber terbuka dan tersedia untuk umum.[ Kembali ke atas ⬆️ ]
Model Yi hadir dalam berbagai ukuran dan melayani berbagai kasus penggunaan. Anda juga dapat menyempurnakan model Yi untuk memenuhi kebutuhan spesifik Anda.
Jika Anda ingin menerapkan model Yi, pastikan Anda memenuhi persyaratan perangkat lunak dan perangkat keras.
| Model | Unduh |
|---|---|
| Yi-34B-Obrolan | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-34B-Obrolan-4bit | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-34B-Obrolan-8bit | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-6B-Obrolan | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-6B-Obrolan-4bit | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-6B-Obrolan-8bit | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
- Model seri 4-bit dikuantisasi oleh AWQ.
- Model seri 8-bit dikuantisasi oleh GPTQ
- Semua model terkuantisasi memiliki hambatan penggunaan yang rendah karena dapat diterapkan pada GPU tingkat konsumen (misalnya, 3090, 4090).
| Model | Unduh |
|---|---|
| Yi-34B | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-34B-200K | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-9B | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-9B-200K | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-6B | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
| Yi-6B-200K | • ? Memeluk Wajah • ? Lingkup Model • ? model bijak |
- 200k kira-kira setara dengan 400.000 karakter Cina.
- Jika Anda ingin menggunakan Yi-34B-200K versi sebelumnya (dirilis pada 5 November 2023), jalankan git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf untuk mengunduh bobotnya.
| Model | Pendahuluan | Jendela konteks default | Token yang telah dilatih sebelumnya | Tanggal Data Pelatihan |
|---|---|---|---|---|
| Model seri 6B | Mereka cocok untuk penggunaan pribadi dan akademis. | 4K | 3T | Hingga Juni 2023 |
| Model seri 9B | Ini adalah yang terbaik dalam pengkodean dan matematika dalam model seri Yi. | Yi-9B terus dilatih berdasarkan Yi-6B, menggunakan token 0,8T. | ||
| Model seri 34B | Mereka cocok untuk keperluan pribadi, akademis, dan komersial (khususnya untuk usaha kecil dan menengah). Ini adalah solusi hemat biaya yang terjangkau dan dilengkapi dengan kemampuan darurat. | 3T |
Untuk model obrolan
Namun, keberagaman yang lebih tinggi ini mungkin memperburuk masalah-masalah tertentu yang sudah ada, termasuk:
[ Kembali ke atas ⬆️ ]
Tip : Jika Anda ingin memulai dengan model Yi dan menjelajahi berbagai metode inferensi, lihat Buku Masak Yi.
Pilih salah satu jalur berikut untuk memulai perjalanan Anda bersama Yi!
Jika Anda lebih suka menerapkan model Yi secara lokal,
?♀️ dan Anda memiliki sumber daya yang memadai (misalnya, NVIDIA A800 80GB), Anda dapat memilih salah satu metode berikut:
?♀️ dan Anda memiliki sumber daya terbatas (misalnya, MacBook Pro), Anda dapat menggunakan llama.cpp.
Jika Anda memilih untuk tidak menerapkan model Yi secara lokal, Anda dapat menjelajahi kemampuan Yi menggunakan salah satu opsi berikut.
Jika Anda ingin menjelajahi lebih banyak fitur Yi, Anda dapat menggunakan salah satu metode berikut:
Yi API (resmi Yi)
Yi API (Replikasi)
Jika Anda ingin mengobrol dengan Yi dengan opsi yang lebih dapat disesuaikan (misalnya, perintah sistem, suhu, penalti pengulangan, dll.), Anda dapat mencoba salah satu opsi berikut:
Yi-34B-Chat-Playground (resmi Yi)
Yi-34B-Chat-Playground (Replika)
Jika Anda ingin mengobrol dengan Yi, Anda dapat menggunakan salah satu layanan online berikut, yang menawarkan pengalaman pengguna serupa:
Yi-34B-Chat (Pejabat Yi di Wajah Memeluk)
Yi-34B-Obrolan (Yi resmi beta)
[ Kembali ke atas ⬆️ ]
Tutorial ini memandu Anda melalui setiap langkah menjalankan Yi-34B-Chat secara lokal pada A800 (80G) dan kemudian melakukan inferensi.
Pastikan Python 3.10 atau versi yang lebih baru telah diinstal.
Jika Anda ingin menjalankan model Yi lainnya, lihat persyaratan perangkat lunak dan perangkat keras.
Untuk mengatur lingkungan dan menginstal paket yang diperlukan, jalankan perintah berikut.
git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txtAnda dapat mengunduh bobot dan tokenizer model Yi dari sumber berikut:
Anda dapat melakukan inferensi dengan Yi chat atau model dasar seperti di bawah ini.
Buat file bernama quick_start.py dan salin konten berikut ke dalamnya.
from transformers import AutoModelForCausalLM , AutoTokenizer
model_path = ''
tokenizer = AutoTokenizer . from_pretrained ( model_path , use_fast = False )
# Since transformers 4.35.0, the GPT-Q/AWQ model can be loaded using AutoModelForCausalLM.
model = AutoModelForCausalLM . from_pretrained (
model_path ,
device_map = "auto" ,
torch_dtype = 'auto'
). eval ()
# Prompt content: "hi"
messages = [
{ "role" : "user" , "content" : "hi" }
]
input_ids = tokenizer . apply_chat_template ( conversation = messages , tokenize = True , add_generation_prompt = True , return_tensors = 'pt' )
output_ids = model . generate ( input_ids . to ( 'cuda' ))
response = tokenizer . decode ( output_ids [ 0 ][ input_ids . shape [ 1 ]:], skip_special_tokens = True )
# Model response: "Hello! How can I assist you today?"
print ( response ) Jalankan quick_start.py .
python quick_start.pyKemudian Anda dapat melihat output seperti di bawah ini. ?
Hello ! How can I assist you today ? Yi-34B
Langkah-langkahnya mirip dengan pip - Lakukan inferensi dengan model obrolan Yi.
Anda dapat menggunakan file yang ada text_generation.py .
python demo/text_generation.py --model < your-model-path >Kemudian Anda dapat melihat output seperti di bawah ini. ?
Prompt : Izinkan saya menceritakan sebuah kisah menarik tentang kucing Tom dan tikus Jerry,
Generasi : Izinkan saya menceritakan sebuah kisah menarik tentang kucing Tom dan tikus Jerry, yang terjadi di masa kecil saya. Ayah saya memiliki rumah besar dengan dua kucing yang tinggal di dalamnya untuk membunuh tikus. Suatu hari ketika saya sedang bermain di rumah sendirian, saya menemukan salah satu kucing jantan tergeletak telentang di dekat pintu dapur kami, terlihat sangat menginginkan sesuatu dari kami tetapi tidak dapat bangun karena terlalu banyak orang di sekitarnya! Dia terus mencoba selama beberapa menit sebelum akhirnya menyerah...
Yi-9B
Masukan
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_DIR = " 01-ai/Yi-9B "
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype= " auto " )
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, use_fast=False)
input_text = " # write the quick sort algorithm "
inputs = tokenizer(input_text, return_tensors= " pt " ).to(model.device)
outputs = model.generate( ** inputs, max_length=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))Keluaran
# write the quick sort algorithm
def quick_sort(arr):
if len(arr) < = 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
# test the quick sort algorithm
print(quick_sort([3, 6, 8, 10, 1, 2, 1]))[ Kembali ke atas ⬆️ ]
Pastikan Anda telah menginstal Docker dan nvidia-container-toolkit.
docker run -it --gpus all
-v : /models
ghcr.io/01-ai/yi:latest
Alternatifnya, Anda dapat mengambil image Yi Docker dari registry.lingyiwanwu.com/ci/01-ai/yi:latest .
Anda dapat melakukan inferensi dengan Yi chat atau model dasar seperti di bawah ini.
Langkah-langkahnya mirip dengan pip - Lakukan inferensi dengan model obrolan Yi.
Perhatikan bahwa satu-satunya perbedaan adalah menyetel model_path = ' alih-alih model_path = ' .
Langkah-langkahnya mirip dengan pip - Lakukan inferensi dengan model dasar Yi.
Perhatikan bahwa satu-satunya perbedaan adalah menyetel --model alih-alih model .
conda-lock untuk menghasilkan file kunci yang sepenuhnya dapat direproduksi untuk lingkungan conda.micromamba untuk menginstal dependensi ini.Instal micromamba dengan mengikuti instruksi yang tersedia di sini.
Jalankan micromamba install -y -n yi -f conda-lock.yml untuk membuat lingkungan conda bernama yi dan menginstal dependensi yang diperlukan.
Tutorial berikut akan memandu Anda melalui setiap langkah menjalankan model terkuantisasi (Yi-chat-6B-2bits) secara lokal dan kemudian melakukan inferensi.
Tutorial ini mengasumsikan Anda menggunakan MacBook Pro dengan memori 16 GB dan chip Apple M2 Pro.
Pastikan git-lfs diinstal pada mesin Anda.
llama.cpp Untuk mengkloning repositori llama.cpp , jalankan perintah berikut.
git clone [email protected]:ggerganov/llama.cpp.git2.1 Untuk mengkloning XeIaso/yi-chat-6B-GGUF hanya dengan pointer, jalankan perintah berikut.
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF2.2 Untuk mengunduh model Yi terkuantisasi (yi-chat-6b.Q2_K.gguf), jalankan perintah berikut.
git-lfs pull --include yi-chat-6b.Q2_K.ggufUntuk melakukan inferensi dengan model Yi, Anda dapat menggunakan salah satu metode berikut.
Metode 1: Lakukan inferensi di terminal
Metode 2: Lakukan inferensi di web
Untuk mengkompilasi llama.cpp menggunakan 4 thread lalu melakukan inferensi, navigasikan ke direktori llama.cpp , dan jalankan perintah berikut.
Kiat
Ganti
/Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufdengan jalur sebenarnya dari model Anda.Secara default, model beroperasi dalam mode penyelesaian.
Untuk opsi penyesuaian keluaran tambahan (misalnya, perintah sistem, suhu, penalti pengulangan, dll.), jalankan
./main -huntuk memeriksa deskripsi detail dan penggunaan.
make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p " How do you feed your pet fox? Please answer this question in 6 simple steps:nStep 1: " -n 384 -e
...
How do you feed your pet fox ? Please answer this question in 6 simple steps:
Step 1: Select the appropriate food for your pet fox. You should choose high-quality, balanced prey items that are suitable for their unique dietary needs. These could include live or frozen mice, rats, pigeons, or other small mammals, as well as fresh fruits and vegetables.
Step 2: Feed your pet fox once or twice a day, depending on the species and its individual preferences. Always ensure that they have access to fresh water throughout the day.
Step 3: Provide an appropriate environment for your pet fox. Ensure it has a comfortable place to rest, plenty of space to move around, and opportunities to play and exercise.
Step 4: Socialize your pet with other animals if possible. Interactions with other creatures can help them develop social skills and prevent boredom or stress.
Step 5: Regularly check for signs of illness or discomfort in your fox. Be prepared to provide veterinary care as needed, especially for common issues such as parasites, dental health problems, or infections.
Step 6: Educate yourself about the needs of your pet fox and be aware of any potential risks or concerns that could affect their well-being. Regularly consult with a veterinarian to ensure you are providing the best care.
...
Sekarang Anda telah berhasil mengajukan pertanyaan kepada model Yi dan mendapatkan jawabannya! ?
Untuk menginisialisasi chatbot yang ringan dan cepat, jalankan perintah berikut.
cd llama.cpp
./server --ctx-size 2048 --host 0.0.0.0 --n-gpu-layers 64 --model /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufMaka Anda bisa mendapatkan output seperti ini:
...
llama_new_context_with_model: n_ctx = 2048
llama_new_context_with_model: freq_base = 5000000.0
llama_new_context_with_model: freq_scale = 1
ggml_metal_init: allocating
ggml_metal_init: found device: Apple M2 Pro
ggml_metal_init: picking default device: Apple M2 Pro
ggml_metal_init: ggml.metallib not found, loading from source
ggml_metal_init: GGML_METAL_PATH_RESOURCES = nil
ggml_metal_init: loading ' /Users/yu/llama.cpp/ggml-metal.metal '
ggml_metal_init: GPU name: Apple M2 Pro
ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008)
ggml_metal_init: hasUnifiedMemory = true
ggml_metal_init: recommendedMaxWorkingSetSize = 11453.25 MB
ggml_metal_init: maxTransferRate = built-in GPU
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 128.00 MiB, ( 2629.44 / 10922.67)
llama_new_context_with_model: KV self size = 128.00 MiB, K (f16): 64.00 MiB, V (f16): 64.00 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 0.02 MiB, ( 2629.45 / 10922.67)
llama_build_graph: non-view tensors processed: 676/676
llama_new_context_with_model: compute buffer total size = 159.19 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 156.02 MiB, ( 2785.45 / 10922.67)
Available slots:
- > Slot 0 - max context: 2048
llama server listening at http://0.0.0.0:8080 Untuk mengakses antarmuka chatbot, buka browser web Anda dan masukkan http://0.0.0.0:8080 ke bilah alamat.
Masukkan pertanyaan, seperti "Bagaimana Anda memberi makan rubah peliharaan Anda? Harap jawab pertanyaan ini dalam 6 langkah sederhana" ke dalam jendela prompt, dan Anda akan menerima jawaban yang sesuai.
[ Kembali ke atas ⬆️ ]
Anda dapat membuat demo UI web untuk model obrolan Yi (perhatikan bahwa model dasar Yi tidak didukung dalam senario ini).
Langkah 1: Persiapkan lingkungan Anda.
Langkah 2: Unduh model Yi.
Langkah 3. Untuk memulai layanan web secara lokal, jalankan perintah berikut.
python demo/web_demo.py -c < your-model-path >Anda dapat mengakses UI web dengan memasukkan alamat yang disediakan di konsol ke browser Anda.
[ Kembali ke atas ⬆️ ]
bash finetune/scripts/run_sft_Yi_6b.shSetelah selesai, Anda dapat membandingkan model yang telah disempurnakan dan model dasar dengan perintah berikut:
bash finetune/scripts/run_eval.sh Secara default, kami menggunakan kumpulan data kecil dari BAAI/COIG untuk menyempurnakan model dasar. Anda juga dapat menyiapkan kumpulan data khusus dalam format jsonl berikut:
{ "prompt" : " Human: Who are you? Assistant: " , "chosen" : " I'm Yi. " }Dan kemudian pasang di wadah untuk menggantikan yang default:
docker run -it
-v /path/to/save/finetuned/model/:/finetuned-model
-v /path/to/train.jsonl:/yi/finetune/data/train.json
-v /path/to/eval.jsonl:/yi/finetune/data/eval.json
ghcr.io/01-ai/yi:latest
bash finetune/scripts/run_sft_Yi_6b.shPastikan Anda memiliki conda. Jika tidak, gunakan
mkdir -p ~ /miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~ /miniconda3/miniconda.sh
bash ~ /miniconda3/miniconda.sh -b -u -p ~ /miniconda3
rm -rf ~ /miniconda3/miniconda.sh
~ /miniconda3/bin/conda init bash
source ~ /.bashrcKemudian, buat conda env:
conda create -n dev_env python=3.10 -y
conda activate dev_env
pip install torch==2.0.1 deepspeed==0.10 tensorboard transformers datasets sentencepiece accelerate ray==2.7Untuk model Yi-6B, disarankan menggunakan node dengan 4 GPU, masing-masing dengan memori GPU lebih besar dari 60 GB.
Untuk model Yi-34B, karena penggunaan teknik zero-offload menghabiskan banyak memori CPU, harap berhati-hati dalam membatasi jumlah GPU dalam pelatihan finetune 34B. Silakan gunakan CUDA_VISIBLE_DEVICES untuk membatasi jumlah GPU (seperti yang ditunjukkan di scripts/run_sft_Yi_34b.sh).
Pengaturan perangkat keras yang umum untuk menyempurnakan model 34B adalah node dengan 8 GPU (dibatasi hingga 4 GPU yang dijalankan oleh CUDA_VISIBLE_DEVICES=0,1,2,3), masing-masing dengan memori GPU lebih besar dari 80 GB, dan total memori CPU lebih besar dari 900 GB.
Unduh model berbasis LLM ke MODEL_PATH (6B dan 34B). Folder model yang khas adalah seperti:
| -- $MODEL_PATH
| | -- config.json
| | -- pytorch_model-00001-of-00002.bin
| | -- pytorch_model-00002-of-00002.bin
| | -- pytorch_model.bin.index.json
| | -- tokenizer_config.json
| | -- tokenizer.model
| | -- ...Unduh kumpulan data dari huggingface ke penyimpanan lokal DATA_PATH, misalnya Dahoas/rm-static.
| -- $DATA_PATH
| | -- data
| | | -- train-00000-of-00001-2a1df75c6bce91ab.parquet
| | | -- test-00000-of-00001-8c7c51afc6d45980.parquet
| | -- dataset_infos.json
| | -- README.md finetune/yi_example_dataset memiliki contoh kumpulan data, yang dimodifikasi dari BAAI/COIG
| -- $DATA_PATH
| --data
| -- train.jsonl
| -- eval.jsonl cd ke folder skrip, salin dan tempel skrip, dan jalankan. Misalnya:
cd finetune/scripts
bash run_sft_Yi_6b.shUntuk model dasar Yi-6B, pengaturan training_debug_steps=20 dan num_train_epochs=4 dapat menghasilkan model obrolan, yang memakan waktu sekitar 20 menit.
Untuk model dasar Yi-34B, dibutuhkan waktu inisialisasi yang relatif lama. Harap bersabar.
cd finetune/scripts
bash run_eval.shKemudian Anda akan melihat jawabannya dari model dasar dan model yang telah disempurnakan.
[ Kembali ke atas ⬆️ ]
python quantization/gptq/quant_autogptq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeSetelah selesai, Anda kemudian dapat mengevaluasi model yang dihasilkan sebagai berikut:
python quantization/gptq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeGPT-Q adalah metode PTQ (Kuantisasi Pasca Pelatihan). Ini menghemat memori dan memberikan potensi percepatan sambil mempertahankan keakuratan model.
Model Yi dapat dikuantisasi GPT-Q tanpa banyak usaha. Kami memberikan tutorial langkah demi langkah di bawah ini.
Untuk menjalankan GPT-Q, kita akan menggunakan AutoGPTQ dan exllama. Dan transformator pelukan telah mengintegrasikan optimal dan auto-gptq untuk melakukan kuantisasi GPTQ pada model bahasa.
Skrip quant_autogptq.py disediakan bagi Anda untuk melakukan kuantisasi GPT-Q:
python quant_autogptq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code Anda dapat menjalankan model terkuantisasi menggunakan eval_quantized_model.py :
python eval_quantized_model.py --model /quantized_model --trust_remote_codepython quantization/awq/quant_autoawq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeSetelah selesai, Anda kemudian dapat mengevaluasi model yang dihasilkan sebagai berikut:
python quantization/awq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeAWQ adalah metode PTQ (Kuantisasi Pasca Pelatihan). Ini adalah kuantisasi bobot bit rendah (INT3/4) yang efisien dan akurat untuk LLM.
Model Yi dapat dikuantisasi AWQ tanpa banyak usaha. Kami memberikan tutorial langkah demi langkah di bawah ini.
Untuk menjalankan AWQ, kita akan menggunakan AutoAWQ.
Skrip quant_autoawq.py disediakan bagi Anda untuk melakukan kuantisasi AWQ:
python quant_autoawq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code Anda dapat menjalankan model terkuantisasi menggunakan eval_quantized_model.py :
python eval_quantized_model.py --model /quantized_model --trust_remote_code[ Kembali ke atas ⬆️ ]
Jika Anda ingin menerapkan model Yi, pastikan Anda memenuhi persyaratan perangkat lunak dan perangkat keras.
Sebelum menggunakan model terkuantisasi Yi, pastikan Anda telah menginstal perangkat lunak yang benar yang tercantum di bawah.
| Model | Perangkat lunak |
|---|---|
| Model terkuantisasi Yi 4-bit | AWQ dan CUDA |
| Model terkuantisasi Yi 8-bit | GPTQ dan CUDA |
Sebelum menerapkan Yi di lingkungan Anda, pastikan perangkat keras Anda memenuhi persyaratan berikut.
| Model | VRAM minimal | Contoh GPU yang Direkomendasikan |
|---|---|---|
| Yi-6B-Obrolan | 15 GB | 1 x RTX 3090 (24GB) 1 x RTX 4090 (24 GB) 1 x A10 (24GB) 1 x A30 (24GB) |
| Yi-6B-Obrolan-4bit | 4 GB | 1 x RTX 3060 (12GB) 1 x RTX 4060 (8GB) |
| Yi-6B-Obrolan-8bit | 8 GB | 1 x RTX 3070 (8 GB) 1 x RTX 4060 (8 GB) |
| Yi-34B-Obrolan | 72 GB | 4x RTX 4090 (24 GB) 1 x A800 (80GB) |
| Yi-34B-Obrolan-4bit | 20 GB | 1 x RTX 3090 (24 GB) 1 x RTX 4090 (24GB) 1 x A10 (24GB) 1 x A30 (24GB) 1 x A100 (40GB) |
| Yi-34B-Obrolan-8bit | 38 GB | 2 x RTX 3090 (24GB) 2 x RTX 4090 (24GB) 1 x A800 (40GB) |
Di bawah ini adalah rincian persyaratan VRAM minimum dalam kasus penggunaan batch yang berbeda.
| Model | kumpulan=1 | kumpulan=4 | kumpulan=16 | kumpulan=32 |
|---|---|---|---|---|
| Yi-6B-Obrolan | 12 GB | 13 GB | 15 GB | 18 GB |
| Yi-6B-Obrolan-4bit | 4 GB | 5 GB | 7 GB | 10 GB |
| Yi-6B-Obrolan-8bit | 7 GB | 8 GB | 10 GB | 14 GB |
| Yi-34B-Obrolan | 65 GB | 68 GB | 76 GB | > 80 GB |
| Yi-34B-Obrolan-4bit | 19 GB | 20 GB | 30 GB | 40 GB |
| Yi-34B-Obrolan-8bit | 35 GB | 37 GB | 46 GB | 58 GB |
| Model | VRAM minimal | Contoh GPU yang Direkomendasikan |
|---|---|---|
| Yi-6B | 15 GB | 1 x RTX 3090 (24 GB) 1 x RTX 4090 (24 GB) 1 x A10 (24 GB) 1 x A30 (24 GB) |
| Yi-6B-200K | 50 GB | 1 x A800 (80 GB) |
| Yi-9B | 20 GB | 1 x RTX 4090 (24GB) |
| Yi-34B | 72 GB | 4x RTX 4090 (24GB) 1 x A800 (80GB) |
| Yi-34B-200K | 200 GB | 4 x A800 (80GB) |
[ Kembali ke atas ⬆️ ]
Yi-34B dan Yi-34B-Chat terletak pada pendekatan dan hasil penyesuaian.Yi-34B bisa menjadi pilihan Anda.Yi-34B-Chat mungkin merupakan pilihan terbaik Anda. Di mana saya bisa mendapatkan kumpulan data jawaban pertanyaan yang tepat?
Berapa kebutuhan memori GPU untuk menyempurnakan Yi-34B FP16?
Memori GPU yang diperlukan untuk menyempurnakan 34B FP16 bergantung pada metode penyempurnaan spesifik yang digunakan. Untuk penyesuaian parameter penuh, Anda memerlukan 8 GPU yang masing-masing berkapasitas 80 GB; namun, solusi yang lebih ekonomis seperti Lora memerlukan lebih sedikit. Untuk lebih jelasnya, lihat hiyouga/LLaMA-Factory. Selain itu, pertimbangkan untuk menggunakan BF16 daripada FP16 untuk menyempurnakan guna mengoptimalkan kinerja.
Apakah ada platform pihak ketiga yang mendukung fungsi obrolan untuk model Yi-34b-200k?
Jika Anda mencari Obrolan pihak ketiga, opsinya mencakup kembang api.ai.
Selamat datang di pusat pembelajaran Yi!
Baik Anda seorang pengembang berpengalaman atau pendatang baru, Anda dapat menemukan banyak sumber daya pendidikan yang bermanfaat untuk meningkatkan pemahaman dan keterampilan Anda dengan model Yi, termasuk postingan blog yang mendalam, tutorial video komprehensif, panduan praktis, dan banyak lagi.
Konten yang Anda temukan di sini telah disumbangkan dengan murah hati oleh para ahli Yi yang berpengetahuan luas dan para penggemar yang bersemangat. Kami mengucapkan terima kasih yang tulus atas kontribusi Anda yang tak ternilai!
Pada saat yang sama, kami juga dengan hangat mengundang Anda untuk bergabung dalam upaya kolaboratif kami dengan berkontribusi pada Yi. Jika Anda telah memberikan kontribusi kepada Yi, jangan ragu untuk menampilkan karya luar biasa Anda pada tabel di bawah.
Dengan semua sumber daya ini di ujung jari Anda, Anda siap memulai perjalanan mengasyikkan bersama Yi. Selamat belajar! ?
| Dapat disampaikan | Tanggal | Pengarang |
|---|---|---|
| 使用 Dify、Meilisearch、零一万物模型实现最简单的 RAG 应用（三）：AI 电影推荐 | 20-05-2024 | itu |
| 使用autodl服务器,在A40显卡上运行, Yi-34B-Chat-int4模型,并使用vllm优化加速,显存占用42G,速度18 kata-s | 20-05-2024 | terbang-iot |
| Yi-VL 最佳实践 | 20-05-2024 | Lingkup Model |
| 一键运行零一万物新鲜出炉Yi-1.5-9B-Chat大模型 | 13-05-2024 | Negara Bagian Kedua |
| 零一万物开源Yi-1.5系列大模型 | 13-05-2024 | 刘聪 |
| 零一万物Yi-1.5系列模型发布并开源！ 34B-9B-6B 多尺寸，魔搭社区推理微调最佳实践教程来啦! | 13-05-2024 | Lingkup Model |
| Yi-34B 本地部署简单测试 | 13-05-2024 | 漆妮妮 |
| 驾辰龙跨Llama持Wasm,玩转Yi模型迎新春过大年（上） | 13-05-2024 | Kata-kata berharga |
| 驾辰龙跨Llama持Wasm,玩转Yi模型迎新春过大年（下篇） | 13-05-2024 | Kata-kata berharga |
| Ollama adalah alat yang sangat baik untuk digunakan dalam bisnis Yi-1.5. | 13-05-2024 | AI工程师笔记 |
| 使用零一万物 200K 模型和 Dify 快速搭建模型应用 | 13-05-2024 | itu |
| (持更) 零一万物模型折腾笔记：社区 Yi-34B 微调模型使用 | 13-05-2024 | itu |
| Python+ERNIE-4.0-8K-Yi-34B-Chat大模型初探 | 11-05-2024 | 江湖评谈 |
| 技术布道 Vue及Python调用零一万物模型和Prompt模板（通过百度千帆大模型平台） | 11-05-2024 | Lab Mumu |
| 多模态大模型Yi-VL-plus体验 效果很棒 | 27-04-2024 | 大家好我是爱因 |
| 使用autodl服务器,两个3090显卡上运行, Yi-34B-Chat-int4模型,并使用vllm优化加速,显存占用42G,速度23 kata-s | 27-04-2024 | terbang-iot |
| Memulai dengan Yi-1.5-9B-Obrolan | 27-04-2024 | Negara Bagian Kedua |
| 基于零一万物yi-vl-plus大模型简单几步就能批量生成Anki图片笔记 | 24-04-2024 | 正经人王同学 |
| 【AI开发：语言】一、Yi-34B超大模型本地部署CPU和GPU版 | 21-04-2024 | My的梦想已实现 |
| 【Yi-34B-Chat-Int4】使用4个2080Ti显卡11G版本,运行Yi-34B模型,5年前老显卡是支持的，可以正常运行，速度21 kata-s,vllm要求算力在7以上的显卡就可以 | 22-03-2024 | terbang-iot |
| 零一万物大模型部署+微调总结 | 22-03-2024 | v_wus |
| 零一万物Yi大模型vllm推理时Yi-34B或Yi-6bchat重复输出的解决方案 | 02-03-2024 | 郝铠锋 |
| Yi-34B微调训练 | 02-03-2024 | lsjlnd |
| 实测零一万物Yi-VL多模态语言模型：能准确“识图吃瓜” | 02-02-2024 | itu |
| 零一万物开源Yi-VL多模态大模型,魔搭社区推理&微调最佳实践来啦! | 26-01-2024 | Lingkup Model |
| 单卡 3 小时训练 Yi-6B 大模型 Agen：基于 Llama Factory 实战 | 22-01-2024 | 郑耀威 |
| 零一科技Yi-34B Obrolan大模型环境搭建&推理 | 15-01-2024 | 要养家的程序员 |
| 基于LLaMA Factory,单卡3小时训练专属大模型 Agen | 15-01-2024 | 机器学习社区 |
| 双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录 | 02-01-2024 | 漆妮妮 |
| 【大模型部署实践-3】3个能在3090上跑起来的4bits量化Chat模型（baichuan2-13b、InternLM-20b、Yi-34b） | 02-01-2024 | aq_biskuit laut |
| 只需 24G 显存,用 vllm 跑起来 Yi-34B 中英双语大模型 | 28-12-2023 | 漆妮妮 |
| 零一万物模型官方 Yi-34B 模型本地离线运行部署使用笔记（物理机和docker两种部署方式）,200K超长文本内容,34B 干翻一众 70B 模型,打榜分数那么高，这模型到底行不行？ | 28-12-2023 | 代码讲故事 |
| LLM - 大模型速递之 Yi-34B dan LoRA 微调 | 18-12-2023 | BIT_666 |
| 通过vllm框架进行大模型推理 | 18-12-2023 | 土山炮 |
| Prosesor CPU：“二三五六” 位量化方案 | 12-12-2023 | itu |
| 零一万物模型折腾笔记:官方 Yi-34B 模型基础使用 | 10-12-2023 | itu |
| Menjalankan Yi-34B-Chat secara lokal menggunakan LlamaEdge | 30-11-2023 | Negara Bagian Kedua |
| 本地运行零一万物 34B 大模型,使用 Llama.cpp & 21G 显存 | 26-11-2023 | itu |
| Dapat disampaikan | Tanggal | Pengarang |
|---|---|---|
| yi-openai-proxy | 11-05-2024 | itu |
| 基于零一万物 Yi 模型和 B 站构建大语言模型高质量训练数据集 | 29-04-2024 | 正经人王同学 |
| perusahaan asuransi kesehatan | 25-04-2024 | 正经人王同学 |
| 基于零一万物yi-34b-chat-200k输入任意文章地址, perusahaan asuransi kesehatan | 24-04-2024 | 正经人王同学 |
| Model Makanan-GPT-Yi | 21-04-2024 | Hubert S |
| Dapat dikirim | Tanggal | Pengarang |
|---|---|---|
| Jalankan dolphin-2.2-yi-34b di Perangkat IoT | 30-11-2023 | Negara Bagian Kedua |
| 只需 24G 显存,用 vllm 跑起来 Yi-34B 中英双语大模型 | 28-12-2023 | 漆妮妮 |
| Instal Yi 34B Secara Lokal - LLM Bilingual Bahasa Inggris Mandarin | 05-11-2023 | Fahd Mirza |
| Dolphin Yi 34b - Model Dasar Baru DIUJI | 27-11-2023 | Matius Berman |
| Yi-VL-34B 多模态大模型 - 用两张 A40 显卡跑起来 | 28-01-2024 | 漆妮妮 |
| 4060Ti 16G konektor sistem Yi-1.5 untuk perangkat lunak Yi-1.5 | 14-05-2024 | titan909 |
| Yi-1.5: Pesaing Apache 2.0 Sejati untuk LLAMA-3 | 13-05-2024 | Rekayasa Cepat |
| Instal Model Yi-1.5 Secara Lokal - Mengalahkan Llama 3 di Berbagai Tolok Ukur | 13-05-2024 | Fahd Mirza |
| cara install Ollama dan jalankan Yi 6B | 13-05-2024 | Rida Davids |
| 地表最强混合智能AI助手：llama3_70B+Yi_34B+Qwen1.5_110B | 04-05-2024 | 朱扎特 |
| ChatDoc学术论文辅助--基于Yi-34B和langchain进行PDF知识库问答 | 03-05-2024 | 朱扎特 |
| 基于Yi-34B的领域知识问答项目演示 | 02-05-2024 | 朱扎特 |
| RTX4090+GaLore算法 Yi-6B大模型 | 24-03-2024 | 小工蚂创始人 |
| NSFW大语言模型Yi-34B-Chat蒸馏版测试,RolePlay,《天龙八部》马夫人康敏,本地GPU,CPU运行 | 20-03-2024 | 刘悦的技术博客 |
| 无内容审查NSFW大语言模型整合包,Yi-34B-Chat,本地CPU运行,角色扮演潘金莲 | 16-03-2024 | 刘悦的技术博客 |
| 量化 Yi-34B-Chat 并在单卡 RTX 4090 使用 vLLM 部署 | 05-03-2024 | 白鸽巢 |
| Yi-VL-34B（5）：使用3个3090显卡24G版本,运行Yi- VL-34B模型,支持命令行和web界面方式,理解图片的内容转换成文字 | 27-02-2024 | terbang-iot |
| Menangkan KoboldCpp本地部署大语言模型进行各种角色扮演游戏 | 25-02-2024 | 魚蟲蟲 |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P2 | 23-02-2024 | 魚蟲蟲 |
| 【wails】（2）：使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度还可以，等待下一版本更新 | 20-02-2024 | terbang-iot |
| 【xinference】（6）：在autodl上，使用xinference部署yi-vl-chat和qwen-vl-chat模型，可以使用openai调用成功 | 06-02-2024 | terbang-iot |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P1 | 05-02-2024 | 魚蟲蟲 |
| 2080Ti部署YI-34B大模型 xinference-oneapi-fastGPT本地知识库使用指南 | 30-01-2024 | 小饭护法要转码 |
| Model AI Penulisan Cerita Terbaik - Instal Yi 6B 200K Secara Lokal di Windows | 22-01-2024 | Fahd Mirza |
| Mac 本地运行大语言模型方法与常见问题指南（Yi 34B 模型+32 GB 内存测试） | 21-01-2024 | 小吴苹果机器人 |
| 【Dify 知识库】（11）：Dify0.4.9改造支持MySQL,成功接入yi-6b layanan fastchat, layanan 8G, layanan fastchat, dan layanan 8G | 21-01-2024 | terbang-iot |
| 这位LLM先生有点暴躁,用的是YI-6B的某个量化版,#LLM #大语言模型 #暴躁老哥 | 20-01-2024 | 晓漫吧 |
| 大模型推理 NvLink dan A6000 测试一下 | 17-01-2024 | 漆妮妮 |
| 大模型推理 A40 vs A6000 谁更强 - 对比 Yi-34B 的单、双卡推理性能 | 15-01-2024 | 漆妮妮 |
| C-Eval 大语言模型评测基准- 用 LM Evaluation Harness + vLLM 跑起来 | 11-01-2024 | 漆妮妮 |
| 双显卡部署 Yi-34B 大模型 - vLLM + Gradio 踩坑记录 | 01-01-2024 | 漆妮妮 |
| 手把手教学！使用 vLLM 快速部署 Yi-34B-Chat | 26-12-2023 | 白鸽巢 |
| Yi-6B LORA微调演示 #小工蚁 | 21-12-2023 | 小工蚂创始人 |
| Yi-34B（4）：使用4个2080Ti显卡11G版本,运行Yi-34B模型，5年前老显卡是支持的，可以正常运行，速度21 kata/dtk | 02-12-2023 | terbang-iot |
| 使用 autodl 服务器 ， rtx 3090 * 3 显卡上运行 ， yi-34b-chat 模型 ， 60g | 01-12-2023 | fly-oT |
| 使用 autodl 服务器 ， 两个 3090 显卡上运行 ， yi-34b-chat-int4 模型 ， 用 vllm 优化 ， 增加 --num-gpu 2 ， 速度 23 kata/s/s | 01-12-2023 | fly-oT |
| Yi 大模型一键本地部署 技术小白玩转 ai | 01-12-2023 | 技术小白玩转 ai |
| 01.ai yi-6b: tinjauan umum dan fine-tuning | 28-11-2023 | AI Makerspace |
| Yi 34b chat llm outperforms llama 70b | 27-11-2023 | Dlexplorer |
| Cara menjalankan model open source pada mac yi 34b pada m3 max | 26-11-2023 | Techno Premium |
| Yi -34b - 200k - King Jendela Konteks Terbaik & Baru | 24-11-2023 | Teknik yang cepat |
| Yi 34b: Munculnya model menengah yang kuat - pangkalan, 200k & obrolan | 24-11-2023 | Sam Witteveen |
| 在 IoT 设备运行破解版李开复大模型 Dolphin-2.2-yi-34b （还可作为私有 Openai API 服务器） | 15-11-2023 | Negara bagian kedua |
| Jalankan Dolphin-2.2-Yi-34b pada perangkat IoT (juga berfungsi sebagai server API OpenAI pribadi) | 14-11-2023 | Negara bagian kedua |
| Cara menginstal Yi 34b 200k llamafied di laptop windows | 11-11-2023 | Fahd Mirza |
Yi memiliki ekosistem yang komprehensif, menawarkan berbagai alat, layanan, dan model untuk memperkaya pengalaman Anda dan memaksimalkan produktivitas.
Model seri YI mengikuti arsitektur model yang sama dengan llama. Dengan memilih YI, Anda dapat memanfaatkan alat, perpustakaan, dan sumber daya yang ada dalam ekosistem Llama, menghilangkan kebutuhan untuk membuat alat baru dan meningkatkan efisiensi pengembangan.
Misalnya, model seri YI disimpan dalam format model LLAMA. Anda dapat secara langsung menggunakan LlamaForCausalLM dan LlamaTokenizer untuk memuat model. Untuk informasi lebih lanjut, lihat Gunakan model obrolan.
from transformers import AutoModelForCausalLM , AutoTokenizer
tokenizer = AutoTokenizer . from_pretrained ( "01-ai/Yi-34b" , use_fast = False )
model = AutoModelForCausalLM . from_pretrained ( "01-ai/Yi-34b" , device_map = "auto" )[Kembali ke atas ⬆️]
Tip
Jangan ragu untuk membuat PR dan berbagi karya fantastis yang telah Anda bangun menggunakan model Seri Yi.
Untuk membantu orang lain dengan cepat memahami pekerjaan Anda, disarankan untuk menggunakan format
.: +
Jika Anda ingin bangun dengan Yi dalam beberapa menit, Anda dapat menggunakan layanan berikut yang dibangun di atas Yi.
Yi-34b-CHAT: Anda dapat mengobrol dengan Yi menggunakan salah satu platform berikut:
Yi-6b-chat (replikasi): Anda dapat menggunakan model ini dengan lebih banyak opsi dengan mengatur parameter tambahan dan panggilan API.
ScalellM: Anda dapat menggunakan layanan ini untuk menjalankan model YI secara lokal dengan fleksibilitas dan kustomisasi tambahan.
Jika Anda memiliki kemampuan komputasi yang terbatas, Anda dapat menggunakan model terkuantisasi YI sebagai berikut.
Model -model terkuantisasi ini telah mengurangi presisi tetapi menawarkan peningkatan efisiensi, seperti kecepatan inferensi yang lebih cepat dan penggunaan RAM yang lebih kecil.
Jika Anda ingin mengeksplorasi beragam kemampuan dalam keluarga Yi yang berkembang, Anda dapat mempelajari model Yi yang disesuaikan dengan Yi seperti di bawah ini.
Model TheBloke: Situs ini menampung banyak model yang disesuaikan dengan berbagai LLM termasuk Yi.
Ini bukan daftar lengkap untuk Yi, tetapi untuk menyebutkan beberapa diurutkan pada unduhan:
Sustech/SUS-CHAT-34B: Model ini peringkat pertama di antara semua model di bawah 70B dan mengungguli dua kali lebih besar Deepseek-LLM-67B-CHAT. Anda dapat memeriksa hasilnya di papan peringkat Open LLM.
Oriontsarai/Oriontar-yi-34b-chat-llama: Model ini unggul di luar model lain (seperti GPT-4, Qwen-14b-CHAT, Baichuan2-13b-CHAT) dalam evaluasi C-eval dan CMMLU pada papan peringkat LLM OpenCompass.
NousResearch/Nous-Capybara-34b: Model ini dilatih dengan panjang konteks 200k dan 3 zaman pada dataset Capybara.
[Kembali ke atas ⬆️]
Untuk kemampuan terperinci dari model Seri Yi, lihat Yi: Open Foundation Models oleh 01.ai.
@misc{ai2024yi,
title={Yi: Open Foundation Models by 01.AI},
author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
year={2024},
eprint={2403.04652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Model Yi-34b-Chat menunjukkan kinerja yang luar biasa, peringkat pertama di antara semua model sumber terbuka yang ada dalam tolok ukur termasuk MMLU, CMMLU, BBH, GSM8K, dan banyak lagi.
* : Hasil C-Eval dievaluasi pada set data validasi
Model Yi-34b dan Yi-34b-200k menonjol sebagai pemain terbaik di antara model open-source, terutama unggul dalam MMLU, CMMLU, penalaran yang masuk akal, pemahaman membaca, dan banyak lagi.
Yi-9b hampir merupakan yang terbaik di antara berbagai model open-source berukuran serupa (termasuk Mistral-7b, Solar-10.7b, Gemma-7b, Deepseek-Coder-7b-Base-V1.5 dan lebih), khususnya unggul Dalam kode, matematika, penalaran yang masuk akal, dan pemahaman membaca.
Dalam hal kemampuan keseluruhan (rata-rata-semua), Yi-9b melakukan yang terbaik di antara model sumber terbuka berukuran sama, melampaui deepseek-coder, Deepseek-Math, Mistral-7B, Solar-10.7B, dan Gemma-7b.
Dalam hal kemampuan pengkodean (kode rata-rata), kinerja Yi-9b adalah yang kedua setelah Deepseek-Coder-7b, melampaui Yi-34b, Solar-10.7b, Mistral-7b, dan Gemma-7b.
Dalam hal kemampuan matematika (rata-rata), kinerja Yi-9b adalah yang kedua setelah Deepseek-Math-7b, melampaui Solar-10.7b, Mistral-7b, dan Gemma-7b.
Dalam hal akal sehat dan kemampuan penalaran (rata-rata-teks), kinerja Yi-9b setara dengan Mistral-7b, Solar-10.7b, dan Gemma-7b.
[Kembali ke atas ⬆️]
Setiap orang! ? ✅
Kode dan bobot model seri YI didistribusikan di bawah lisensi Apache 2.0, yang berarti model seri YI gratis untuk penggunaan pribadi, tujuan akademik, dan penggunaan komersial.
[Kembali ke atas ⬆️]
Terima kasih yang tulus untuk Anda masing -masing yang telah memberikan kontribusi kepada komunitas Yi! Anda telah membantu Yi bukan hanya sebuah proyek, tetapi rumah yang bersemangat dan tumbuh di rumah untuk inovasi.
[Kembali ke atas ⬆️]
Kami menggunakan algoritma pemeriksaan kepatuhan data selama proses pelatihan, untuk memastikan kepatuhan model terlatih dengan kemampuan terbaik kami. Karena data yang kompleks dan keragaman skenario penggunaan model bahasa, kami tidak dapat menjamin bahwa model akan menghasilkan output yang benar dan masuk akal di semua skenario. Perlu diketahui bahwa masih ada risiko model menghasilkan output yang bermasalah. Kami tidak akan bertanggung jawab atas risiko dan masalah apa pun yang dihasilkan dari penyalahgunaan, kesalahan, penggunaan ilegal, dan informasi yang salah terkait, serta masalah keamanan data terkait.
[Kembali ke atas ⬆️]
Kode dan bobot model seri YI-1.5 didistribusikan di bawah lisensi Apache 2.0.
Jika Anda membuat karya turunan berdasarkan model ini, harap sertakan atribusi berikut dalam karya turunan Anda:
This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.
[Kembali ke atas ⬆️]
