英語 | 中文
？擁抱臉•？模型範圍•？明智的模型
? 在 GitHub 上提出問題或討論想法
加入我們？不和諧或微信
查看易科技報告
在易學習中心成長
？在易科技部落格學習
？ Yi系列模型是01.AI從零開始訓練的下一代開源大語言模型。
？ Yi系列模型以雙語語言模型為目標，在3T多語言語料庫上進行訓練，成為全球最強的LLM模型之一，在語言理解、常識推理、閱讀理解等方面展現出良好的前景。例如，
Yi-34B-Chat 模型在 AlpacaEval 排行榜上排名第二（僅次於 GPT-4 Turbo） ，優於其他 LLM（例如 GPT-4、Mixtral、Claude）（基於截至 2024 年 1 月的可用數據）。
Yi-34B模型在Hugging Face Open LLM Leaderboard（預訓練）和C-Eval等各種基準測試中，在所有現有開源模型（如Falcon-180B、Llama-70B、Claude）中英文和中文排名第一（基於截至2023 年11 月的可用數據）。
（感謝 Llama）感謝 Transformer 和 Llama 開源社區，因為它們減少了從頭開始建立所需的工作量，並支持在 AI 生態系統中使用相同的工具。
長話短說
Yi系列模型採用與Llama相同的模型架構，但不是Llama的衍生品。
Yi 和 Llama 都基於 Transformer 結構，該結構自 2018 年以來一直是大型語言模型的標準架構。
Llama 基於 Transformer 架構，憑藉其卓越的穩定性、可靠的收斂性和強大的兼容性，已成為大多數最先進開源模型的新基石。這使得 Llama 成為包括 Yi 在內的模型公認的基礎架構。
由於 Transformer 和 Llama 架構，其他模型可以利用它們的強大功能，減少從頭開始建立所需的工作量，並能夠在其生態系統中使用相同的工具。
然而，Yi 系列模型不是 Llama 的衍生品，因為它們不使用 Llama 的權重。
由於大多數開源模型都採用 Llama 的結構，因此決定模型效能的關鍵因素是訓練資料集、訓練管道和訓練基礎設施。
Yi以獨特且專有的方式開發，完全從頭開始獨立創建了自己的高品質訓練資料集、高效的訓練管道和強大的訓練基礎設施。這項努力帶來了優異的表現，Yi 系列車型在 2023 年 12 月的 Alpaca 排行榜上排名僅次於 GPT4，並超越 Llama。
[回到頂部⬆️]
Yi-9B-200K開源並向公眾開放。Yi-9B開源並向公眾開放。Yi-9B在一系列類似規模的開源模型（包括 Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5 等）中脫穎而出，成為表現最佳的模型，尤其擅長程式碼、數學、常識推理和閱讀理解。Yi-VL-34B和Yi-VL-6B已開源並向公眾開放。Yi-VL-34B在最新的基準測試中，在所有現有開源模型中排名第一，包括 MMMU 和 CMMMU（基於截至 2024 年 1 月的可用數據）。Yi-34B-ChatYi-34B-Chat-4bitsYi-34B-Chat-8bitsYi-6B-ChatYi-6B-Chat-4bitsYi-6B-Chat-8bits您可以在以下位置互動式地嘗試其中一些：
Yi-6B-200K和Yi-34B-200K開源並向公眾開放。Yi-6B和Yi-34B已開源並向公眾開放。[回到頂部⬆️]
Yi 型號有多種尺寸，可滿足不同的用例。您也可以微調 Yi 模型以滿足您的特定要求。
如果您想部署 Yi 模型，請確保滿足軟體和硬體要求。
| 模型 | 下載 |
|---|---|
| Yi-34B-聊天 | •？擁抱臉•？模型範圍•？明智的模型 |
| Yi-34B-聊天-4bits | •？擁抱臉•？模型範圍•？明智的模型 |
| Yi-34B-聊天-8位 | •？擁抱臉•？模型範圍•？明智的模型 |
| Yi-6B-聊天 | •？擁抱臉•？模型範圍•？明智的模型 |
| Yi-6B-聊天-4bits | •？擁抱臉•？模型範圍•？明智的模型 |
| Yi-6B-聊天-8bits | •？擁抱臉•？模型範圍•？明智的模型 |
- 4 位元系列模型由 AWQ 量化。
- 8位元系列模型透過GPTQ量化
- 所有量化模型的使用門檻都很低，因為它們可以部署在消費級 GPU（例如 3090、4090）上。
| 模型 | 下載 |
|---|---|
| 翼34B | •？擁抱臉•？模型範圍•？明智的模型 |
| 毅-34B-200K | •？擁抱臉•？模型範圍•？明智的模型 |
| 毅9B | •？擁抱臉•？模型範圍•？明智的模型 |
| 毅9B-200K | •？擁抱臉•？模型範圍•？明智的模型 |
| 伊6B | •？擁抱臉•？模型範圍•？明智的模型 |
| 毅6B-200K | •？擁抱臉•？模型範圍•？明智的模型 |
- 200k大約相當於40萬個漢字。
- 如果您想使用Yi-34B-200K的舊版（2023年11月5日發布），請執行git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf下載權重。
| 模型 | 簡介 | 預設上下文視窗 | 預訓練令牌 | 訓練資料日期 |
|---|---|---|---|---|
| 6B系列機型 | 它們適合個人和學術用途。 | 4K | 3T | 截至 2023 年 6 月 |
| 9B系列機型 | 它是 Yi 系列模型中最擅長編碼和數學的。 | Yi-9B是在Yi-6B的基礎上持續訓練的，使用0.8T token。 | ||
| 34B系列型號 | 它們適合個人、學術和商業（特別是中小型企業）用途。這是一種經濟高效的解決方案，價格實惠且具備應急能力。 | 3T |
對於聊天模型
然而，這種更高的多樣性可能會加劇某些現有問題，包括：
[回到頂部⬆️]
提示：如果您想開始使用 Yi 模型並探索不同的推理方法，請查看 Yi Cookbook。
選擇以下路徑之一，開始您與 Yi 的旅程！
如果您喜歡在本地部署 Yi 模型，
?♀️並且您有足夠的資源（例如NVIDIA A800 80GB），您可以選擇以下方法之一：
?♀️並且您的資源有限（例如MacBook Pro），您可以使用llama.cpp。
如果您不想在本機上部署 Yi 模型，則可以使用下列任一選項來探索 Yi 的功能。
如果你想探索 Yi 的更多特性，可以採用以下方法之一：
Yi API（Yi 官方）
Yi API（複製）
如果您想與 Yi 聊天時使用更多可自訂的選項（例如係統提示、溫度、重複懲罰等），您可以嘗試以下選項之一：
Yi-34B-Chat-Playground (Yi官方)
Yi-34B-聊天-遊樂場（複製）
如果您想與 Yi 聊天，您可以使用以下線上服務之一，它們提供類似的用戶體驗：
Yi-34B-Chat（抱臉的彝族官方）
Yi-34B-Chat（Yi 官方測試版）
[回到頂部⬆️]
本教學將引導您完成在 A800 (80G) 上本地運行 Yi-34B-Chat然後執行推理的每個步驟。
確保安裝了Python 3.10或更高版本。
如果您想運行其他 Yi 型號，請參閱軟體和硬體需求。
若要設定環境並安裝所需的軟體包，請執行下列命令。
git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txt您可以從以下來源下載 Yi 模型的權重和分詞器：
您可以使用 Yi chat 或基本模型進行推理，如下所示。
建立一個名為quick_start.py的檔案並將以下內容複製到其中。
from transformers import AutoModelForCausalLM , AutoTokenizer
model_path = ''
tokenizer = AutoTokenizer . from_pretrained ( model_path , use_fast = False )
# Since transformers 4.35.0, the GPT-Q/AWQ model can be loaded using AutoModelForCausalLM.
model = AutoModelForCausalLM . from_pretrained (
model_path ,
device_map = "auto" ,
torch_dtype = 'auto'
). eval ()
# Prompt content: "hi"
messages = [
{ "role" : "user" , "content" : "hi" }
]
input_ids = tokenizer . apply_chat_template ( conversation = messages , tokenize = True , add_generation_prompt = True , return_tensors = 'pt' )
output_ids = model . generate ( input_ids . to ( 'cuda' ))
response = tokenizer . decode ( output_ids [ 0 ][ input_ids . shape [ 1 ]:], skip_special_tokens = True )
# Model response: "Hello! How can I assist you today?"
print ( response )運行quick_start.py 。
python quick_start.py然後您可以看到類似下面的輸出。 ？
Hello ! How can I assist you today ? 翼34B
步驟類似於 pip - 使用 Yi 聊天模型進行推理。
您可以使用現有文件text_generation.py 。
python demo/text_generation.py --model < your-model-path >然後您可以看到類似下面的輸出。 ？
提示：讓我告訴你一個關於貓湯姆和老鼠傑瑞的有趣故事，
世代：讓我告訴你一個關於貓湯姆和老鼠傑瑞的有趣故事，發生在我的童年。我父親有一棟大房子，裡面住著兩隻貓，用來捕老鼠。有一天，我一個人在家玩，發現一隻雄貓仰躺在廚房門口附近，看起來很像要我們送東西，但因為周圍人太多而爬不起來！他又試了幾分鐘，最後還是放棄了…
毅9B
輸入
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_DIR = " 01-ai/Yi-9B "
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype= " auto " )
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, use_fast=False)
input_text = " # write the quick sort algorithm "
inputs = tokenizer(input_text, return_tensors= " pt " ).to(model.device)
outputs = model.generate( ** inputs, max_length=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))輸出
# write the quick sort algorithm
def quick_sort(arr):
if len(arr) < = 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
# test the quick sort algorithm
print(quick_sort([3, 6, 8, 10, 1, 2, 1]))[回到頂部⬆️]
確保您已安裝 Docker 和 nvidia-container-toolkit。
docker run -it --gpus all
-v : /models
ghcr.io/01-ai/yi:latest
或者，您可以從registry.lingyiwanwu.com/ci/01-ai/yi:latest提取Yi Docker 映像。
您可以使用 Yi chat 或基本模型進行推理，如下所示。
步驟類似於 pip - 使用 Yi 聊天模型進行推理。
請注意，唯一的差異是設定model_path = '而不是model_path = ' 。
步驟類似於 pip - 使用 Yi 基本模型進行推理。
請注意，唯一的區別是設定--model 而不是model 。
conda-lock為 conda 環境產生完全可重現的鎖定檔案。micromamba來安裝這些依賴項。請按照此處提供的說明安裝 micromamba。
執行micromamba install -y -n yi -f conda-lock.yml建立名為yi conda 環境並安裝必要的依賴項。
以下教學將引導您完成在本地運行量化模型（Yi-chat-6B-2bits）然後執行推理的每個步驟。
本教學假設您使用配備 16GB 記憶體和 Apple M2 Pro 晶片的 MacBook Pro。
確保您的電腦上安裝了git-lfs 。
llama.cpp若要克隆llama.cpp儲存庫，請執行下列命令。
git clone [email protected]:ggerganov/llama.cpp.git2.1 若要僅使用指針複製 XeIaso/yi-chat-6B-GGUF，請執行以下指令。
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF2.2 若要下載量化的 Yi 模型（yi-chat-6b.Q2_K.gguf），請執行下列指令。
git-lfs pull --include yi-chat-6b.Q2_K.gguf要使用 Yi 模型進行推理，您可以使用以下方法之一。
方法一：在終端機進行推理
方法2：在Web中進行推理
若要使用 4 個執行緒編譯llama.cpp然後進行推理，請導覽至llama.cpp目錄，然後執行下列命令。
尖端
將
/Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf替換為模型的實際路徑。預設情況下，模型在完成模式下運行。
對於其他輸出自訂選項（例如係統提示、溫度、重複懲罰等），請執行
./main -h查看詳細說明和用法。
make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p " How do you feed your pet fox? Please answer this question in 6 simple steps:nStep 1: " -n 384 -e
...
How do you feed your pet fox ? Please answer this question in 6 simple steps:
Step 1: Select the appropriate food for your pet fox. You should choose high-quality, balanced prey items that are suitable for their unique dietary needs. These could include live or frozen mice, rats, pigeons, or other small mammals, as well as fresh fruits and vegetables.
Step 2: Feed your pet fox once or twice a day, depending on the species and its individual preferences. Always ensure that they have access to fresh water throughout the day.
Step 3: Provide an appropriate environment for your pet fox. Ensure it has a comfortable place to rest, plenty of space to move around, and opportunities to play and exercise.
Step 4: Socialize your pet with other animals if possible. Interactions with other creatures can help them develop social skills and prevent boredom or stress.
Step 5: Regularly check for signs of illness or discomfort in your fox. Be prepared to provide veterinary care as needed, especially for common issues such as parasites, dental health problems, or infections.
Step 6: Educate yourself about the needs of your pet fox and be aware of any potential risks or concerns that could affect their well-being. Regularly consult with a veterinarian to ensure you are providing the best care.
...
現在你已經成功向Yi模型提問並得到了答案！ ？
若要初始化輕量級且快速的聊天機器人，請執行以下命令。
cd llama.cpp
./server --ctx-size 2048 --host 0.0.0.0 --n-gpu-layers 64 --model /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf然後你可以得到這樣的輸出：
...
llama_new_context_with_model: n_ctx = 2048
llama_new_context_with_model: freq_base = 5000000.0
llama_new_context_with_model: freq_scale = 1
ggml_metal_init: allocating
ggml_metal_init: found device: Apple M2 Pro
ggml_metal_init: picking default device: Apple M2 Pro
ggml_metal_init: ggml.metallib not found, loading from source
ggml_metal_init: GGML_METAL_PATH_RESOURCES = nil
ggml_metal_init: loading ' /Users/yu/llama.cpp/ggml-metal.metal '
ggml_metal_init: GPU name: Apple M2 Pro
ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008)
ggml_metal_init: hasUnifiedMemory = true
ggml_metal_init: recommendedMaxWorkingSetSize = 11453.25 MB
ggml_metal_init: maxTransferRate = built-in GPU
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 128.00 MiB, ( 2629.44 / 10922.67)
llama_new_context_with_model: KV self size = 128.00 MiB, K (f16): 64.00 MiB, V (f16): 64.00 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 0.02 MiB, ( 2629.45 / 10922.67)
llama_build_graph: non-view tensors processed: 676/676
llama_new_context_with_model: compute buffer total size = 159.19 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 156.02 MiB, ( 2785.45 / 10922.67)
Available slots:
- > Slot 0 - max context: 2048
llama server listening at http://0.0.0.0:8080若要存取聊天機器人介面，請開啟 Web 瀏覽器並在網址列輸入http://0.0.0.0:8080 。
在提示視窗中輸入問題，例如“您如何餵養您的寵物狐狸？請透過6個簡單步驟回答這個問題”，您將收到相應的答案。
[回到頂部⬆️]
您可以為 Yi聊天模型建立 Web UI 演示（請注意，此方案不支援 Yi 基本模型）。
步驟 1：準備環境。
步驟2：下載Yi模型。
步驟 3. 若要在本機啟動 Web 服務，請執行下列命令。
python demo/web_demo.py -c < your-model-path >您可以透過在瀏覽器中輸入控制台中提供的位址來存取 Web UI。
[回到頂部⬆️]
bash finetune/scripts/run_sft_Yi_6b.sh完成後，您可以使用以下命令比較微調模型和基礎模型：
bash finetune/scripts/run_eval.sh預設情況下，我們使用 BAAI/COIG 的小型資料集來微調基本模型。您也可以使用以下jsonl格式準備自訂資料集：
{ "prompt" : " Human: Who are you? Assistant: " , "chosen" : " I'm Yi. " }然後將它們掛載到容器中以替換預設的：
docker run -it
-v /path/to/save/finetuned/model/:/finetuned-model
-v /path/to/train.jsonl:/yi/finetune/data/train.json
-v /path/to/eval.jsonl:/yi/finetune/data/eval.json
ghcr.io/01-ai/yi:latest
bash finetune/scripts/run_sft_Yi_6b.sh確保你有康達。如果沒有，請使用
mkdir -p ~ /miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~ /miniconda3/miniconda.sh
bash ~ /miniconda3/miniconda.sh -b -u -p ~ /miniconda3
rm -rf ~ /miniconda3/miniconda.sh
~ /miniconda3/bin/conda init bash
source ~ /.bashrc然後，創建一個 conda 環境：
conda create -n dev_env python=3.10 -y
conda activate dev_env
pip install torch==2.0.1 deepspeed==0.10 tensorboard transformers datasets sentencepiece accelerate ray==2.7對於Yi-6B型號，建議使用4個GPU的節點，每個GPU顯存大於60GB。
對於Yi-34B模型，由於使用零卸載技術會消耗大量CPU內存，因此請注意限制34B Finetune訓練中的GPU數量。請使用CUDA_VISIBLE_DEVICES來限制GPU的數量（如scripts/run_sft_Yi_34b.sh所示）。
微調 34B 模型的典型硬體設定是具有 8 個 GPU 的節點（透過 CUDA_VISIBLE_DEVICES=0,1,2,3 限制運行中的 4 個），每個 GPU 記憶體大於 80GB，總 CPU 記憶體大於 900GB。
將基於 LLM 的模型下載到 MODEL_PATH（6B 和 34B）。典型的模型資料夾如下：
| -- $MODEL_PATH
| | -- config.json
| | -- pytorch_model-00001-of-00002.bin
| | -- pytorch_model-00002-of-00002.bin
| | -- pytorch_model.bin.index.json
| | -- tokenizer_config.json
| | -- tokenizer.model
| | -- ...從huggingface下載資料集到本機儲存DATA_PATH，例如Dahoas/rm-static。
| -- $DATA_PATH
| | -- data
| | | -- train-00000-of-00001-2a1df75c6bce91ab.parquet
| | | -- test-00000-of-00001-8c7c51afc6d45980.parquet
| | -- dataset_infos.json
| | -- README.md finetune/yi_example_dataset有範例資料集，修改自 BAAI/COIG
| -- $DATA_PATH
| --data
| -- train.jsonl
| -- eval.jsonl cd進入腳本資料夾，複製並貼上腳本，然後運行。例如：
cd finetune/scripts
bash run_sft_Yi_6b.sh對於Yi-6B基礎模型，設定training_debug_steps=20和num_train_epochs=4可以輸出聊天模型，大約需要20分鐘。
對於Yi-34B基礎模型來說，初始化需要相對較長的時間。請耐心等待。
cd finetune/scripts
bash run_eval.sh然後您將看到基本模型和微調模型的答案。
[回到頂部⬆️]
python quantization/gptq/quant_autogptq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_code完成後，您可以如下評估產生的模型：
python quantization/gptq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeGPT-Q 是一種 PTQ（訓練後量化）方法。它可以節省記憶體並提供潛在的加速，同時保持模型的準確性。
Yi 模型無需太多努力就可以進行 GPT-Q 量化。我們在下面提供了逐步教程。
為了運行 GPT-Q，我們將使用 AutoGPTQ 和 exllama。 Huggingface Transformer 整合了 optimization 和 auto-gptq，可以在語言模型上執行 GPTQ 量化。
提供了quant_autogptq.py腳本供您執行 GPT-Q 量化：
python quant_autogptq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code您可以使用eval_quantized_model.py運行量化模型：
python eval_quantized_model.py --model /quantized_model --trust_remote_codepython quantization/awq/quant_autoawq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_code完成後，您可以如下評估產生的模型：
python quantization/awq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeAWQ 是一種 PTQ（訓練後量化）方法。它是適用於 LLM 的高效且準確的低位權重量化 (INT3/4)。
Yi 模型無需太多努力即可進行 AWQ 量化。我們在下面提供了逐步教程。
為了運行 AWQ，我們將使用 AutoAWQ。
提供了quant_autoawq.py腳本供您執行 AWQ 量化：
python quant_autoawq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code您可以使用eval_quantized_model.py運行量化模型：
python eval_quantized_model.py --model /quantized_model --trust_remote_code[回到頂部⬆️]
如果您想部署 Yi 模型，請確保滿足軟體和硬體要求。
在使用 Yi 量化模型之前，請確保您已安裝下列正確的軟體。
| 模型 | 軟體 |
|---|---|
| Yi 4位元量化模型 | AWQ 和 CUDA |
| Yi 8位元量化模型 | GPTQ 和 CUDA |
在您的環境中部署 Yi 之前，請確保您的硬體符合以下要求。
| 模型 | 最小顯存 | 推薦的 GPU 範例 |
|---|---|---|
| Yi-6B-聊天 | 15GB | 1 個 RTX 3090 (24 GB) 1 個 RTX 4090 (24 GB) 1 個 A10（24 GB） 1 個 A30（24 GB） |
| Yi-6B-聊天-4bits | 4GB | 1 個 RTX 3060 (12 GB) 1 個 RTX 4060 (8 GB) |
| Yi-6B-聊天-8bits | 8GB | 1 個 RTX 3070 (8 GB) 1 個 RTX 4060 (8 GB) |
| Yi-34B-聊天 | 72GB | 4 個 RTX 4090 (24 GB) 1 個 A800（80GB） |
| Yi-34B-聊天-4bits | 20GB | 1 個 RTX 3090 (24 GB) 1 個 RTX 4090 (24 GB) 1 個 A10（24 GB） 1 個 A30（24 GB） 1 個 A100（40 GB） |
| Yi-34B-聊天-8位 | 38GB | 2 個 RTX 3090 (24 GB) 2 個 RTX 4090 (24 GB) 1 個 A800（40 GB） |
以下是不同批次用例下詳細的最低 VRAM 要求。
| 模型 | 批次=1 | 批次=4 | 批次=16 | 批次=32 |
|---|---|---|---|---|
| Yi-6B-聊天 | 12GB | 13GB | 15GB | 18GB |
| Yi-6B-聊天-4bits | 4GB | 5GB | 7GB | 10GB |
| Yi-6B-聊天-8bits | 7GB | 8GB | 10GB | 14GB |
| Yi-34B-聊天 | 65GB | 68GB | 76GB | > 80 GB |
| Yi-34B-聊天-4bits | 19GB | 20GB | 30GB | 40GB |
| Yi-34B-聊天-8位 | 35GB | 37GB | 46GB | 58GB |
| 模型 | 最小顯存 | 推薦的 GPU 範例 |
|---|---|---|
| 伊6B | 15GB | 1 個 RTX 3090 (24 GB) 1 個 RTX 4090 (24 GB) 1 個 A10（24 GB） 1 個 A30（24 GB） |
| 毅6B-200K | 50GB | 1 個 A800（80 GB） |
| 毅9B | 20GB | 1 個 RTX 4090 (24 GB) |
| 翼34B | 72GB | 4 個 RTX 4090 (24 GB) 1 個 A800（80 GB） |
| 毅-34B-200K | 200GB | 4 個 A800（80 GB） |
[回到頂部⬆️]
Yi-34B和Yi-34B-Chat上的全面微調之間的主要區別在於微調方法和結果。Yi-34B進行微調可能是您的首選。Yi-34B-Chat可能是您的最佳選擇。 在哪裡可以取得微調問答資料集？
微調 Yi-34B FP16 的 GPU 記憶體需求是多少？
微調 34B FP16 所需的 GPU 記憶體取決於所採用的特定微調方法。為了進行完整的參數微調，您需要 8 個 GPU，每個 GPU 具有 80 GB；然而，像 Lora 這樣更經濟的解決方案需要更少。欲了解更多詳情，請查看 hiyouga/LLaMA-Factory。另外，請考慮使用 BF16 代替 FP16 進行微調以優化效能。
是否有任何第三方平台支援 Yi-34b-200k 型號的聊天功能？
如果您正在尋找第三方聊天，選項包括 fireworks.ai。
歡迎來到易學習中心！
無論您是經驗豐富的開發人員還是新手，您都可以找到大量有用的教育資源來增強您對 Yi 模型的理解和技能，包括富有洞察力的部落格文章、全面的影片教學、實踐指南等。
您在這裡找到的內容是由知識淵博的彝族專家和熱情的愛好者慷慨貢獻的。我們對您所做的寶貴貢獻表示衷心的感謝！
同時，我們也熱情邀請您加入我們的行列，共同為易做出貢獻。如果您已經為 Yi 做出了貢獻，請隨時在下表中展示您的傑出作品。
所有這些資源都觸手可及，您就可以開始與 Yi 一起激動人心的旅程了。快樂學習！ ？
| 可交付成果 | 日期 | 作者 |
|---|---|---|
| 使用Dify、Meilisearch、零一萬物模型實現最簡單的RAG應用（三）：AI電影推薦 | 2024-05-20 | 蘇洋 |
| 使用autodl伺服器，在A40顯示卡上運行，Yi-34B-Chat-int4模型，並使用vllm優化加速，顯示佔用42G，速度18字-s | 2024-05-20 | 飛行物聯網 |
| Yi-VL最佳實踐 | 2024-05-20 | 模型範圍 |
| 一鍵運行零一萬物新鮮出爐Yi-1.5-9B-Chat大模型 | 2024-05-13 | 第二狀態 |
| 零一萬物開源系列大模型 | 2024-05-13 | 劉聰 |
| 零一萬物Yi-1.5系列模型發布並開源！ | 2024-05-13 | 模型範圍 |
| Yi-34B 本地部署 簡單測試 | 2024-05-13 | 漆妮妮 |
| 駕辰龍跨Llama持Wasm，玩Yi模型迎新春過大年（上） | 2024-05-13 | 值得的話 |
| 駕辰龍跨Llama持Wasm，玩Yi模型迎新春過大年（下篇） | 2024-05-13 | 值得的話 |
| Ollama新增兩個指令，開始支援零一萬物Yi-1.5系列模型 | 2024-05-13 | AI工程師筆記 |
| 使用零一萬物200K模型和Dify快速建立模型應用 | 2024-05-13 | 蘇洋 |
| (持更)零一萬物模型折騰筆記：社區 Yi-34B 模型模型使用 | 2024-05-13 | 蘇洋 |
| Python+ERNIE-4.0-8K-Yi-34B-Chat大模型初探 | 2024-05-11 | 江湖評談 |
| 技術佈道Vue及Python調用零一萬物模型及Prompt模板（透過百度千帆大模型平台） | 2024-05-11 | 木木實驗室 |
| 多模態大模型Yi-VL-plus體驗效果很棒 | 2024-04-27 | 大家好我是愛因 |
| 使用autodl伺服器，兩個3090顯示卡上運行，Yi-34B-Chat-int4模型，並使用vllm優化加速，顯示佔用42G，速度23字-s | 2024-04-27 | 飛行物聯網 |
| Yi-1.5-9B-Chat 入門 | 2024-04-27 | 第二狀態 |
| 基於零一萬物yi-vl-plus大模型簡單能夠批量生成Anki圖片筆記 | 2024-04-24 | 正經人王同學 |
| 【AI開發：語言】一、Yi-34B大型模型本地配置CPU與GPU版本 | 2024-04-21 | 我的夢想已經實現 |
| 【Yi-34B-Chat-Int4】使用42080Ti顯示卡11G版本，運行Yi-34B模型，5年前老顯示卡是支援的，可以正常運行，速度21個words-s，vllm要求算力在7以上的顯示卡就可以 | 2024-03-22 | 飛行物聯網 |
| 零一萬物大模型部署+配置總結 | 2024-03-22 | v_wus |
| 零一萬物Yi大模型vllm推理時Yi-34B或Yi-6bchat重複輸出的解 | 2024-03-02 | 郝鎧鋒 |
| Yi-34B 訓練 | 2024-03-02 | LSJLND |
| 實測零一萬物Yi-VL多模態語言模型：能準確“識圖吃瓜” | 2024-02-02 | 蘇洋 |
| 零一萬物開源Yi-VL多模態大模型，魔搭社群推理&姿勢最佳實踐來啦！ | 2024-01-26 | 模型範圍 |
| 單卡 3 小時訓練 Yi-6B 大模型 Agent：基於 Llama Factory 實戰 | 2024-01-22 | 鄭耀威 |
| 零一科技Yi-34B Chat大模型環境搭建&推理 | 2024-01-15 | 要養家的會計師 |
| 基於LLaMA Factory，單卡3小時訓練專屬大模型Agent | 2024-01-15 | 機器學習社區 |
| 雙卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全記錄 | 2024-01-02 | 漆妮妮 |
| 【大模型部署實踐-3】3個能在3090上跑起來的4位量化聊天模型（baichuan2-13b、InternLM-20b、Yi-34b） | 2024-01-02 | aq_Seabiscuit |
| 壓縮24G 顯存，用vllm 跑起來 Yi-34B 中英雙語大模型 | 2023-12-28 | 漆妮妮 |
| 零一萬物模型官方Yi-34B模型本地離線運行部署使用筆記（物理機和docker兩種配置方式），200K超長文本內容，34B乾翻一眾70B模型，打榜分數那麼高，這個模型到底行不行？ | 2023-12-28 | 代碼講故事 |
| LLM - 大模型速遞之 Yi-34B 入門與 LoRA 扭矩 | 2023-12-18 | BIT_666 |
| 透過vllm框架進行大模型推理 | 2023-12-18 | 土山砲 |
| CPU推理，非常見大模型混合解法：「二三五六」位元解算方案 | 2023-12-12 | 蘇洋 |
| 零一萬物模型折騰筆記：官方 Yi-34B 模型基礎使用 | 2023-12-10 | 蘇洋 |
| 使用 LlamaEdge 在本地運行 Yi-34B-Chat | 2023-11-30 | 第二狀態 |
| 本地運行零一物體34B大模型，使用Llama.cpp & 21G顯存 | 2023-11-26 | 蘇洋 |
| 可交付成果 | 日期 | 作者 |
|---|---|---|
| 易打開代理 | 2024-05-11 | 蘇洋 |
| 基於零一萬物Yi模型和B站建立大語言模型高品質訓練資料集 | 2024-04-29 | 正經人王同學 |
| 基於影片網站和零一萬物大模型建立大語言模型高品質訓練資料集 | 2024-04-25 | 正經人王同學 |
| 基於零一萬物yi-34b-chat-200k輸入任一文章地址，點擊按鈕即可產生無廣告或推廣內容的簡短筆記，並產生分享圖給好友 | 2024-04-24 | 正經人王同學 |
| 食品-GPT-Yi-模型 | 2024-04-21 | 休伯特小號 |
| 可交付成果 | 日期 | 作者 |
|---|---|---|
| 在 IoT 設備上執行 dolphin-2.2-yi-34b | 2023-11-30 | 第二狀態 |
| 壓縮24G 顯存，用vllm 跑起來 Yi-34B 中英雙語大模型 | 2023-12-28 | 漆妮妮 |
| 本地安裝 Yi 34B - 中英雙文法碩士 | 2023-11-05 | 法赫德·米爾扎 |
| Dolphin Yi 34b - 經過測試的全新基礎模型 | 2023-11-27 | 馬修伯曼 |
| Yi-VL-34B 多模態大模型 - 用兩張 A40 顯示卡跑起來 | 2024-01-28 | 漆妮妮 |
| 4060Ti 16G顯示卡安裝零一開源最新開源的Yi-1.5版大語言模型 | 2024-05-14 | 泰坦909 |
| Yi-1.5：真正的 Apache 2.0 LLAMA-3 競爭對手 | 2024-05-13 | 及時工程 |
| 本地安裝 Yi-1.5 模型 - 在各種基準測試中擊敗 Llama 3 | 2024-05-13 | 法赫德·米爾扎 |
| 如何安裝 Ollama 並運行 Yi 6B | 2024-05-13 | 裡達·戴維斯 |
| 地表最強混合智慧AI助理：llama3_70B+Yi_34B+Qwen1.5_110B | 2024-05-04 | 朱札特 |
| ChatDoc學術論文輔助--基於Yi-34B和langchain進行PDF知識庫問答 | 2024-05-03 | 朱札特 |
| 基於Yi-34B的領域知識問答專案練習 | 2024-05-02 | 朱札特 |
| 使用RTX4090+GaLore演算法全參參數Yi-6B大模型 | 2024-03-24 | 小工比亞創辦人 |
| 無內容審查NSFW大語言模型Yi-34B-Chat新增版本測試,RolePlay,《天龍八部》馬夫人康敏,本地GPU,CPU運行 | 2024-03-20 | 劉悅的技術博客 |
| 無內容審查NSFW大語言模型整合包,Yi-34B-Chat,本地CPU運行,角色扮演潘金蓮 | 2024-03-16 | 劉悅的技術博客 |
| 量化 Yi-34B-Chat 並在單卡 RTX 4090 使用 vLLM 部署 | 2024-03-05 | 白鴿巢 |
| Yi-VL-34B（5）：使用3個3090顯示卡24G版本，運行Yi-VL-34B模型，支援命令列和Web介面方式，理解圖片的內容轉換成文字 | 2024-02-27 | 飛行物聯網 |
| Win環境KoboldCpp本地部署大語言模型進行各種角色扮演遊戲 | 2024-02-25 | 魚蟲蟲 |
| 耗卡本地部署Yi-34B-Chat進行角色扮演遊戲 P2 | 2024-02-23 | 魚蟲蟲 |
| 【wails】（2）：使用go-llama.cpp運行yi-01-6b大模型，使用本地CPU運行，速度還可以，等待下版本更新 | 2024-02-20 | 飛行物聯網 |
| 【xinference】（6）：在autodl上，使用xinference部署yi-vl-chat和qwen-vl-chat模型，可以使用openai呼叫成功 | 2024-02-06 | 飛行物聯網 |
| 耗卡本地部署Yi-34B-Chat進行角色扮演遊戲 P1 | 2024-02-05 | 魚蟲蟲 |
| 2080Ti部署YI-34B大模型 xinference-oneapi-fastGPT 本地知識庫使用指南 | 2024-01-30 | 小飯護法要轉碼 |
| 最佳故事寫作 AI 模型 - 在 Windows 上本機安裝 Yi 6B 200K | 2024-01-22 | 法赫德·米爾扎 |
| Mac本地運行大語言模型方法與常見問題指南（Yi 34B模型+32 GB記憶體測試） | 2024-01-21 | 小吳蘋果機器人 |
| 【Dify知識庫】（11）：Dify0.4.9改造支援MySQL，成功接取yi-6b做對話，本地使用fastchat啟動，佔8G顯存，完成知識庫配置 | 2024-01-21 | 飛行物聯網 |
| 身為LLM先生有點暴躁,用的是YI-6B的確定版,#LLM #大語言模型#暴躁老哥 | 2024-01-20 | 曉漫吧 |
| 大模型推理 NvLink 橋接器有用嗎｜雙卡 A6000 測試一下 | 2024-01-17 | 漆妮妮 |
| 大模型推理 A40 vs A6000 誰更強 - 對比 Yi-34B 的單、雙卡推理性能 | 2024-01-15 | 漆妮妮 |
| C-Eval大語言模型運動基準-使用LM評估工具+vLLM跑起來 | 2024-01-11 | 漆妮妮 |
| 雙顯示卡部署 Yi-34B 大模型 - vLLM + Gradio 踩坑記錄 | 2024-01-01 | 漆妮妮 |
| 手部教學！ | 2023-12-26 | 白鴿巢 |
| 如何訓練企業自己的大語言模型？ | 2023-12-21 | 小工比亞創辦人 |
| Yi-34B（4）：使用4個2080Ti顯示卡11G版本，運行Yi-34B模型，支援5年前的老顯示卡，可以正常運行，速度21字/秒 | 2023-12-02 | 飛行物聯網 |
| 使用autodl伺服器，RTX 3090 * 3顯示卡上運行，Yi-34B-Chat模型，記憶體佔用60G | 2023-12-01 | 飛行物聯網 |
| 使用autodl伺服器，兩個3090顯示卡上運行，Yi-34B-Chat-int4模型，用vllm優化，增加--num-gpu 2，速度23字/秒 | 2023-12-01 | 飛行物聯網 |
| 大模型一鍵本地部署技術小白玩轉AI | 2023-12-01 | 科技小白玩轉AI |
| 01.AI的Yi-6B：概述與微調 | 2023-11-28 | 人工智慧創客空間 |
| Yi 34B Chat LLM 表現優於 Llama 70B | 2023-11-27 | DL資源管理器 |
| 如何在 m3 Max 上的 mac Yi 34b 上運行開源模型 | 2023-11-26 | 進階技術 |
| Yi-34B - 200K - 最好的新上下文視窗王 | 2023-11-24 | 及時工程 |
| Yi 34B：強大的中型型號的崛起 - 基礎、200k 和聊天 | 2023-11-24 | 薩姆·維特芬 |
| 在IoT裝置運行破解版李開復大模型dolphin-2.2-yi-34b（槐樹作為OpenAI API伺服器） | 2023-11-15 | 第二狀態 |
| 在 IoT 裝置上執行 dolphin-2.2-yi-34b（也可用作私人 OpenAI API 伺服器） | 2023-11-14 | 第二狀態 |
| 如何在 Windows 筆記型電腦上安裝 Yi 34B 200K Llamafied | 2023-11-11 | 法赫德·米爾扎 |
Yi 擁有全面的生態系統，提供一系列工具、服務和模型來豐富您的體驗並最大限度地提高生產力。
Yi系列模型遵循與Llama相同的模型架構。選擇 Yi，您可以利用 Llama 生態系統內的現有工具、庫和資源，無需建立新工具並提高開發效率。
例如，Yi系列模型以Llama模型的格式儲存。您可以直接使用LlamaForCausalLM和LlamaTokenizer來載入模型。有關詳細信息，請參閱使用聊天模型。
from transformers import AutoModelForCausalLM , AutoTokenizer
tokenizer = AutoTokenizer . from_pretrained ( "01-ai/Yi-34b" , use_fast = False )
model = AutoModelForCausalLM . from_pretrained ( "01-ai/Yi-34b" , device_map = "auto" )[回到頂部⬆️]
提示
請隨意創建 PR 並分享您使用 Yi 系列模型構建的出色作品。
為了幫助別人快速理解你的作品，建議使用
的格式。: +
如果您想在幾分鐘內掌握 Yi，您可以使用以下基於 Yi 建置的服務。
Yi-34B-Chat：您可以使用以下平台之一與 Yi 聊天：
Yi-6B-Chat（複製）：您可以透過設定附加參數和呼叫 API 來使用此模型，並提供更多選項。
ScaleLLM：您可以使用此服務在本機上運行 Yi 模型，並增加靈活性和客製化。
如果您的運算能力有限，您可以使用 Yi 的量化模型，如下所示。
這些量化模型降低了精度，但提高了效率，例如更快的推理速度和更小的 RAM 使用量。
如果您想探索 Yi 蓬勃發展的家族中的各種功能，您可以深入研究 Yi 的微調模型，如下所示。
TheBloke Models：該網站擁有許多源自各種法學碩士（包括 Yi）的微調模型。
這並不是 Yi 的詳盡列表，僅舉幾個按下載排序的：
SUSTech/SUS-Chat-34B：此模型在70B以下的所有模型中排名第一，表現優於兩倍大的deepseek-llm-67b-chat。您可以在 Open LLM 排行榜上查看結果。
OrionStarAI/OrionStar-Yi-34B-Chat-Llama：此模型在 OpenCompass LLM Leaderboard 的 C-Eval 和 CMMLU 評估中優於其他模型（例如 GPT-4、Qwen-14B-Chat、Baichuan2-13B-Chat）。
NousResearch/Nous-Capybara-34B：模型在 Capybara 資料集上使用 200K 上下文長度和 3 個 epoch 進行訓練。
[回到頂部⬆️]
Yi系列模型的詳細功能請參考01.AI的Yi: Open Foundation Models。
@misc{ai2024yi,
title={Yi: Open Foundation Models by 01.AI},
author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
year={2024},
eprint={2403.04652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Yi-34B-Chat模型展現了卓越的性能，在MMLU、CMMLU、BBH、GSM8k等基準測試中，在現有開源模型中排名第一。
* ：C-Eval 結果在驗證資料集上進行評估
Yi-34B和Yi-34B-200K模型在開源模型中脫穎而出，尤其在MMLU、CMMLU、常識推理、閱讀理解等方面表現出色。
Yi-9B 幾乎是一系列類似規模的開源模型（包括 Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5 等）中最好的，尤其表現出色程式碼、數學、常識推理與閱讀理解。
就整體能力（Mean-All）而言，Yi-9B 在同等規模的開源模型中表現最好，超過了 DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B 和 Gemma-7B。
在程式設計能力（Mean-Code）方面，Yi-9B的效能僅次於DeepSeek-Coder-7B，超過Yi-34B、SOLAR-10.7B、Mistral-7B和Gemma-7B。
在數學能力（Mean-Math）方面，Yi-9B的表現僅次於DeepSeek-Math-7B，超過SOLAR-10.7B、Mistral-7B和Gemma-7B。
在常識和推理能力（Mean-Text）方面，Yi-9B的表現與Mistral-7B、SOLAR-10.7B和Gemma-7B相當。
[回到頂部⬆️]
每個人！ ？ ✅
Yi系列模型的程式碼和權重在Apache 2.0許可證下分發，這意味著Yi系列模型可以免費用於個人使用、學術用途和商業用途。
[回到頂部⬆️]
向每一位為彝族社會做出貢獻的人們表示衷心的感謝！你們幫助 Yi 不僅僅是一個項目，更是一個充滿活力、不斷成長的創新之家。
[回到頂部⬆️]
我們在訓練過程中使用資料合規性檢查演算法，盡最大努力確保訓練後的模型的合規性。由於資料的複雜性和語言模型使用場景的多樣性，我們無法保證模型在所有場景下都能產生正確、合理的輸出。請注意，模型仍然存在產生有問題的輸出的風險。我們不對因誤用、誤導、非法使用和相關錯誤資訊以及任何相關資料安全問題而導致的任何風險和問題負責。
[回到頂部⬆️]
Yi-1.5系列模型的程式碼和權重在Apache 2.0許可證下分發。
如果您基於此模型創建衍生作品，請在您的衍生作品中包含以下歸屬：
This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.
[回到頂部⬆️]
