英语 | 中文
？拥抱脸•？模型范围•？明智的模型
? 在 GitHub 上提出问题或讨论想法
加入我们？不和谐或微信
查看易科技报告
在易学习中心成长
？在易科技博客学习
？ Yi系列模型是01.AI从零开始训练的下一代开源大语言模型。
？ Yi系列模型以双语语言模型为目标，在3T多语言语料库上进行训练，成为全球最强的LLM模型之一，在语言理解、常识推理、阅读理解等方面展现出良好的前景。例如，
Yi-34B-Chat 模型在 AlpacaEval 排行榜上排名第二（仅次于 GPT-4 Turbo） ，优于其他 LLM（例如 GPT-4、Mixtral、Claude）（基于截至 2024 年 1 月的可用数据）。
Yi-34B模型在Hugging Face Open LLM Leaderboard（预训练）和C-Eval等各种基准测试中，在所有现有开源模型（如Falcon-180B、Llama-70B、Claude）中英文和中文排名第一（基于截至 2023 年 11 月的可用数据）。
（感谢 Llama）感谢 Transformer 和 Llama 开源社区，因为它们减少了从头开始构建所需的工作量，并支持在 AI 生态系统中使用相同的工具。
长话短说
Yi系列模型采用与Llama相同的模型架构，但不是Llama的衍生品。
Yi 和 Llama 都基于 Transformer 结构，该结构自 2018 年以来一直是大型语言模型的标准架构。
Llama 基于 Transformer 架构，凭借其卓越的稳定性、可靠的收敛性和强大的兼容性，已成为大多数最先进开源模型的新基石。这使得 Llama 成为包括 Yi 在内的模型公认的基础框架。
得益于 Transformer 和 Llama 架构，其他模型可以利用它们的强大功能，减少从头开始构建所需的工作量，并能够在其生态系统中使用相同的工具。
然而，Yi 系列模型不是 Llama 的衍生品，因为它们不使用 Llama 的权重。
由于大多数开源模型都采用 Llama 的结构，因此决定模型性能的关键因素是训练数据集、训练管道和训练基础设施。
Yi以独特且专有的方式开发，完全从头开始独立创建了自己的高质量训练数据集、高效的训练管道和强大的训练基础设施。这一努力带来了优异的表现，Yi 系列模型在 2023 年 12 月的 Alpaca 排行榜上排名仅次于 GPT4，并超越 Llama。
[回到顶部⬆️]
Yi-9B-200K开源并向公众开放。Yi-9B开源并向公众开放。Yi-9B在一系列类似规模的开源模型（包括 Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5 等）中脱颖而出，成为表现最佳的模型，尤其擅长代码、数学、常识推理和阅读理解。Yi-VL-34B和Yi-VL-6B已开源并向公众开放。Yi-VL-34B在最新的基准测试中，在所有现有开源模型中排名第一，包括 MMMU 和 CMMMU（基于截至 2024 年 1 月的可用数据）。Yi-34B-ChatYi-34B-Chat-4bitsYi-34B-Chat-8bitsYi-6B-ChatYi-6B-Chat-4bitsYi-6B-Chat-8bits您可以在以下位置交互式地尝试其中一些：
Yi-6B-200K和Yi-34B-200K开源并向公众开放。Yi-6B和Yi-34B已开源并向公众开放。[回到顶部⬆️]
Yi 型号有多种尺寸，可满足不同的用例。您还可以微调 Yi 模型以满足您的特定要求。
如果您想部署 Yi 模型，请确保满足软件和硬件要求。
| 模型 | 下载 |
|---|---|
| Yi-34B-聊天 | •？拥抱脸•？模型范围•？明智的模型 |
| Yi-34B-聊天-4bits | •？拥抱脸•？模型范围•？明智的模型 |
| Yi-34B-聊天-8位 | •？拥抱脸•？模型范围•？明智的模型 |
| Yi-6B-聊天 | •？拥抱脸•？模型范围•？明智的模型 |
| Yi-6B-聊天-4bits | •？拥抱脸•？模型范围•？明智的模型 |
| Yi-6B-聊天-8bits | •？拥抱脸•？模型范围•？明智的模型 |
- 4 位系列模型由 AWQ 量化。
- 8位系列模型通过GPTQ量化
- 所有量化模型的使用门槛都很低，因为它们可以部署在消费级 GPU（例如 3090、4090）上。
| 模型 | 下载 |
|---|---|
| 翼34B | •？拥抱脸•？模型范围•？明智的模型 |
| 毅-34B-200K | •？拥抱脸•？模型范围•？明智的模型 |
| 毅9B | •？拥抱脸•？模型范围•？明智的模型 |
| 毅9B-200K | •？拥抱脸•？模型范围•？明智的模型 |
| 伊6B | •？拥抱脸•？模型范围•？明智的模型 |
| 毅6B-200K | •？拥抱脸•？模型范围•？明智的模型 |
- 200k大约相当于40万个汉字。
- 如果您想使用Yi-34B-200K的旧版本（2023年11月5日发布），请运行git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf下载权重。
| 模型 | 简介 | 默认上下文窗口 | 预训练令牌 | 训练数据日期 |
|---|---|---|---|---|
| 6B系列机型 | 它们适合个人和学术用途。 | 4K | 3T | 截至 2023 年 6 月 |
| 9B系列机型 | 它是 Yi 系列模型中最擅长编码和数学的。 | Yi-9B是在Yi-6B的基础上持续训练的，使用0.8T token。 | ||
| 34B系列型号 | 它们适合个人、学术和商业（特别是中小型企业）用途。这是一种经济高效的解决方案，价格实惠且具备应急能力。 | 3T |
对于聊天模型
然而，这种更高的多样性可能会加剧某些现有问题，包括：
[回到顶部⬆️]
提示：如果您想开始使用 Yi 模型并探索不同的推理方法，请查看 Yi Cookbook。
选择以下路径之一，开始您与 Yi 的旅程！
如果您更喜欢在本地部署 Yi 模型，
?♀️并且您有足够的资源（例如NVIDIA A800 80GB），您可以选择以下方法之一：
?♀️并且您的资源有限（例如MacBook Pro），您可以使用llama.cpp。
如果您不想在本地部署 Yi 模型，则可以使用以下任一选项探索 Yi 的功能。
如果你想探索 Yi 的更多特性，可以采用以下方法之一：
Yi API（Yi 官方）
Yi API（复制）
如果您想与 Yi 聊天时使用更多可自定义的选项（例如系统提示、温度、重复惩罚等），您可以尝试以下选项之一：
Yi-34B-Chat-Playground (Yi官方)
Yi-34B-聊天-游乐场（复制）
如果您想与 Yi 聊天，您可以使用以下在线服务之一，它们提供类似的用户体验：
Yi-34B-Chat（抱脸的彝族官方）
Yi-34B-Chat（Yi 官方测试版）
[回到顶部⬆️]
本教程将指导您完成在 A800 (80G) 上本地运行 Yi-34B-Chat然后执行推理的每个步骤。
确保安装了Python 3.10或更高版本。
如果您想运行其他 Yi 型号，请参阅软件和硬件要求。
要设置环境并安装所需的软件包，请执行以下命令。
git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txt您可以从以下来源下载 Yi 模型的权重和分词器：
您可以使用 Yi chat 或基础模型进行推理，如下所示。
创建一个名为quick_start.py的文件并将以下内容复制到其中。
from transformers import AutoModelForCausalLM , AutoTokenizer
model_path = ''
tokenizer = AutoTokenizer . from_pretrained ( model_path , use_fast = False )
# Since transformers 4.35.0, the GPT-Q/AWQ model can be loaded using AutoModelForCausalLM.
model = AutoModelForCausalLM . from_pretrained (
model_path ,
device_map = "auto" ,
torch_dtype = 'auto'
). eval ()
# Prompt content: "hi"
messages = [
{ "role" : "user" , "content" : "hi" }
]
input_ids = tokenizer . apply_chat_template ( conversation = messages , tokenize = True , add_generation_prompt = True , return_tensors = 'pt' )
output_ids = model . generate ( input_ids . to ( 'cuda' ))
response = tokenizer . decode ( output_ids [ 0 ][ input_ids . shape [ 1 ]:], skip_special_tokens = True )
# Model response: "Hello! How can I assist you today?"
print ( response )运行quick_start.py 。
python quick_start.py然后您可以看到类似于下面的输出。 ？
Hello ! How can I assist you today ? 翼34B
步骤类似于 pip - 使用 Yi 聊天模型进行推理。
您可以使用现有文件text_generation.py 。
python demo/text_generation.py --model < your-model-path >然后您可以看到类似于下面的输出。 ？
提示：让我给你讲一个关于猫汤姆和老鼠杰瑞的有趣故事，
世代：让我给你讲一个关于猫汤姆和老鼠杰瑞的有趣故事，发生在我的童年。我父亲有一座大房子，里面住着两只猫，用来捕老鼠。有一天，我一个人在家玩，发现一只雄猫仰面躺在厨房门口附近，看上去很像要我们送东西，但因为周围人太多而爬不起来！他又试了几分钟，最后还是放弃了……
毅9B
输入
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_DIR = " 01-ai/Yi-9B "
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype= " auto " )
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, use_fast=False)
input_text = " # write the quick sort algorithm "
inputs = tokenizer(input_text, return_tensors= " pt " ).to(model.device)
outputs = model.generate( ** inputs, max_length=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))输出
# write the quick sort algorithm
def quick_sort(arr):
if len(arr) < = 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
# test the quick sort algorithm
print(quick_sort([3, 6, 8, 10, 1, 2, 1]))[回到顶部⬆️]
确保您已安装 Docker 和 nvidia-container-toolkit。
docker run -it --gpus all
-v : /models
ghcr.io/01-ai/yi:latest
或者，您可以从registry.lingyiwanwu.com/ci/01-ai/yi:latest提取Yi Docker 镜像。
您可以使用 Yi chat 或基本模型进行推理，如下所示。
步骤类似于 pip - 使用 Yi 聊天模型进行推理。
请注意，唯一的区别是设置model_path = '而不是model_path = ' 。
步骤类似于 pip - 使用 Yi 基本模型进行推理。
请注意，唯一的区别是设置--model 而不是model 。
conda-lock为 conda 环境生成完全可重现的锁定文件。micromamba来安装这些依赖项。按照此处提供的说明安装 micromamba。
执行micromamba install -y -n yi -f conda-lock.yml创建名为yi conda 环境并安装必要的依赖项。
以下教程将指导您完成在本地运行量化模型（Yi-chat-6B-2bits）然后执行推理的每个步骤。
本教程假设您使用配备 16GB 内存和 Apple M2 Pro 芯片的 MacBook Pro。
确保您的计算机上安装了git-lfs 。
llama.cpp要克隆llama.cpp存储库，请运行以下命令。
git clone [email protected]:ggerganov/llama.cpp.git2.1 要仅使用指针克隆 XeIaso/yi-chat-6B-GGUF，请运行以下命令。
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF2.2 要下载量化的 Yi 模型（yi-chat-6b.Q2_K.gguf），请运行以下命令。
git-lfs pull --include yi-chat-6b.Q2_K.gguf要使用 Yi 模型进行推理，您可以使用以下方法之一。
方法一：在终端进行推理
方法2：在Web中进行推理
要使用 4 线程编译llama.cpp然后进行推理，请导航到llama.cpp目录，然后运行以下命令。
尖端
将
/Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf替换为模型的实际路径。默认情况下，模型在完成模式下运行。
对于其他输出自定义选项（例如系统提示、温度、重复惩罚等），请运行
./main -h查看详细说明和用法。
make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p " How do you feed your pet fox? Please answer this question in 6 simple steps:nStep 1: " -n 384 -e
...
How do you feed your pet fox ? Please answer this question in 6 simple steps:
Step 1: Select the appropriate food for your pet fox. You should choose high-quality, balanced prey items that are suitable for their unique dietary needs. These could include live or frozen mice, rats, pigeons, or other small mammals, as well as fresh fruits and vegetables.
Step 2: Feed your pet fox once or twice a day, depending on the species and its individual preferences. Always ensure that they have access to fresh water throughout the day.
Step 3: Provide an appropriate environment for your pet fox. Ensure it has a comfortable place to rest, plenty of space to move around, and opportunities to play and exercise.
Step 4: Socialize your pet with other animals if possible. Interactions with other creatures can help them develop social skills and prevent boredom or stress.
Step 5: Regularly check for signs of illness or discomfort in your fox. Be prepared to provide veterinary care as needed, especially for common issues such as parasites, dental health problems, or infections.
Step 6: Educate yourself about the needs of your pet fox and be aware of any potential risks or concerns that could affect their well-being. Regularly consult with a veterinarian to ensure you are providing the best care.
...
现在你已经成功向Yi模型提问并得到了答案！ ？
要初始化轻量级且快速的聊天机器人，请运行以下命令。
cd llama.cpp
./server --ctx-size 2048 --host 0.0.0.0 --n-gpu-layers 64 --model /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf然后你可以得到这样的输出：
...
llama_new_context_with_model: n_ctx = 2048
llama_new_context_with_model: freq_base = 5000000.0
llama_new_context_with_model: freq_scale = 1
ggml_metal_init: allocating
ggml_metal_init: found device: Apple M2 Pro
ggml_metal_init: picking default device: Apple M2 Pro
ggml_metal_init: ggml.metallib not found, loading from source
ggml_metal_init: GGML_METAL_PATH_RESOURCES = nil
ggml_metal_init: loading ' /Users/yu/llama.cpp/ggml-metal.metal '
ggml_metal_init: GPU name: Apple M2 Pro
ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008)
ggml_metal_init: hasUnifiedMemory = true
ggml_metal_init: recommendedMaxWorkingSetSize = 11453.25 MB
ggml_metal_init: maxTransferRate = built-in GPU
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 128.00 MiB, ( 2629.44 / 10922.67)
llama_new_context_with_model: KV self size = 128.00 MiB, K (f16): 64.00 MiB, V (f16): 64.00 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 0.02 MiB, ( 2629.45 / 10922.67)
llama_build_graph: non-view tensors processed: 676/676
llama_new_context_with_model: compute buffer total size = 159.19 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 156.02 MiB, ( 2785.45 / 10922.67)
Available slots:
- > Slot 0 - max context: 2048
llama server listening at http://0.0.0.0:8080要访问聊天机器人界面，请打开 Web 浏览器并在地址栏中输入http://0.0.0.0:8080 。
在提示窗口中输入问题，例如“您如何喂养您的宠物狐狸？请通过6个简单步骤回答这个问题”，您将收到相应的答案。
[回到顶部⬆️]
您可以为 Yi聊天模型构建 Web UI 演示（请注意，此方案不支持 Yi 基本模型）。
步骤 1：准备环境。
第2步：下载Yi模型。
步骤 3. 要在本地启动 Web 服务，请运行以下命令。
python demo/web_demo.py -c < your-model-path >您可以通过在浏览器中输入控制台中提供的地址来访问 Web UI。
[回到顶部⬆️]
bash finetune/scripts/run_sft_Yi_6b.sh完成后，您可以使用以下命令比较微调模型和基础模型：
bash finetune/scripts/run_eval.sh默认情况下，我们使用 BAAI/COIG 的小型数据集来微调基本模型。您还可以使用以下jsonl格式准备自定义数据集：
{ "prompt" : " Human: Who are you? Assistant: " , "chosen" : " I'm Yi. " }然后将它们挂载到容器中以替换默认的：
docker run -it
-v /path/to/save/finetuned/model/:/finetuned-model
-v /path/to/train.jsonl:/yi/finetune/data/train.json
-v /path/to/eval.jsonl:/yi/finetune/data/eval.json
ghcr.io/01-ai/yi:latest
bash finetune/scripts/run_sft_Yi_6b.sh确保你有康达。如果没有，请使用
mkdir -p ~ /miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~ /miniconda3/miniconda.sh
bash ~ /miniconda3/miniconda.sh -b -u -p ~ /miniconda3
rm -rf ~ /miniconda3/miniconda.sh
~ /miniconda3/bin/conda init bash
source ~ /.bashrc然后，创建一个 conda 环境：
conda create -n dev_env python=3.10 -y
conda activate dev_env
pip install torch==2.0.1 deepspeed==0.10 tensorboard transformers datasets sentencepiece accelerate ray==2.7对于Yi-6B型号，建议使用4个GPU的节点，每个GPU显存大于60GB。
对于Yi-34B模型，由于使用零卸载技术会消耗大量CPU内存，因此请注意限制34B Finetune训练中的GPU数量。请使用CUDA_VISIBLE_DEVICES来限制GPU的数量（如scripts/run_sft_Yi_34b.sh所示）。
微调 34B 模型的典型硬件设置是具有 8 个 GPU 的节点（通过 CUDA_VISIBLE_DEVICES=0,1,2,3 限制运行中的 4 个），每个 GPU 内存大于 80GB，总 CPU 内存大于 900GB。
将基于 LLM 的模型下载到 MODEL_PATH（6B 和 34B）。典型的模型文件夹如下：
| -- $MODEL_PATH
| | -- config.json
| | -- pytorch_model-00001-of-00002.bin
| | -- pytorch_model-00002-of-00002.bin
| | -- pytorch_model.bin.index.json
| | -- tokenizer_config.json
| | -- tokenizer.model
| | -- ...从huggingface下载数据集到本地存储DATA_PATH，例如Dahoas/rm-static。
| -- $DATA_PATH
| | -- data
| | | -- train-00000-of-00001-2a1df75c6bce91ab.parquet
| | | -- test-00000-of-00001-8c7c51afc6d45980.parquet
| | -- dataset_infos.json
| | -- README.md finetune/yi_example_dataset有示例数据集，修改自 BAAI/COIG
| -- $DATA_PATH
| --data
| -- train.jsonl
| -- eval.jsonl cd进入脚本文件夹，复制并粘贴脚本，然后运行。例如：
cd finetune/scripts
bash run_sft_Yi_6b.sh对于Yi-6B基础模型，设置training_debug_steps=20和num_train_epochs=4可以输出聊天模型，大约需要20分钟。
对于Yi-34B基础模型来说，初始化需要相对较长的时间。请耐心等待。
cd finetune/scripts
bash run_eval.sh然后您将看到基本模型和微调模型的答案。
[回到顶部⬆️]
python quantization/gptq/quant_autogptq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_code完成后，您可以按如下方式评估生成的模型：
python quantization/gptq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeGPT-Q 是一种 PTQ（训练后量化）方法。它可以节省内存并提供潜在的加速，同时保持模型的准确性。
Yi 模型无需太多努力就可以进行 GPT-Q 量化。我们在下面提供了分步教程。
为了运行 GPT-Q，我们将使用 AutoGPTQ 和 exllama。 Huggingface Transformer 集成了 optimization 和 auto-gptq，可以在语言模型上执行 GPTQ 量化。
提供了quant_autogptq.py脚本供您执行 GPT-Q 量化：
python quant_autogptq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code您可以使用eval_quantized_model.py运行量化模型：
python eval_quantized_model.py --model /quantized_model --trust_remote_codepython quantization/awq/quant_autoawq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_code完成后，您可以按如下方式评估生成的模型：
python quantization/awq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeAWQ 是一种 PTQ（训练后量化）方法。它是适用于 LLM 的高效且准确的低位权重量化 (INT3/4)。
Yi 模型无需太多努力即可进行 AWQ 量化。我们在下面提供了分步教程。
为了运行 AWQ，我们将使用 AutoAWQ。
提供了quant_autoawq.py脚本供您执行 AWQ 量化：
python quant_autoawq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code您可以使用eval_quantized_model.py运行量化模型：
python eval_quantized_model.py --model /quantized_model --trust_remote_code[回到顶部⬆️]
如果您想部署 Yi 模型，请确保满足软件和硬件要求。
在使用 Yi 量化模型之前，请确保您已安装下列正确的软件。
| 模型 | 软件 |
|---|---|
| Yi 4位量化模型 | AWQ 和 CUDA |
| Yi 8位量化模型 | GPTQ 和 CUDA |
在您的环境中部署 Yi 之前，请确保您的硬件满足以下要求。
| 模型 | 最小显存 | 推荐的 GPU 示例 |
|---|---|---|
| Yi-6B-聊天 | 15GB | 1 个 RTX 3090 (24 GB) 1 个 RTX 4090 (24 GB) 1 个 A10（24 GB） 1 个 A30（24 GB） |
| Yi-6B-聊天-4bits | 4GB | 1 个 RTX 3060 (12 GB) 1 个 RTX 4060 (8 GB) |
| Yi-6B-聊天-8bits | 8GB | 1 个 RTX 3070 (8 GB) 1 个 RTX 4060 (8 GB) |
| Yi-34B-聊天 | 72GB | 4 个 RTX 4090 (24 GB) 1 个 A800（80GB） |
| Yi-34B-聊天-4bits | 20GB | 1 个 RTX 3090 (24 GB) 1 个 RTX 4090 (24 GB) 1 个 A10（24 GB） 1 个 A30（24 GB） 1 个 A100（40 GB） |
| Yi-34B-聊天-8位 | 38GB | 2 个 RTX 3090 (24 GB) 2 个 RTX 4090 (24 GB) 1 个 A800（40 GB） |
以下是不同批次用例下详细的最低 VRAM 要求。
| 模型 | 批次=1 | 批次=4 | 批次=16 | 批次=32 |
|---|---|---|---|---|
| Yi-6B-聊天 | 12GB | 13GB | 15GB | 18GB |
| Yi-6B-聊天-4bits | 4GB | 5GB | 7GB | 10GB |
| Yi-6B-聊天-8bits | 7GB | 8GB | 10GB | 14GB |
| Yi-34B-聊天 | 65GB | 68GB | 76GB | > 80 GB |
| Yi-34B-聊天-4bits | 19GB | 20GB | 30GB | 40GB |
| Yi-34B-聊天-8位 | 35GB | 37GB | 46GB | 58GB |
| 模型 | 最小显存 | 推荐的 GPU 示例 |
|---|---|---|
| 伊6B | 15GB | 1 个 RTX 3090 (24 GB) 1 个 RTX 4090 (24 GB) 1 个 A10（24 GB） 1 个 A30（24 GB） |
| 毅6B-200K | 50GB | 1 个 A800（80 GB） |
| 毅9B | 20GB | 1 个 RTX 4090 (24 GB) |
| 翼34B | 72GB | 4 个 RTX 4090 (24 GB) 1 个 A800（80 GB） |
| 毅-34B-200K | 200GB | 4 个 A800（80 GB） |
[回到顶部⬆️]
Yi-34B和Yi-34B-Chat上的全面微调之间的主要区别在于微调方法和结果。Yi-34B进行微调可能是您的首选。Yi-34B-Chat可能是您的最佳选择。 在哪里可以获取微调问答数据集？
微调 Yi-34B FP16 的 GPU 内存要求是多少？
微调 34B FP16 所需的 GPU 内存取决于所采用的具体微调方法。为了进行完整的参数微调，您需要 8 个 GPU，每个 GPU 具有 80 GB；然而，像 Lora 这样更经济的解决方案需要更少。欲了解更多详情，请查看 hiyouga/LLaMA-Factory。另外，请考虑使用 BF16 代替 FP16 进行微调以优化性能。
是否有任何第三方平台支持 Yi-34b-200k 型号的聊天功能？
如果您正在寻找第三方聊天，选项包括 fireworks.ai。
欢迎来到易学习中心！
无论您是经验丰富的开发人员还是新手，您都可以找到大量有用的教育资源来增强您对 Yi 模型的理解和技能，包括富有洞察力的博客文章、全面的视频教程、实践指南等。
您在这里找到的内容是由知识渊博的彝族专家和热情的爱好者慷慨贡献的。我们对您做出的宝贵贡献表示衷心的感谢！
同时，我们也热忱邀请您加入我们的行列，共同为易做出贡献。如果您已经为 Yi 做出了贡献，请随时在下表中展示您的杰出工作。
所有这些资源都触手可及，您就可以开始与 Yi 一起激动人心的旅程了。快乐学习！ ？
| 可交付成果 | 日期 | 作者 |
|---|---|---|
| 使用Dify、Meilisearch、零一万物模型实现最简单的RAG应用（三）：AI电影推荐 | 2024-05-20 | 苏洋 |
| 使用autodl服务器，在A40显卡上运行，Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度18字-s | 2024-05-20 | 飞行物联网 |
| Yi-VL最佳实践 | 2024-05-20 | 模型范围 |
| 一键运行零一万物新鲜出炉Yi-1.5-9B-Chat大模型 | 2024-05-13 | 第二状态 |
| 零一万物开源系列大模型 | 2024-05-13 | 刘聪 |
| 零一万物Yi-1.5系列模型发布并开源！ 34B-9B-6B多尺寸，魔搭社区推理最佳实践教程来啦！ | 2024-05-13 | 模型范围 |
| Yi-34B 本地部署 简单测试 | 2024-05-13 | 漆妮妮 |
| 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年（上） | 2024-05-13 | 值得的话 |
| 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年（下篇） | 2024-05-13 | 值得的话 |
| Ollama新增两个命令，开始支持零一万物Yi-1.5系列模型 | 2024-05-13 | AI工程师笔记 |
| 使用零一万物200K模型和Dify快速搭建模型应用 | 2024-05-13 | 苏洋 |
| (持更)零一万物模型折腾笔记：社区 Yi-34B 模型模型使用 | 2024-05-13 | 苏洋 |
| Python+ERNIE-4.0-8K-Yi-34B-Chat大模型初探 | 2024-05-11 | 江湖评谈 |
| 技术布道Vue及Python调用零一万物模型和Prompt模板（通过百度千帆大模型平台） | 2024-05-11 | 木木实验室 |
| 多模态大模型Yi-VL-plus体验效果很棒 | 2024-04-27 | 大家好我是爱因 |
| 使用autodl服务器，两个3090显卡上运行，Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度23字-s | 2024-04-27 | 飞行物联网 |
| Yi-1.5-9B-Chat 入门 | 2024-04-27 | 第二状态 |
| 基于零一万物yi-vl-plus大模型简单能够批量生成Anki图片笔记 | 2024-04-24 | 正经人王同学 |
| 【AI开发：语言】一、Yi-34B大型模型本地配置CPU和GPU版本 | 2024-04-21 | 我的梦想已经实现 |
| 【Yi-34B-Chat-Int4】使用42080Ti显卡11G版本，运行Yi-34B模型，5年前老显卡是支持的，可以正常运行，速度21个words-s，vllm要求算力在7以上的显卡就可以 | 2024-03-22 | 飞行物联网 |
| 零一万物大模型部署+配置总结 | 2024-03-22 | v_wus |
| 零一万物Yi大模型vllm推理时Yi-34B或Yi-6bchat重复输出的解决方案 | 2024-03-02 | 郝铠锋 |
| Yi-34B 训练 | 2024-03-02 | LSJLND |
| 实测零一万物Yi-VL多模态语言模型：能准确“识图吃瓜” | 2024-02-02 | 苏洋 |
| 零一万物开源Yi-VL多模态大模型，魔搭社区推理&姿势最佳实践来啦！ | 2024-01-26 | 模型范围 |
| 单卡 3 小时训练 Yi-6B 大模型 Agent：基于 Llama Factory 实战 | 2024-01-22 | 郑耀威 |
| 零一科技Yi-34B Chat大模型环境搭建&推理 | 2024-01-15 | 要养家的会计师 |
| 基于LLaMA Factory，单卡3小时训练专属大模型Agent | 2024-01-15 | 机器学习社区 |
| 双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录 | 2024-01-02 | 漆妮妮 |
| 【大模型部署实践-3】3个能在3090上跑起来的4位量化聊天模型（baichuan2-13b、InternLM-20b、Yi-34b） | 2024-01-02 | aq_Seabiscuit |
| 压缩24G 显存，用vllm 跑起来 Yi-34B 中英双语大模型 | 2023-12-28 | 漆妮妮 |
| 零一万物模型官方Yi-34B模型本地离线运行部署使用笔记（物理机和docker两种配置方式），200K超长文本内容，34B干翻一众70B模型，打榜分数那么高，这个模型到底行不行？ | 2023-12-28 | 代码讲故事 |
| LLM - 大模型速递之 Yi-34B 入门与 LoRA 扭矩 | 2023-12-18 | BIT_666 |
| 通过vllm框架进行大模型推理 | 2023-12-18 | 土山炮 |
| CPU推理，非常见大模型混合求解方案：“二三五六”位求解方案 | 2023-12-12 | 苏洋 |
| 零一万物模型折腾笔记：官方 Yi-34B 模型基础使用 | 2023-12-10 | 苏洋 |
| 使用 LlamaEdge 在本地运行 Yi-34B-Chat | 2023-11-30 | 第二状态 |
| 本地运行零一物体34B大模型，使用Llama.cpp & 21G显存 | 2023-11-26 | 苏洋 |
| 可交付成果 | 日期 | 作者 |
|---|---|---|
| 易打开代理 | 2024-05-11 | 苏洋 |
| 基于零一万物Yi模型和B站构建大语言模型高质量训练数据集 | 2024-04-29 | 正经人王同学 |
| 基于视频网站和零一万物大模型构建大语言模型高质量训练数据集 | 2024-04-25 | 正经人王同学 |
| 基于零一万物yi-34b-chat-200k输入任意文章地址，点击按钮即可生成无广告或推广内容的简要笔记，并生成分享图给好友 | 2024-04-24 | 正经人王同学 |
| 食品-GPT-Yi-模型 | 2024-04-21 | 休伯特小号 |
| 可交付成果 | 日期 | 作者 |
|---|---|---|
| 在 IoT 设备上运行 dolphin-2.2-yi-34b | 2023-11-30 | 第二状态 |
| 压缩24G 显存，用vllm 跑起来 Yi-34B 中英双语大模型 | 2023-12-28 | 漆妮妮 |
| 本地安装 Yi 34B - 中英双语法学硕士 | 2023-11-05 | 法赫德·米尔扎 |
| Dolphin Yi 34b - 经过测试的全新基础模型 | 2023-11-27 | 马修伯曼 |
| Yi-VL-34B 多模态大模型 - 用两张 A40 显卡跑起来 | 2024-01-28 | 漆妮妮 |
| 4060Ti 16G显卡安装零一开源最新开源的Yi-1.5版大语言模型 | 2024-05-14 | 泰坦909 |
| Yi-1.5：真正的 Apache 2.0 LLAMA-3 竞争对手 | 2024-05-13 | 及时工程 |
| 本地安装 Yi-1.5 模型 - 在各种基准测试中击败 Llama 3 | 2024-05-13 | 法赫德·米尔扎 |
| 如何安装 Ollama 并运行 Yi 6B | 2024-05-13 | 里达·戴维斯 |
| 地表最强混合智能AI助手：llama3_70B+Yi_34B+Qwen1.5_110B | 2024-05-04 | 朱扎特 |
| ChatDoc学术论文辅助--基于Yi-34B和langchain进行PDF知识库问答 | 2024-05-03 | 朱扎特 |
| 基于Yi-34B的领域知识问答项目练习 | 2024-05-02 | 朱扎特 |
| 使用RTX4090+GaLore算法全参参数Yi-6B大模型 | 2024-03-24 | 小工比亚创始人 |
| 无内容审查NSFW大语言模型Yi-34B-Chat新增版本测试,RolePlay,《天龙八部》马夫人康敏,本地GPU,CPU运行 | 2024-03-20 | 刘悦的技术博客 |
| 无内容审查NSFW大语言模型整合包,Yi-34B-Chat,本地CPU运行,角色扮演潘金莲 | 2024-03-16 | 刘悦的技术博客 |
| 量化 Yi-34B-Chat 并在单卡 RTX 4090 使用 vLLM 部署 | 2024-03-05 | 白鸽巢 |
| Yi-VL-34B（5）：使用3个3090显卡24G版本，运行Yi-VL-34B模型，支持命令行和Web界面方式，理解图片的内容转换成文字 | 2024-02-27 | 飞行物联网 |
| Win环境KoboldCpp本地部署大语言模型进行各种角色扮演游戏 | 2024-02-25 | 鱼虫虫 |
| 耗卡本地部署Yi-34B-Chat进行角色扮演游戏 P2 | 2024-02-23 | 鱼虫虫 |
| 【wails】（2）：使用go-llama.cpp运行yi-01-6b大模型，使用本地CPU运行，速度还可以，等待下版本更新 | 2024-02-20 | 飞行物联网 |
| 【xinference】（6）：在autodl上，使用xinference部署yi-vl-chat和qwen-vl-chat模型，可以使用openai调用成功 | 2024-02-06 | 飞行物联网 |
| 耗卡本地部署Yi-34B-Chat进行角色扮演游戏 P1 | 2024-02-05 | 鱼虫虫 |
| 2080Ti部署YI-34B大模型 xinference-oneapi-fastGPT 本地知识库使用指南 | 2024-01-30 | 小饭护法要转码 |
| 最佳故事写作 AI 模型 - 在 Windows 上本地安装 Yi 6B 200K | 2024-01-22 | 法赫德·米尔扎 |
| Mac本地运行大语言模型方法与常见问题指南（Yi 34B模型+32 GB内存测试） | 2024-01-21 | 小吴苹果机器人 |
| 【Dify知识库】（11）：Dify0.4.9改造支持MySQL，成功接入yi-6b做对话，本地使用fastchat启动，占8G显存，完成知识库配置 | 2024-01-21 | 飞行物联网 |
| 作为LLM先生有点暴躁,用的是YI-6B的确定版,#LLM #大语言模型#暴躁老哥 | 2024-01-20 | 晓漫吧 |
| 大模型推理 NvLink 桥接器有用吗｜双卡 A6000 测试一下 | 2024-01-17 | 漆妮妮 |
| 大模型推理 A40 vs A6000 谁更强 - 对比 Yi-34B 的单、双卡推理性能 | 2024-01-15 | 漆妮妮 |
| C-Eval大语言模型体育基准-使用LM评估工具+vLLM跑起来 | 2024-01-11 | 漆妮妮 |
| 双显卡部署 Yi-34B 大模型 - vLLM + Gradio 踩坑记录 | 2024-01-01 | 漆妮妮 |
| 手部教学！使用vLLM快速配置Yi-34B-Chat | 2023-12-26 | 白鸽巢 |
| 如何训练企业自己的大语言模型？Yi-6B LORA 讲师演示 #小工蚁 | 2023-12-21 | 小工比亚创始人 |
| Yi-34B（4）：使用4个2080Ti显卡11G版本，运行Yi-34B模型，支持5年前的老显卡，可以正常运行，速度21字/秒 | 2023-12-02 | 飞行物联网 |
| 使用autodl服务器，RTX 3090 * 3显卡上运行，Yi-34B-Chat模型，显存占用60G | 2023-12-01 | 飞行物联网 |
| 使用autodl服务器，两个3090显卡上运行，Yi-34B-Chat-int4模型，用vllm优化，增加--num-gpu 2，速度23字/秒 | 2023-12-01 | 飞行物联网 |
| 大模型一键本地部署技术小白玩转AI | 2023-12-01 | 技术小白玩转AI |
| 01.AI的Yi-6B：概述与微调 | 2023-11-28 | 人工智能创客空间 |
| Yi 34B Chat LLM 表现优于 Llama 70B | 2023-11-27 | DL资源管理器 |
| 如何在 m3 Max 上的 mac Yi 34b 上运行开源模型 | 2023-11-26 | 高级技术 |
| Yi-34B - 200K - 最好的新上下文窗口王 | 2023-11-24 | 及时工程 |
| Yi 34B：强大的中型型号的崛起 - 基础、200k 和聊天 | 2023-11-24 | 萨姆·维特芬 |
| 在IoT设备运行破解版李开复大模型dolphin-2.2-yi-34b（槐树作为OpenAI API服务器） | 2023-11-15 | 第二状态 |
| 在 IoT 设备上运行 dolphin-2.2-yi-34b（也可用作私有 OpenAI API 服务器） | 2023-11-14 | 第二状态 |
| 如何在 Windows 笔记本电脑上安装 Yi 34B 200K Llamafied | 2023-11-11 | 法赫德·米尔扎 |
Yi拥有一个全面的生态系统，提供了一系列工具，服务和模型，以丰富您的体验并最大程度地提高生产力。
YI系列模型与Llama相同的模型架构。通过选择YI，您可以利用Llama生态系统中的现有工具，库和资源，从而消除了创建新工具并提高开发效率的需求。
例如，YI系列模型以Llama模型的格式保存。您可以直接使用LlamaForCausalLM和LlamaTokenizer来加载模型。有关更多信息，请参见使用聊天模型。
from transformers import AutoModelForCausalLM , AutoTokenizer
tokenizer = AutoTokenizer . from_pretrained ( "01-ai/Yi-34b" , use_fast = False )
model = AutoModelForCausalLM . from_pretrained ( "01-ai/Yi-34b" , device_map = "auto" )[返回顶部⬆️]
提示
随意创建PR，并分享您使用YI系列模型构建的出色作品。
为了帮助他人快速理解您的工作，建议使用
。: +
如果您想在几分钟内与YI起床，则可以使用以下在YI上构建的服务。
YI-34B-chat：您可以使用以下平台之一与Yi聊天：
Yi-6b-chat（重复）：您可以通过设置其他参数并调用API来使用此模型。
SCALELLM：您可以使用此服务在本地运行YI模型，并具有增加的灵活性和自定义。
如果您的计算功能有限，则可以使用Yi的量化模型如下。
这些量化模型的精度降低了，但提供了提高效率，例如更快的推理速度和较小的RAM使用情况。
如果您想探索Yi蓬勃发展的家庭中的各种能力，则可以在下面深入研究Yi的微调模型。
TheBloke模型：该站点托管着包括Yi在内的各种LLM的众多微调模型。
这不是yi的详尽列表，而是在下载中列举一些：
sustech/sus-chat-34b：该模型在70B以下的所有型号中排名第一，并表现出了两倍的DeepSeek-llm-67b-chat。您可以在Open LLM排行榜上检查结果。
Orionstarai/Orionstar-yi-34b-chat-llama：该模型超出了C-Eval和CMMLU评估的其他模型（例如GPT-4，QWEN-14B-CHAT，BAICHUAN2-13B-CHAT），在OpenCompass LLM排行榜上进行了评估。
Nousresearch/nous-capybara-34b：该模型在Capybara数据集上经过200k上下文长度和3个时代的训练。
[返回顶部⬆️]
有关YI系列模型的详细功能，请参见YI：01.AI的开放基础模型。
@misc{ai2024yi,
title={Yi: Open Foundation Models by 01.AI},
author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
year={2024},
eprint={2403.04652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
YI-34B-CHAT模型表现出卓越的性能，在包括MMLU，CMMLU，BBH，GSM8K等基准中的所有现有开源模型中排名第一。
* ：在验证数据集上评估C-评估结果
YI-34B和YI-34B-200K模型是开源模型中表现最好的人，尤其是在MMLU，CMMLU，常识性推理，阅读理解等方面表现出色。
YI-9B几乎是一系列类似大小的开源型号（包括Mistral-7B，Solar-10.7B，Gemma-7B，DeepSeek-Coder-7B-Base-V1.5等）中最好的，尤其是杰出在代码，数学，常识性推理和阅读理解中。
在整体能力（均值）方面，YI-9B在类似尺寸的开源模型中表现最好，超过了DeepSeek-Coder，DeepSeek-Math，Mistral-7B，Solar-10.7b和Gemma-7B。
就编码能力（均值代码）而言，YI-9B的性能仅次于DeepSeek-Coder-7b，超过YI-34B，太阳能10.7B，Mismtral-7b和Gemma-7b。
就数学能力（均值）而言，YI-9B的性能仅次于DeepSeek-Math-7B，超过Solar-10.7b，Missral-7b和Gemma-7B。
就常识和推理能力（均值文本）而言，YI-9B的性能与Mistral-7b，Solar-10.7b和Gemma-7B相当。
[返回顶部⬆️]
每个人！ ？ ✅
YI系列模型的代码和权重分布在Apache 2.0许可下，这意味着YI系列模型是免费的，用于个人使用，学术用途和商业用途。
[返回顶部⬆️]
衷心感谢您为YI社区做出贡献的每个人！您不仅为Yi提供了一个项目，而且还帮助了一个充满活力的创新之家。
[返回顶部⬆️]
我们在培训过程中使用数据合规性检查算法，以确保训练有素的模型的合规性。由于复杂的数据和语言模型使用方案的多样性，我们不能保证该模型在所有方案中都会产生正确且合理的输出。请注意，仍然存在产生有问题的产出的模型的风险。我们将对滥用，误导，非法使用和相关错误信息以及任何相关数据安全问题所带来的任何风险和问题不承担任何责任。
[返回顶部⬆️]
YI-1.5系列模型的代码和权重分布在Apache 2.0许可下。
如果您基于此模型创建衍生作品，请在衍生作品中包含以下归因：
This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.
[返回顶部⬆️]
