영어 | 중국어
? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델
? GitHub에서 질문을 하거나 아이디어에 대해 토론하세요
우리와 함께 하시겠습니까? 디스코드나 위챗
Yi 기술 보고서를 확인하세요
Yi 학습 허브에서 성장하세요
? Yi Tech 블로그에서 알아보기
? Yi 시리즈 모델은 01.AI가 처음부터 훈련한 차세대 오픈 소스 대형 언어 모델입니다.
? 이중 언어 모델을 목표로 하고 3T 다국어 코퍼스에서 훈련된 Yi 시리즈 모델은 전 세계에서 가장 강력한 LLM 중 하나가 되어 언어 이해, 상식 추론, 독해 등에 대한 가능성을 보여줍니다. 예를 들어,
Yi-34B-Chat 모델은 AlpacaEval 순위표(2024년 1월까지 사용 가능한 데이터 기준)에서 다른 LLM(예: GPT-4, Mixtral, Claude)을 능가하여 2위(GPT-4 Turbo에 이어)에 올랐습니다 .
Yi-34B 모델은 Hugging Face Open LLM Leaderboard(사전 훈련됨) 및 C-Eval을 포함한 다양한 벤치마크에서 영어와 중국어 모두 기존의 모든 오픈 소스 모델(예: Falcon-180B, Llama-70B, Claude) 중 1 위를 차지했습니다. (2023년 11월까지 이용 가능한 데이터 기준)
(Llama 제공) Transformer 및 Llama 오픈 소스 커뮤니티 덕분에 처음부터 구축하는 데 필요한 노력을 줄이고 AI 생태계 내에서 동일한 도구를 활용할 수 있습니다.
TL;DR
Yi 시리즈 모델은 Llama와 동일한 모델 아키텍처를 채택하지만 Llama의 파생물은 아닙니다 .
Yi와 Llama는 모두 2018년부터 대규모 언어 모델의 표준 아키텍처였던 Transformer 구조를 기반으로 합니다.
Transformer 아키텍처를 기반으로 하는 Llama는 뛰어난 안정성, 신뢰할 수 있는 수렴 및 강력한 호환성으로 인해 대부분의 최첨단 오픈 소스 모델의 새로운 초석이 되었습니다. 이로 인해 Llama는 Yi를 포함한 모델의 기본 프레임워크로 인식되었습니다.
Transformer 및 Llama 아키텍처 덕분에 다른 모델도 해당 기능을 활용하여 처음부터 구축하는 데 필요한 노력을 줄이고 생태계 내에서 동일한 도구를 활용할 수 있습니다.
그러나 Yi 시리즈 모델은 Llama의 가중치를 사용하지 않으므로 Llama의 파생물이 아닙니다.
Llama의 구조는 대부분의 오픈 소스 모델에서 사용되므로 모델 성능을 결정하는 주요 요소는 교육 데이터 세트, 교육 파이프라인 및 교육 인프라입니다.
독특하고 독점적인 방식으로 개발한 Yi는 처음부터 자체적으로 고품질 훈련 데이터 세트, 효율적인 훈련 파이프라인 및 강력한 훈련 인프라를 독립적으로 만들었습니다. 이러한 노력으로 인해 Yi 시리즈 모델은 GPT4 바로 뒤를 잇고 2023년 12월 Alpaca 리더보드에서 Llama를 능가하는 등 뛰어난 성능을 발휘했습니다.
[ 맨 위로 ⬆️ ]
Yi-9B-200K 는 오픈 소스로 대중에게 공개됩니다.Yi-9B 는 오픈 소스로 대중에게 공개됩니다.Yi-9B 유사한 크기의 다양한 오픈 소스 모델(Mistral-7B, SOLAR-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-v1.5 등 포함) 중에서 최고의 성능을 발휘합니다. 특히 코드, 수학, 상식적 추론, 독해력이 뛰어납니다.Yi-VL-34B 및 Yi-VL-6B 는 오픈 소스로 공개되어 일반에 공개됩니다.Yi-VL-34B MMMU, CMMMU 등 최신 벤치마크에서 기존 오픈소스 모델 중 1위를 차지했습니다(2024년 1월까지 사용 가능한 데이터 기준).Yi-34B-ChatYi-34B-Chat-4bitsYi-34B-Chat-8bitsYi-6B-ChatYi-6B-Chat-4bitsYi-6B-Chat-8bits다음 사이트에서 그 중 일부를 대화형으로 시도해 볼 수 있습니다.
Yi-6B-200K 및 Yi-34B-200K 가 오픈 소스로 공개되어 일반에 공개됩니다.Yi-6B 및 Yi-34B 가 오픈 소스로 공개되어 일반에 공개됩니다.[ 맨 위로 ⬆️ ]
Yi 모델은 다양한 크기로 제공되며 다양한 사용 사례에 적합합니다. 특정 요구 사항에 맞게 Yi 모델을 미세 조정할 수도 있습니다.
Yi 모델을 배포하려면 소프트웨어 및 하드웨어 요구 사항을 충족하는지 확인하세요.
| 모델 | 다운로드 |
|---|---|
| Yi-34B-채팅 | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
| Yi-34B-채팅-4비트 | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
| Yi-34B-채팅-8비트 | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
| Yi-6B-채팅 | • ? 포옹하는 얼굴 • ? 모델범위 • ? 현명한 모델 |
| Yi-6B-채팅-4비트 | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
| Yi-6B-채팅-8비트 | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
- 4비트 시리즈 모델은 AWQ에 의해 양자화됩니다.
- 8비트 시리즈 모델은 GPTQ에 의해 양자화됩니다.
- 모든 양자화된 모델은 소비자급 GPU(예: 3090, 4090)에 배포할 수 있으므로 사용 장벽이 낮습니다.
| 모델 | 다운로드 |
|---|---|
| Yi-34B | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
| Yi-34B-200K | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
| Yi-9B | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
| Yi-9B-200K | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
| Yi-6B | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
| Yi-6B-200K | • ? 포옹하는 얼굴 • ? 모델 범위 • ? 현명한 모델 |
- 200k는 대략 한자 40만 자에 해당합니다.
- 이전 버전의 Yi-34B-200K(2023년 11월 5일 출시)를 사용하고 싶다면 git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf 실행하여 무게를 다운로드하세요.
| 모델 | 소개 | 기본 컨텍스트 창 | 사전 학습된 토큰 | 훈련 데이터 날짜 |
|---|---|---|---|---|
| 6B 시리즈 모델 | 개인 및 학술 용도로 적합합니다. | 4K | 3T | 2023년 6월까지 |
| 9B 시리즈 모델 | Yi 시리즈 모델 중 코딩과 수학 능력이 가장 뛰어납니다. | Yi-9B는 0.8T 토큰을 사용하여 Yi-6B를 기반으로 지속적으로 훈련됩니다. | ||
| 34B 시리즈 모델 | 이는 개인, 학술, 상업(특히 중소기업의 경우) 목적에 적합합니다. 합리적인 가격과 긴급 능력을 갖춘 비용 효율적인 솔루션입니다. | 3T |
채팅 모델의 경우
그러나 이러한 높은 다양성은 다음과 같은 특정 기존 문제를 증폭시킬 수 있습니다.
[ 맨 위로 ⬆️ ]
팁 : Yi 모델을 시작하고 다양한 추론 방법을 탐색하려면 Yi Cookbook을 확인하세요.
Yi와 함께 여행을 시작하려면 다음 경로 중 하나를 선택하세요!
Yi 모델을 로컬로 배포하려는 경우
?♀️ 리소스가 충분 하고(예: NVIDIA A800 80GB) 다음 방법 중 하나를 선택할 수 있습니다.
?♀️ 리소스가 제한되어 있고(예: MacBook Pro) llama.cpp를 사용할 수 있습니다.
Yi 모델을 로컬로 배포하지 않으려는 경우 다음 옵션 중 하나를 사용하여 Yi의 기능을 탐색할 수 있습니다.
Yi의 더 많은 기능을 살펴보고 싶다면 다음 방법 중 하나를 채택할 수 있습니다.
Yi API(Yi 공식)
Yi API(복제)
더 많은 사용자 정의 옵션(예: 시스템 프롬프트, 온도, 반복 패널티 등)으로 Yi와 채팅하고 싶다면 다음 옵션 중 하나를 시도해 볼 수 있습니다.
Yi-34B-채팅-놀이터 (Yi 공식)
Yi-34B-채팅-놀이터 (복제)
Yi와 채팅하고 싶다면 유사한 사용자 경험을 제공하는 다음 온라인 서비스 중 하나를 사용할 수 있습니다.
Yi-34B-Chat (Hugging Face의 Yi 공식)
Yi-34B-Chat (Yi 공식 베타)
[ 맨 위로 ⬆️ ]
이 튜토리얼은 A800(80G)에서 로컬로 Yi-34B-Chat을 실행한 다음 추론을 수행하는 모든 단계를 안내합니다.
Python 3.10 이상 버전이 설치되어 있는지 확인하세요.
다른 Yi 모델을 실행하려면 소프트웨어 및 하드웨어 요구 사항을 참조하세요.
환경을 설정하고 필요한 패키지를 설치하려면 다음 명령을 실행하십시오.
git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txt다음 소스에서 Yi 모델의 가중치와 토크나이저를 다운로드할 수 있습니다.
아래와 같이 Yi chat 또는 기본 모델을 사용하여 추론을 수행할 수 있습니다.
quick_start.py 라는 파일을 만들고 다음 내용을 복사합니다.
from transformers import AutoModelForCausalLM , AutoTokenizer
model_path = ''
tokenizer = AutoTokenizer . from_pretrained ( model_path , use_fast = False )
# Since transformers 4.35.0, the GPT-Q/AWQ model can be loaded using AutoModelForCausalLM.
model = AutoModelForCausalLM . from_pretrained (
model_path ,
device_map = "auto" ,
torch_dtype = 'auto'
). eval ()
# Prompt content: "hi"
messages = [
{ "role" : "user" , "content" : "hi" }
]
input_ids = tokenizer . apply_chat_template ( conversation = messages , tokenize = True , add_generation_prompt = True , return_tensors = 'pt' )
output_ids = model . generate ( input_ids . to ( 'cuda' ))
response = tokenizer . decode ( output_ids [ 0 ][ input_ids . shape [ 1 ]:], skip_special_tokens = True )
# Model response: "Hello! How can I assist you today?"
print ( response ) quick_start.py 실행하세요.
python quick_start.py그러면 아래와 비슷한 출력을 볼 수 있습니다. ?
Hello ! How can I assist you today ? Yi-34B
단계는 pip - Yi 채팅 모델로 추론 수행과 유사합니다.
기존 파일 text_generation.py 를 사용할 수 있습니다.
python demo/text_generation.py --model < your-model-path >그러면 아래와 비슷한 출력을 볼 수 있습니다. ?
프롬프트 : 고양이 톰과 쥐 제리의 흥미로운 이야기를 들려드리겠습니다.
세대 : 어린 시절 있었던 고양이 톰과 쥐 제리의 재미있는 이야기를 들려드리겠습니다. 아버지는 쥐를 죽이기 위해 고양이 두 마리가 살고 있는 큰 집을 갖고 계셨습니다. 어느 날 집에서 혼자 놀고 있을 때, 우리 부엌 문 근처에 등을 대고 누워 있는 수코양 한 마리를 발견했습니다. 그 수코양이는 우리에게 뭔가를 원하는 것처럼 보였지만 주변에 너무 많은 사람들이 있어서 일어나지 못했습니다! 그는 몇 분 동안 계속 시도하다가 결국 포기했습니다...
Yi-9B
입력
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_DIR = " 01-ai/Yi-9B "
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype= " auto " )
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, use_fast=False)
input_text = " # write the quick sort algorithm "
inputs = tokenizer(input_text, return_tensors= " pt " ).to(model.device)
outputs = model.generate( ** inputs, max_length=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))산출
# write the quick sort algorithm
def quick_sort(arr):
if len(arr) < = 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
# test the quick sort algorithm
print(quick_sort([3, 6, 8, 10, 1, 2, 1]))[ 맨 위로 ⬆️ ]
Docker와 nvidia-container-toolkit을 설치했는지 확인하세요.
docker run -it --gpus all
-v : /models
ghcr.io/01-ai/yi:latest
또는 registry.lingyiwanwu.com/ci/01-ai/yi:latest 에서 Yi Docker 이미지를 가져올 수 있습니다.
아래와 같이 Yi chat 또는 기본 모델을 사용하여 추론을 수행할 수 있습니다.
단계는 pip - Yi 채팅 모델로 추론 수행과 유사합니다.
유일한 차이점 은 model_path = ' 대신 model_path = ' 를 설정하는 것입니다.
단계는 pip - Yi 기본 모델로 추론 수행과 유사합니다.
유일한 차이점 은 model 대신 --model 설정하는 것입니다.
conda-lock 사용하여 conda 환경에 대해 완전히 재현 가능한 잠금 파일을 생성할 수 있습니다.micromamba 활용할 수 있습니다.여기에서 제공되는 지침에 따라 micromamba를 설치하십시오.
micromamba install -y -n yi -f conda-lock.yml 실행하여 yi 라는 conda 환경을 만들고 필요한 종속성을 설치합니다.
다음 튜토리얼에서는 양자화된 모델(Yi-chat-6B-2bits)을 로컬에서 실행한 후 추론을 수행하는 모든 단계를 안내합니다.
이 튜토리얼에서는 16GB 메모리와 Apple M2 Pro 칩을 갖춘 MacBook Pro를 사용한다고 가정합니다.
컴퓨터에 git-lfs 설치되어 있는지 확인하세요.
llama.cpp 다운로드 llama.cpp 저장소를 복제하려면 다음 명령을 실행하세요.
git clone [email protected]:ggerganov/llama.cpp.git2.1 포인터만 사용하여 XeIaso/yi-chat-6B-GGUF를 복제하려면 다음 명령을 실행합니다.
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF2.2 양자화된 Yi 모델(yi-chat-6b.Q2_K.gguf)을 다운로드하려면 다음 명령을 실행합니다.
git-lfs pull --include yi-chat-6b.Q2_K.ggufYi 모델로 추론을 수행하려면 다음 방법 중 하나를 사용할 수 있습니다.
방법 1: 터미널에서 추론 수행
방법 2: 웹에서 추론 수행
4개의 스레드를 사용하여 llama.cpp 컴파일한 후 추론을 수행하려면 llama.cpp 디렉터리로 이동하여 다음 명령을 실행합니다.
팁
/Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf모델의 실제 경로로 바꾸세요.기본적으로 모델은 완료 모드에서 작동합니다.
추가 출력 사용자 정의 옵션(예: 시스템 프롬프트, 온도, 반복 패널티 등)의 경우
./main -h실행하여 자세한 설명과 사용법을 확인하세요.
make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p " How do you feed your pet fox? Please answer this question in 6 simple steps:nStep 1: " -n 384 -e
...
How do you feed your pet fox ? Please answer this question in 6 simple steps:
Step 1: Select the appropriate food for your pet fox. You should choose high-quality, balanced prey items that are suitable for their unique dietary needs. These could include live or frozen mice, rats, pigeons, or other small mammals, as well as fresh fruits and vegetables.
Step 2: Feed your pet fox once or twice a day, depending on the species and its individual preferences. Always ensure that they have access to fresh water throughout the day.
Step 3: Provide an appropriate environment for your pet fox. Ensure it has a comfortable place to rest, plenty of space to move around, and opportunities to play and exercise.
Step 4: Socialize your pet with other animals if possible. Interactions with other creatures can help them develop social skills and prevent boredom or stress.
Step 5: Regularly check for signs of illness or discomfort in your fox. Be prepared to provide veterinary care as needed, especially for common issues such as parasites, dental health problems, or infections.
Step 6: Educate yourself about the needs of your pet fox and be aware of any potential risks or concerns that could affect their well-being. Regularly consult with a veterinarian to ensure you are providing the best care.
...
이제 Yi 모델에게 성공적으로 질문하고 답변을 받았습니다! ?
가볍고 빠른 챗봇을 초기화하려면 다음 명령을 실행하세요.
cd llama.cpp
./server --ctx-size 2048 --host 0.0.0.0 --n-gpu-layers 64 --model /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf그러면 다음과 같은 출력을 얻을 수 있습니다.
...
llama_new_context_with_model: n_ctx = 2048
llama_new_context_with_model: freq_base = 5000000.0
llama_new_context_with_model: freq_scale = 1
ggml_metal_init: allocating
ggml_metal_init: found device: Apple M2 Pro
ggml_metal_init: picking default device: Apple M2 Pro
ggml_metal_init: ggml.metallib not found, loading from source
ggml_metal_init: GGML_METAL_PATH_RESOURCES = nil
ggml_metal_init: loading ' /Users/yu/llama.cpp/ggml-metal.metal '
ggml_metal_init: GPU name: Apple M2 Pro
ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008)
ggml_metal_init: hasUnifiedMemory = true
ggml_metal_init: recommendedMaxWorkingSetSize = 11453.25 MB
ggml_metal_init: maxTransferRate = built-in GPU
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 128.00 MiB, ( 2629.44 / 10922.67)
llama_new_context_with_model: KV self size = 128.00 MiB, K (f16): 64.00 MiB, V (f16): 64.00 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 0.02 MiB, ( 2629.45 / 10922.67)
llama_build_graph: non-view tensors processed: 676/676
llama_new_context_with_model: compute buffer total size = 159.19 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 156.02 MiB, ( 2785.45 / 10922.67)
Available slots:
- > Slot 0 - max context: 2048
llama server listening at http://0.0.0.0:8080 챗봇 인터페이스에 액세스하려면 웹 브라우저를 열고 주소 표시줄에 http://0.0.0.0:8080 입력하세요.
프롬프트 창에 "애완 여우에게 먹이를 주는 방법은 무엇입니까? 이 질문에 간단한 6단계로 대답해 주세요"와 같은 질문을 입력하면 해당 답변을 받게 됩니다.
[ 맨 위로 ⬆️ ]
Yi 채팅 모델용 웹 UI 데모를 구축할 수 있습니다(이 시나리오에서는 Yi 기본 모델이 지원되지 않습니다).
1단계: 환경을 준비합니다.
2단계: Yi 모델을 다운로드합니다.
3단계. 로컬에서 웹 서비스를 시작하려면 다음 명령을 실행합니다.
python demo/web_demo.py -c < your-model-path >콘솔에 제공된 주소를 브라우저에 입력하면 웹 UI에 접속할 수 있습니다.
[ 맨 위로 ⬆️ ]
bash finetune/scripts/run_sft_Yi_6b.sh완료되면 다음 명령을 사용하여 미세 조정된 모델과 기본 모델을 비교할 수 있습니다.
bash finetune/scripts/run_eval.sh 기본적으로 BAAI/COIG의 작은 데이터 세트를 사용하여 기본 모델을 미세 조정합니다. 다음 jsonl 형식으로 사용자 정의 데이터 세트를 준비할 수도 있습니다.
{ "prompt" : " Human: Who are you? Assistant: " , "chosen" : " I'm Yi. " }그런 다음 컨테이너에 마운트하여 기본 항목을 교체합니다.
docker run -it
-v /path/to/save/finetuned/model/:/finetuned-model
-v /path/to/train.jsonl:/yi/finetune/data/train.json
-v /path/to/eval.jsonl:/yi/finetune/data/eval.json
ghcr.io/01-ai/yi:latest
bash finetune/scripts/run_sft_Yi_6b.sh콘다가 있는지 확인하세요. 그렇지 않은 경우
mkdir -p ~ /miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~ /miniconda3/miniconda.sh
bash ~ /miniconda3/miniconda.sh -b -u -p ~ /miniconda3
rm -rf ~ /miniconda3/miniconda.sh
~ /miniconda3/bin/conda init bash
source ~ /.bashrc그런 다음 conda 환경을 만듭니다.
conda create -n dev_env python=3.10 -y
conda activate dev_env
pip install torch==2.0.1 deepspeed==0.10 tensorboard transformers datasets sentencepiece accelerate ray==2.7Yi-6B 모델의 경우 각각 60GB 이상의 GPU 메모리를 갖춘 4개의 GPU가 있는 노드를 권장합니다.
Yi-34B 모델의 경우 제로 오프로드 기술을 사용하면 CPU 메모리가 많이 소모되므로 34B 미세 조정 훈련에서 GPU 수를 제한하는 데 주의하시기 바랍니다. GPU 수를 제한하려면 CUDA_VISIBLE_DEVICES를 사용하세요(scripts/run_sft_Yi_34b.sh에 표시됨).
34B 모델을 미세 조정하기 위한 일반적인 하드웨어 설정은 8개의 GPU(CUDA_VISIBLE_DEVICES=0,1,2,3에 의해 실행 시 4개로 제한됨)가 있는 노드이며, 각 GPU 메모리는 80GB보다 크고 총 CPU 메모리는 900GB보다 큽니다.
LLM 기반 모델을 MODEL_PATH(6B 및 34B)에 다운로드합니다. 일반적인 모델 폴더는 다음과 같습니다.
| -- $MODEL_PATH
| | -- config.json
| | -- pytorch_model-00001-of-00002.bin
| | -- pytorch_model-00002-of-00002.bin
| | -- pytorch_model.bin.index.json
| | -- tokenizer_config.json
| | -- tokenizer.model
| | -- ...Huggingface에서 로컬 저장소 DATA_PATH(예: Dahoas/rm-static)로 데이터 세트를 다운로드합니다.
| -- $DATA_PATH
| | -- data
| | | -- train-00000-of-00001-2a1df75c6bce91ab.parquet
| | | -- test-00000-of-00001-8c7c51afc6d45980.parquet
| | -- dataset_infos.json
| | -- README.md finetune/yi_example_dataset 에는 BAAI/COIG에서 수정된 예제 데이터세트가 있습니다.
| -- $DATA_PATH
| --data
| -- train.jsonl
| -- eval.jsonl cd scripts 폴더에 넣고 스크립트를 복사하여 붙여넣은 후 실행하세요. 예를 들어:
cd finetune/scripts
bash run_sft_Yi_6b.shYi-6B 기본 모델의 경우 training_debug_steps=20 및 num_train_epochs=4로 설정하면 약 20분 정도 소요되는 채팅 모델을 출력할 수 있습니다.
Yi-34B 기본 모델의 경우 초기화 시간이 비교적 오래 걸립니다. 인내심을 가지십시오.
cd finetune/scripts
bash run_eval.sh그러면 기본 모델과 미세 조정된 모델 모두에서 답을 볼 수 있습니다.
[ 맨 위로 ⬆️ ]
python quantization/gptq/quant_autogptq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_code완료되면 다음과 같이 결과 모델을 평가할 수 있습니다.
python quantization/gptq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeGPT-Q는 PTQ(Post-Training Quantization) 방법입니다. 모델의 정확성을 유지하면서 메모리를 절약하고 잠재적인 속도 향상을 제공합니다.
Yi 모델은 많은 노력 없이도 GPT-Q를 양자화할 수 있습니다. 아래에서 단계별 튜토리얼을 제공합니다.
GPT-Q를 실행하려면 AutoGPTQ와 exllama를 사용하겠습니다. 그리고 Huggingface 변환기는 언어 모델에서 GPTQ 양자화를 수행하기 위해 최적 및 자동 gptq를 통합했습니다.
GPT-Q 양자화를 수행할 수 있도록 quant_autogptq.py 스크립트가 제공됩니다.
python quant_autogptq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code eval_quantized_model.py 를 사용하여 양자화 모델을 실행할 수 있습니다.
python eval_quantized_model.py --model /quantized_model --trust_remote_codepython quantization/awq/quant_autoawq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_code완료되면 다음과 같이 결과 모델을 평가할 수 있습니다.
python quantization/awq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeAWQ는 PTQ(Post-Training Quantization) 방법입니다. LLM을 위한 효율적이고 정확한 낮은 비트 가중치 양자화(INT3/4)입니다.
Yi 모델은 많은 노력 없이 AWQ 양자화될 수 있습니다. 아래에서 단계별 튜토리얼을 제공합니다.
AWQ를 실행하려면 AutoAWQ를 사용합니다.
AWQ 양자화를 수행할 수 있도록 quant_autoawq.py 스크립트가 제공됩니다.
python quant_autoawq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code eval_quantized_model.py 를 사용하여 양자화 모델을 실행할 수 있습니다.
python eval_quantized_model.py --model /quantized_model --trust_remote_code[ 맨 위로 ⬆️ ]
Yi 모델을 배포하려면 소프트웨어 및 하드웨어 요구 사항을 충족하는지 확인하세요.
Yi 양자화 모델을 사용하기 전에 아래 나열된 올바른 소프트웨어를 설치했는지 확인하십시오.
| 모델 | 소프트웨어 |
|---|---|
| Yi 4비트 양자화 모델 | AWQ와 CUDA |
| Yi 8비트 양자화 모델 | GPTQ와 CUDA |
사용자 환경에 Yi를 배포하기 전에 하드웨어가 다음 요구 사항을 충족하는지 확인하세요.
| 모델 | 최소 VRAM | 권장 GPU 예 |
|---|---|---|
| Yi-6B-채팅 | 15GB | 1개의 RTX 3090(24GB) 1개의 RTX 4090(24GB) A10(24GB) 1개 A30(24GB) 1개 |
| Yi-6B-채팅-4비트 | 4GB | 1개의 RTX 3060(12GB) 1개의 RTX 4060(8GB) |
| Yi-6B-채팅-8비트 | 8GB | 1개의 RTX 3070(8GB) 1개의 RTX 4060(8GB) |
| Yi-34B-채팅 | 72GB | 4개의 RTX 4090(24GB) A800(80GB) 1대 |
| Yi-34B-채팅-4비트 | 20GB | 1개의 RTX 3090(24GB) 1개의 RTX 4090(24GB) A10(24GB) 1개 A30(24GB) 1개 A100(40GB) 1개 |
| Yi-34B-채팅-8비트 | 38GB | 2개의 RTX 3090(24GB) 2개의 RTX 4090(24GB) A800(40GB) 1개 |
다음은 다양한 배치 사용 사례에 따른 자세한 최소 VRAM 요구 사항입니다.
| 모델 | 배치=1 | 배치=4 | 배치=16 | 배치=32 |
|---|---|---|---|---|
| Yi-6B-채팅 | 12GB | 13GB | 15GB | 18GB |
| Yi-6B-채팅-4비트 | 4GB | 5GB | 7GB | 10GB |
| Yi-6B-채팅-8비트 | 7GB | 8GB | 10GB | 14GB |
| Yi-34B-채팅 | 65GB | 68GB | 76GB | > 80GB |
| Yi-34B-채팅-4비트 | 19GB | 20GB | 30GB | 40GB |
| Yi-34B-채팅-8비트 | 35GB | 37GB | 46GB | 58GB |
| 모델 | 최소 VRAM | 권장 GPU 예 |
|---|---|---|
| Yi-6B | 15GB | 1개의 RTX 3090(24GB) 1개의 RTX 4090(24GB) A10(24GB) 1개 A30(24GB) 1개 |
| Yi-6B-200K | 50GB | A800(80GB) 1개 |
| Yi-9B | 20GB | 1개의 RTX 4090(24GB) |
| Yi-34B | 72GB | 4개의 RTX 4090(24GB) A800(80GB) 1개 |
| Yi-34B-200K | 200GB | 4개의 A800(80GB) |
[ 맨 위로 ⬆️ ]
Yi-34B 와 Yi-34B-Chat 의 본격적인 미세 조정 사이의 주요 차이점은 미세 조정 접근 방식과 결과에 있습니다.Yi-34B 로 미세 조정하는 것이 좋습니다.Yi-34B-Chat 최선의 선택일 수 있습니다. 미세 조정 질문 답변 데이터 세트는 어디에서 얻을 수 있나요?
Yi-34B FP16을 미세 조정하는 데 필요한 GPU 메모리 요구 사항은 무엇입니까?
34B FP16 미세 조정에 필요한 GPU 메모리는 사용된 특정 미세 조정 방법에 따라 달라집니다. 전체 매개변수 미세 조정을 위해서는 각각 80GB의 GPU 8개가 필요합니다. 그러나 Lora와 같은 보다 경제적인 솔루션은 더 적은 비용을 필요로 합니다. 자세한 내용은 hiyouga/LLaMA-Factory를 확인하세요. 또한 성능 최적화를 위한 미세 조정을 위해 FP16 대신 BF16을 사용하는 것을 고려해보세요.
Yi-34b-200k 모델의 채팅 기능을 지원하는 타사 플랫폼이 있습니까?
제3자 채팅을 찾고 있다면 Fireworks.ai 옵션이 포함됩니다.
Yi 학습 허브에 오신 것을 환영합니다!
노련한 개발자이든 초보자이든 관계없이 통찰력 있는 블로그 게시물, 포괄적인 비디오 튜토리얼, 실습 가이드 등을 포함하여 Yi 모델에 대한 이해와 기술을 향상시키는 데 도움이 되는 풍부하고 유용한 교육 리소스를 찾을 수 있습니다.
여기에서 찾을 수 있는 콘텐츠는 지식이 풍부한 Yi 전문가와 열정적인 매니아들이 아낌없이 기여한 것입니다. 여러분의 귀중한 기여에 진심으로 감사드립니다!
동시에 Yi에 기여함으로써 우리의 공동 노력에 동참해 주시기를 진심으로 바랍니다. 이미 Yi에 기여한 적이 있다면 주저하지 말고 아래 표에 귀하의 놀라운 작품을 소개해주세요.
이러한 모든 리소스를 손쉽게 이용하면 Yi와 함께 흥미진진한 여행을 시작할 준비가 된 것입니다. 즐거운 학습! ?
| 결과물 | 날짜 | 작가 |
|---|---|---|
| Dify, Meilisearch, 零一万物模型实现最简单의 RAG 应용(3): AI 电影推荐 | 2024-05-20 | 苏洋 |
| 使useautodl服务器，withA40显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存运行42G，速島18words-s | 2024-05-20 | 날아다니는 것 |
| Yi-VL 最佳实践 | 2024-05-20 | 모델 범위 |
| 一键运行零一万物新鲜流炉Yi-1.5-9B-Chat大模型 | 2024-05-13 | 두 번째 상태 |
| 零一万물开源Yi-1.5系列大模型 | 2024-05-13 | 刘聪 |
| 零一万물Yi-1.5系列模型发布并开源! | 2024-05-13 | 모델 범위 |
| Yi-34B 본지부署简单测试 | 2024-05-13 | 漆妮妮 |
| 驾辰龙跨Llama持Wasm ，玩转Yi模型迎新春过大年（上） | 2024-05-13 | 가치있는 단어 |
| 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年（下篇） | 2024-05-13 | 가치있는 단어 |
| Ollama新增两个命令，开始支持零一万物Yi-1.5系列模型 | 2024-05-13 | AI 기능 확장 |
| 使用零一万物 200K 模型和 Dify 快速搭建模型应용 | 2024-05-13 | 苏洋 |
| (持更) 零一万物模型折腾笔记：社区 Yi-34B 微调模型使용 | 2024-05-13 | 苏洋 |
| Python+ERNIE-4.0-8K-Yi-34B-Chat 大模型初探 | 2024-05-11 | 江湖评谈 |
| 技术布道 Vue及Python调用零一万物模型와 Prompt模板（통过百島千帆大模型平台） | 2024-05-11 | 무무랩 |
| 多模态大模型Yi-VL-plus体验 效果很棒 | 2024-04-27 | 대가족好我是爱因 |
| 使useautodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存运行，两个3090显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存运 42G，速島23words-s | 2024-04-27 | 날아다니는 것 |
| Yi-1.5-9B-Chat 시작하기 | 2024-04-27 | 두 번째 상태 |
| 基于零一万物yi-vl-plus大模型简单几步就能批weight生成Anki이미지 | 2024-04-24 | 정인왕동학 |
| 【AI开发：语言】一、Yi-34B超大模型本地署CPU와 GPU版 | 2024-04-21 | 나의 梦想已实现 |
| 【Yi-34B-Chat-Int4】使use4个2080Ti显卡11G版本，运行Yi-34B模型，5年前老显卡是支持的，可以正常运行，速titude 21words-s，vllm要求算력에서 7 정말 좋은显卡就可以 | 2024-03-22 | 날아다니는 것 |
| 零一万物大模型부署+微调总结 | 2024-03-22 | v_wus |
| 零一万물Yi大模型vllm推리时Yi-34B或Yi-6bchat중화형 解决方案 | 2024-03-02 | 郝铠锋 |
| Yi-34B 모델 | 2024-03-02 | lsjlnd |
| 实测零一万物Yi-VL多模态语言模型：能准确“识图吃瓜” | 2024-02-02 | 苏洋 |
| 零一万물开源Yi-VL多模态大模型,魔搭社区推리&微调最佳实践来啦! | 2024-01-26 | 모델범위 |
| 单卡 3 小时训练 Yi-6B 大模型 Agent：基于 Llama Factory 实战 | 2024-01-22 | 郑耀威 |
| 零一科技Yi-34B Chat大模型环境搭建&推리 | 2024-01-15 | 要养家的程序员 |
| 基于LLaMA Factory，单卡3small时训练专属大模型 에이전트 | 2024-01-15 | 机器 학회 회사 |
| 双卡 3080ti PART署 Yi-34B 大模型 - Gradio + vLLM 踩坑전체记录 | 2024-01-02 | 漆妮妮 |
| 【大模型署实践-3】3个能在3090上跑起来的4bitsweightizationChat模型（baichuan2-13b、InternLM-20b、Yi-34b） | 2024-01-02 | aq_씨비스킷 |
| 只需 24G 显存，用 vllm 跑起来 Yi-34B 中英双语大模型 | 2023-12-28 | 漆妮妮 |
| 零一万물模型官方 Yi-34B 模型本地离线运行署使用笔记（물리机와docker两种부署方式），200K 超长文本内容，34B 干翻众 70B模型，打榜分数那么高，这模型到底行不行? | 2023-12-28 | 代码讲故事 |
| LLM - 大模型速递之 Yi-34B 入门与 LoRA 微调 | 2023-12-18 | BIT_666 |
| 通过vllm框架进行大模型推리 | 2023-12-18 | 土山炮 |
| CPU 混합推리，비常见大模型량화방案：“two三五六” 位weight化方案 | 2023-12-12 | 苏洋 |
| 零一万物模型折腾笔记：官方 Yi-34B 模型基础使용 | 2023-12-10 | 苏洋 |
| LlamaEdge를 사용하여 로컬에서 Yi-34B-Chat 실행 | 2023-11-30 | 두 번째 상태 |
| 本地运行零一万物 34B 大模型，使用 Llama.cpp & 21G 显存 | 2023-11-26 | 苏洋 |
| 결과물 | 날짜 | 작가 |
|---|---|---|
| yi-openai-프록시 | 2024-05-11 | 苏洋 |
| 基于零一万物 Yi 模型和 B 站构建大语言模型高质weight训练数据集 | 2024-04-29 | 정인왕동학 |
| 基于视频网站和零一万物大模型构建大语言模型高质weight训练数据集 | 2024-04-25 | 정인왕동학 |
| 基于零一万phy-34b-chat-200k输入任意文章地址，点击按钮即可生成无广告或推广内容的简要笔记，并生成分享图给好友 | 2024-04-24 | 정인왕동학 |
| Food-GPT-Yi 모델 | 2024-04-21 | 휴버트 S |
| 결과물 | 날짜 | 작가 |
|---|---|---|
| IoT 장치에서 돌고래-2.2-yi-34b 실행 | 2023-11-30 | 두 번째 상태 |
| 只需 24G 显存，用 vllm 跑起来 Yi-34B 中英双语大模型 | 2023-12-28 | 漆妮妮 |
| Yi 34B를 로컬로 설치 - 중국어 영어 이중 언어 LLM | 2023-11-05 | 파드 미르자 |
| Dolphin Yi 34b - 새로운 기본 모델 테스트 완료 | 2023-11-27 | 매튜 버먼 |
| Yi-VL-34B 多模态大模型 - 两张 A40 显卡跑起来 | 2024-01-28 | 漆妮妮 |
| 4060Ti 16G 칩셋은 새로운 Yi-1.5급 대용량 스토리지를 제공합니다. | 2024-05-14 | 타이탄909 |
| Yi-1.5: LLAMA-3의 진정한 Apache 2.0 경쟁자 | 2024-05-13 | 신속한 엔지니어링 |
| Yi-1.5 모델을 로컬에 설치 - 다양한 벤치마크에서 Llama 3를 능가함 | 2024-05-13 | 파드 미르자 |
| Ollama 설치 및 Yi 6B 실행 방법 | 2024-05-13 | 리다 데이비즈 |
| 地表最强混合智能AI助핸드：llama3_70B+Yi_34B+Qwen1.5_110B | 2024-05-04 | 朱扎特 |
| ChatDocschool术论文辅助--基于Yi-34B와langchain进行PDF知识库问答 | 2024-05-03 | 朱扎特 |
| 基于Yi-34B의 领域知识问答项目演示 | 2024-05-02 | 朱扎特 |
| 사용 가능한 RTX4090+GaLore算法 전체参微调Yi-6B 大模型 | 2024-03-24 | 소工蚂创始人 |
| 无内容审查NSFW大语言模型Yi-34B-Chat蒸馏版测试,RolePlay, 《天龙八부》马夫人康敏,本地GPU,CPU运行 | 2024-03-20 | 刘悦的技术博客 |
| 无内容审查NSFW大语言模型整合包,Yi-34B-Chat,本地CPU运行,角color扮演潘金莲 | 2024-03-16 | 刘悦的技术博客 |
| 량화 Yi-34B-Chat 并 单卡 RTX 4090 使用 vLLM PART署 | 2024-03-05 | 백금당(白鸽巢) |
| Yi-VL-34B(5): 使用3个3090显卡24G版本,运行Yi-VL-34B模型,支持命令行및web界面方式,理解图文字 内容转换成文字 | 2024-02-27 | 날아다니는 것 |
| Win에서는 KoboldCpp 본지부 모바일 네트워크를 실행하여 컬러풀한 게임을 즐길 수 있습니다. | 2024-02-25 | 魚蟲蟲 |
| 无需显卡本地部署Yi-34B-Chat进行角color扮演游戏 P2 | 2024-02-23 | 魚蟲蟲 |
| 【울부짖음】(2)：使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速titude还可以，等待下一版本更新 | 2024-02-20 | 날아다니는 것 |
| 【xinference】(6): 여기 autodl上, 使사용 xinference부署yi-vl-chat 및 qwen-vl-chat模型,可以使사용 openai调사용성功 | 2024-02-06 | 날아다니는 것 |
| 无需显卡本地部署Yi-34B-Chat进行角color扮演游戏 P1 | 2024-02-05 | 魚蟲蟲 |
| 2080Ti PART署YI-34B大模型 xinference-oneapi-fastGPT本地知识库使用指南 | 2024-01-30 | 小饭护要转码 |
| 최고의 스토리 작성 AI 모델 - Windows에 로컬로 Yi 6B 200K 설치 | 2024-01-22 | 파드 미르자 |
| Mac 本地运行大语言模型方法与常见问题指南(Yi 34B 模型+32 GB 内存测试) | 2024-01-21 | 小吴苹果机器人 |
| 【Dify知识库】(11)：Dify0.4.9改造支持MySQL，成功接入yi-6b 做对话，本地使用fastchat启动，·8G显存，完成知识库配置 | 2024-01-21 | 날아다니는 것 |
| 这位LLM先生은 暴躁老哥,사용 가능한 是YI-6B의 某个老哥,#LLM #大语言模型 #暴躁老哥 | 2024-01-20 | 晓漫吧 |
| 大模型推리 NvLink 桥接器유용吗｜双卡 A6000 测试一下 | 2024-01-17 | 漆妮妮 |
| 大模型推리 A40 vs A6000 谁更强 - 对比 Yi-34B 적单、双卡推리성能 | 2024-01-15 | 漆妮妮 |
| c-eval 大语言模型评测基准- 用 lm 평가 하네스 + vllm 跑起来 | 2024-01-11 | 漆妮妮 |
| 双显卡部署 yi -34b 大模型 -Vllm + gradio 踩坑记录 | 2024-01-01 | 漆妮妮 |
| vllm m yi-34b chat | 2023-12-26 | 白鸽巢 |
| 如何训练企业自己的大语言模型？ yi-6b lora 微调演示 #小工蚁 | 2023-12-21 | 小工蚂创始人 |
| yi-34b (4) ： 使用 4 个 2080ti 显卡 11g 版本, 运行 yi-34b 模型 模型, 5 年前老显卡是支持的, 可以正常运行, 21 단어/s | 2023-12-02 | Fly-Ioi |
| autodl l l, rtx 3090 * 3 显卡上运行, yi-34b-chat 模型, 显存占用 60g | 2023-12-01 | Fly-Ioi |
| autodl l l, 两个 3090 显卡上运行 显卡上运行, yi-34b-chat-int4 模型, 用 vllm 优化, 增加-num-gpu 2, 速度 23 단어/s | 2023-12-01 | Fly-Ioi |
| yi 大模型一键本地部署 技术小白玩转 ai | 2023-12-01 | AI |
| 01.AI의 YI-6B : 개요 및 미세 조정 | 2023-11-28 | AI Makerspace |
| YI 34B 채팅 LLM은 LLAMA 70B보다 성능이 우수합니다 | 2023-11-27 | DlexPlorer |
| M3 Max에서 Mac YI 34B에서 오픈 소스 모델을 실행하는 방법 | 2023-11-26 | 테크노 프리미엄 |
| Yi -34B -200K- 최고의 및 새로운 상황 창 킹 | 2023-11-24 | 프롬프트 엔지니어링 |
| YI 34B : 강력한 중간 크기 모델의 상승 - Base, 200k & Chat | 2023-11-24 | Sam Witteveen |
| dolphin-2.2-yi-34b 在 在 IoT | 2023-11-15 | 두 번째 상태 |
| IoT 장치에서 Dolphin-2.2-Yi-34B를 실행합니다 (개인 OpenAI API 서버로도 작동 함) | 2023-11-14 | 두 번째 상태 |
| Windows 노트북에 Yi 34B 200k Llamafied를 설치하는 방법 | 2023-11-11 | Fahd Mirza |
Yi는 포괄적 인 생태계를 보유하고 있으며 경험을 풍부하게하고 생산성을 극대화하기위한 다양한 도구, 서비스 및 모델을 제공합니다.
YI 시리즈 모델은 LLAMA와 동일한 모델 아키텍처를 따릅니다. YI를 선택하면 LLAMA 생태계 내 기존 도구, 라이브러리 및 리소스를 활용하여 새로운 도구를 만들고 개발 효율성을 향상시킬 필요가 없습니다.
예를 들어, YI 시리즈 모델은 LLAMA 모델의 형식으로 저장됩니다. LlamaForCausalLM 및 LlamaTokenizer 직접 사용하여 모델을로드 할 수 있습니다. 자세한 내용은 채팅 모델을 참조하십시오.
from transformers import AutoModelForCausalLM , AutoTokenizer
tokenizer = AutoTokenizer . from_pretrained ( "01-ai/Yi-34b" , use_fast = False )
model = AutoModelForCausalLM . from_pretrained ( "01-ai/Yi-34b" , device_map = "auto" )[뒤로 상단으로 ⬆️]
팁
PR을 만들고 YI 시리즈 모델을 사용하여 구축 한 환상적인 작품을 공유하십시오.
다른 사람들이 귀하의 작업을 빠르게 이해하도록 돕기 위해
의 형식을 사용하는 것이 좋습니다.: +
몇 분 안에 YI를 시작하려면 YI에 구축 된 다음 서비스를 사용할 수 있습니다.
Yi-34B-Chat : 다음 플랫폼 중 하나를 사용하여 YI와 채팅 할 수 있습니다.
Yi-6B-Chat (Replicate) : 추가 매개 변수를 설정하고 API를 호출하여 더 많은 옵션 으로이 모델을 사용할 수 있습니다.
SCALELLM :이 서비스를 사용하여 유연성과 사용자 정의가 추가 된 YI 모델을 로컬로 실행할 수 있습니다.
계산 기능이 제한된 경우 Yi의 양자화 된 모델을 다음과 같이 사용할 수 있습니다.
이러한 양자화 된 모델은 정밀도가 감소했지만 더 빠른 추론 속도 및 더 작은 RAM 사용과 같은 효율성이 높아집니다.
Yi의 번성하는 가족 내에서 다양한 기능을 탐색하려는 경우 아래와 같이 Yi의 미세 조정 모델을 탐구 할 수 있습니다.
Thebloke 모델 :이 사이트는 YI를 포함한 다양한 LLM에서 파생 된 수많은 미세 조정 모델을 호스팅합니다.
이것은 YI의 철저한 목록이 아니라 다운로드에 정렬 된 몇 가지 이름을 말합니다.
SUSTECH/SUS-Chat-34B :이 모델은 70b 미만의 모든 모델 중 첫 번째 순위를 매겼으며 두 번 더 큰 Deepseek-67B-Chat보다 성능이 우수했습니다. Open LLM 리더 보드에서 결과를 확인할 수 있습니다.
Orionstarai/Orionstar-Yi-34B-Chat-Llama :이 모델은 OpenCompass LLM 리더 보드에서 C-Eval 및 CMMLU 평가의 다른 모델 (예 : GPT-4, QWEN-14B-Chat, Baichuan2-13B-Chat)을 넘어 뛰어났습니다.
NousResearch/nous-capybara-34b :이 모델은 Capybara 데이터 세트에서 200k 컨텍스트 길이와 3 개의 에포크로 훈련되었습니다.
[뒤로 상단으로 ⬆️]
YI 시리즈 모델의 자세한 기능은 01.ai의 YI : Open Foundation Models를 참조하십시오.
@misc{ai2024yi,
title={Yi: Open Foundation Models by 01.AI},
author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
year={2024},
eprint={2403.04652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
YI-34B-Chat 모델은 MMLU, CMMLU, BBH, GSM8K 등을 포함한 벤치 마크에서 기존의 모든 오픈 소스 모델 중 첫 번째 순위를 차지하는 뛰어난 성능을 보여줍니다.
* : C-Eval 결과는 검증 데이터 세트에서 평가됩니다.
YI-34B 및 YI-34B-200K 모델은 오픈 소스 모델 중 최고 성능, 특히 MMLU, CMMLU, 상식적인 추론, 독해 등에서 우수합니다.
YI-9B는 유사한 크기의 오픈 소스 모델 (Mistral-7B, Solar-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-V1.5 등) 중에서 거의 최고입니다. 코드, 수학, 상식적인 추론 및 독해에서.
전반적인 능력 (평균) 측면에서 Yi-9B는 비슷한 크기의 오픈 소스 모델 중에서 가장 잘 수행하여 Deepseek-Coder, Deepseek-Math, Mistral-7b, Solar-10.7b 및 Gemma-7B를 능가합니다.
코딩 능력 (평균 코드) 측면에서 Yi-9B의 성능은 Yi-34B, Solar-10.7B, Mistral-7B 및 Gemma-7B를 능가하는 DeepSeek-Coder-7B에 이어 두 번째입니다.
수학 능력 (평균 장점)의 관점에서, YI-9B의 성능은 Solar-10.7B, Mistral-7B 및 Gemma-7B를 능가하는 Deepseek-Math-7B에 이어 두 번째입니다.
상식 및 추론 능력 (평균 텍스트) 측면에서 Yi-9B의 성능은 Mistral-7B, Solar-10.7B 및 Gemma-7B와 동등합니다.
[뒤로 상단으로 ⬆️]
모든 사람! ? ✅
YI 시리즈 모델의 코드 및 가중치는 Apache 2.0 라이센스에 따라 배포됩니다. 즉, YI 시리즈 모델은 개인적 사용, 학업 목적 및 상업적 사용에 대해 무료임을 의미합니다.
[뒤로 상단으로 ⬆️]
YI 커뮤니티에 기여한 분들께 진심으로 감사드립니다! 당신은 Yi가 프로젝트뿐만 아니라 활기차고 활기차고 혁신을위한 집으로 도와주었습니다.
[뒤로 상단으로 ⬆️]
우리는 훈련 프로세스 중에 데이터 준수 점검 알고리즘을 사용하여 훈련 된 모델을 최대한 활용할 수 있도록합니다. 복잡한 데이터와 언어 모델 사용 시나리오의 다양성으로 인해 모든 시나리오에서 모델이 올바르하고 합리적인 출력을 생성 할 수 있다고 보장 할 수는 없습니다. 모델이 문제가있는 출력을 생성하는 위험이 여전히 남아 있습니다. 우리는 오용, 오용, 불법 사용 및 관련 잘못된 정보뿐만 아니라 관련 데이터 보안 문제로 인한 위험과 문제에 대해 책임을지지 않습니다.
[뒤로 상단으로 ⬆️]
YI-1.5 시리즈 모델의 코드 및 가중치는 Apache 2.0 라이센스에 따라 배포됩니다.
이 모델을 기반으로 파생물 공사를 작성하는 경우 파생 상품 작품에 다음 속성을 포함하십시오.
This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.
[뒤로 상단으로 ⬆️]
