Englisch | 中文
? Umarmendes Gesicht • ? ModelScope • ? kluges Modell
? Stellen Sie Fragen oder diskutieren Sie Ideen auf GitHub
Begleiten Sie uns auf ? Discord oder WeChat
Schauen Sie sich den Yi Tech Report an
Wachsen Sie im Yi Learning Hub
? Erfahren Sie im Yi Tech Blog
? Die Modelle der Yi-Serie sind die nächste Generation von Open-Source-Modellen für große Sprachen, die von 01.AI von Grund auf trainiert wurden.
? Als zweisprachiges Sprachmodell konzipiert und auf dem mehrsprachigen 3T-Korpus trainiert, werden die Modelle der Yi-Serie zu einem der stärksten LLM weltweit und zeigen vielversprechende Ergebnisse in den Bereichen Sprachverständnis, vernünftiges Denken, Leseverständnis und mehr. Zum Beispiel,
Das Yi-34B-Chat-Modell landete auf dem zweiten Platz (nach GPT-4 Turbo) und übertraf andere LLMs (wie GPT-4, Mixtral, Claude) im AlpacaEval Leaderboard (basierend auf bis Januar 2024 verfügbaren Daten).
Das Yi-34B-Modell belegte in verschiedenen Benchmarks, darunter Hugging Face Open LLM Leaderboard (vorab trainiert) und C-Eval , den ersten Platz unter allen vorhandenen Open-Source-Modellen (wie Falcon-180B, Llama-70B, Claude) sowohl in Englisch als auch in Chinesisch (basierend auf den bis November 2023 verfügbaren Daten).
(Dank an Llama) Vielen Dank an die Open-Source-Communitys Transformer und Llama, da sie den Aufwand für die Erstellung von Grund auf reduzieren und die Nutzung derselben Tools innerhalb des KI-Ökosystems ermöglichen.
TL;DR
Die Modelle der Yi-Serie verwenden dieselbe Modellarchitektur wie Llama, sind jedoch KEINE Derivate von Llama.
Sowohl Yi als auch Llama basieren auf der Transformer-Struktur, die seit 2018 die Standardarchitektur für große Sprachmodelle ist.
Basierend auf der Transformer-Architektur ist Llama aufgrund seiner hervorragenden Stabilität, zuverlässigen Konvergenz und robusten Kompatibilität zu einem neuen Eckpfeiler für die meisten hochmodernen Open-Source-Modelle geworden. Dies positioniert Llama als anerkanntes Grundgerüst für Modelle einschließlich Yi.
Dank der Transformer- und Llama-Architekturen können andere Modelle ihre Leistung nutzen, wodurch der Aufwand für den Aufbau von Grund auf reduziert wird und die Nutzung derselben Tools in ihren Ökosystemen ermöglicht wird.
Die Modelle der Yi-Serie sind jedoch KEINE Derivate von Llama, da sie nicht die Gewichte von Llama verwenden.
Da die Struktur von Llama von den meisten Open-Source-Modellen verwendet wird, sind Trainingsdatensätze, Trainingspipelines und Trainingsinfrastruktur die Schlüsselfaktoren für die Bestimmung der Modellleistung.
Yi hat auf einzigartige und proprietäre Weise entwickelt und von Grund auf unabhängig seine eigenen hochwertigen Trainingsdatensätze, effizienten Trainingspipelines und eine robuste Trainingsinfrastruktur erstellt. Diese Bemühungen haben zu einer hervorragenden Leistung geführt, wobei die Modelle der Yi-Serie im Dezember 2023 knapp hinter GPT4 rangierten und Llama in der Alpaka-Rangliste übertrafen.
[Zurück nach oben ⬆️]
Yi-9B-200K ist Open-Source und für die Öffentlichkeit verfügbar.Yi-9B ist Open-Source und für die Öffentlichkeit verfügbar.Yi-9B sticht unter einer Reihe ähnlich großer Open-Source-Modelle (einschließlich Mistral-7B, SOLAR-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-v1.5 und mehr) als Spitzenreiter hervor. Besonders hervorzuheben sind Code, Mathematik, gesundes Denken und Leseverständnis.Yi-VL-34B und Yi-VL-6B sind Open-Source und für die Öffentlichkeit verfügbar.Yi-VL-34B belegte in den neuesten Benchmarks, einschließlich MMMU und CMMMU, den ersten Platz unter allen vorhandenen Open-Source-Modellen (basierend auf bis Januar 2024 verfügbaren Daten).Yi-34B-ChatYi-34B-Chat-4bitsYi-34B-Chat-8bitsYi-6B-ChatYi-6B-Chat-4bitsYi-6B-Chat-8bitsEinige davon können Sie interaktiv ausprobieren unter:
Yi-6B-200K und Yi-34B-200K sind Open-Source und für die Öffentlichkeit verfügbar.Yi-6B und Yi-34B sind Open-Source und für die Öffentlichkeit verfügbar.[Zurück nach oben ⬆️]
Yi-Modelle sind in verschiedenen Größen erhältlich und decken unterschiedliche Anwendungsfälle ab. Sie können Yi-Modelle auch an Ihre spezifischen Anforderungen anpassen.
Wenn Sie Yi-Modelle einsetzen möchten, stellen Sie sicher, dass Sie die Software- und Hardwareanforderungen erfüllen.
| Modell | Herunterladen |
|---|---|
| Yi-34B-Chat | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-34B-Chat-4bits | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-34B-Chat-8bits | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-6B-Chat | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-6B-Chat-4bits | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-6B-Chat-8bits | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
- 4-Bit-Serienmodelle werden durch AWQ quantisiert.
- 8-Bit-Serienmodelle werden durch GPTQ quantisiert
- Alle quantisierten Modelle weisen eine geringe Nutzungsbarriere auf, da sie auf GPUs der Verbraucherklasse (z. B. 3090, 4090) eingesetzt werden können.
| Modell | Herunterladen |
|---|---|
| Yi-34B | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-34B-200K | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-9B | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-9B-200K | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-6B | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
| Yi-6B-200K | • ? Umarmendes Gesicht • ? ModelScope • ? kluges Modell |
- 200.000 entsprechen ungefähr 400.000 chinesischen Schriftzeichen.
– Wenn Sie die frühere Version des Yi-34B-200K (veröffentlicht am 5. November 2023) verwenden möchten, führen Sie git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf aus, um das Gewicht herunterzuladen.
| Modell | Einführung | Standardkontextfenster | Vorab trainierte Token | Datum der Trainingsdaten |
|---|---|---|---|---|
| Modelle der 6B-Serie | Sie sind für den persönlichen und akademischen Gebrauch geeignet. | 4K | 3T | Bis Juni 2023 |
| Modelle der 9B-Serie | Es ist das Beste in den Bereichen Codierung und Mathematik unter den Modellen der Yi-Serie. | Yi-9B wird kontinuierlich auf Basis von Yi-6B unter Verwendung von 0,8T-Tokens trainiert. | ||
| Modelle der 34B-Serie | Sie eignen sich für persönliche, akademische und kommerzielle (insbesondere für kleine und mittlere Unternehmen) Zwecke. Es handelt sich um eine kostengünstige Lösung, die erschwinglich und mit aufstrebenden Fähigkeiten ausgestattet ist. | 3T |
Für Chat-Models
Diese größere Vielfalt könnte jedoch bestimmte bestehende Probleme verstärken, darunter:
[Zurück nach oben ⬆️]
Tipp : Wenn Sie mit dem Yi-Modell beginnen und verschiedene Inferenzmethoden erkunden möchten, schauen Sie sich das Yi-Kochbuch an.
Wählen Sie einen der folgenden Wege, um Ihre Reise mit Yi zu beginnen!
Wenn Sie Yi-Modelle lieber lokal bereitstellen möchten,
?♀️ und Sie über ausreichende Ressourcen verfügen (z. B. NVIDIA A800 80 GB), können Sie eine der folgenden Methoden wählen:
?♀️ und Sie über begrenzte Ressourcen verfügen (z. B. ein MacBook Pro), können Sie llama.cpp verwenden.
Wenn Sie Yi-Modelle lieber nicht lokal bereitstellen möchten, können Sie die Fähigkeiten von Yi mithilfe einer der folgenden Optionen erkunden.
Wenn Sie weitere Funktionen von Yi erkunden möchten, können Sie eine dieser Methoden anwenden:
Yi APIs (Yi offiziell)
Yi-APIs (Replizieren)
Wenn Sie mit Yi mit anpassbareren Optionen chatten möchten (z. B. Systemaufforderung, Temperatur, Wiederholungsstrafe usw.), können Sie eine der folgenden Optionen ausprobieren:
Yi-34B-Chat-Playground (Yi-Beamter)
Yi-34B-Chat-Playground (Replikat)
Wenn Sie mit Yi chatten möchten, können Sie einen dieser Online-Dienste nutzen, die ein ähnliches Benutzererlebnis bieten:
Yi-34B-Chat (Yi-Beamter bei Hugging Face)
Yi-34B-Chat (offizielle Yi-Beta)
[Zurück nach oben ⬆️]
Dieses Tutorial führt Sie durch jeden Schritt der lokalen Ausführung von Yi-34B-Chat auf einem A800 (80G) und der anschließenden Durchführung von Inferenzen.
Stellen Sie sicher, dass Python 3.10 oder eine neuere Version installiert ist.
Wenn Sie andere Yi-Modelle verwenden möchten, sehen Sie sich die Software- und Hardwareanforderungen an.
Führen Sie den folgenden Befehl aus, um die Umgebung einzurichten und die erforderlichen Pakete zu installieren.
git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txtSie können die Gewichte und den Tokenizer von Yi-Modellen aus den folgenden Quellen herunterladen:
Sie können wie folgt Rückschlüsse mit Yi-Chat oder Basismodellen ziehen.
Erstellen Sie eine Datei mit dem Namen quick_start.py und kopieren Sie den folgenden Inhalt hinein.
from transformers import AutoModelForCausalLM , AutoTokenizer
model_path = ''
tokenizer = AutoTokenizer . from_pretrained ( model_path , use_fast = False )
# Since transformers 4.35.0, the GPT-Q/AWQ model can be loaded using AutoModelForCausalLM.
model = AutoModelForCausalLM . from_pretrained (
model_path ,
device_map = "auto" ,
torch_dtype = 'auto'
). eval ()
# Prompt content: "hi"
messages = [
{ "role" : "user" , "content" : "hi" }
]
input_ids = tokenizer . apply_chat_template ( conversation = messages , tokenize = True , add_generation_prompt = True , return_tensors = 'pt' )
output_ids = model . generate ( input_ids . to ( 'cuda' ))
response = tokenizer . decode ( output_ids [ 0 ][ input_ids . shape [ 1 ]:], skip_special_tokens = True )
# Model response: "Hello! How can I assist you today?"
print ( response ) Führen Sie quick_start.py aus.
python quick_start.pyDann sehen Sie eine Ausgabe ähnlich der folgenden. ?
Hello ! How can I assist you today ? Yi-34B
Die Schritte ähneln pip – Führen Sie eine Inferenz mit dem Yi-Chat-Modell durch.
Sie können die vorhandene Datei text_generation.py verwenden.
python demo/text_generation.py --model < your-model-path >Dann sehen Sie eine Ausgabe ähnlich der folgenden. ?
Aufforderung : Lassen Sie mich Ihnen eine interessante Geschichte über Katze Tom und Maus Jerry erzählen.
Generation : Lassen Sie mich Ihnen eine interessante Geschichte über Katze Tom und Maus Jerry erzählen, die sich in meiner Kindheit ereignete. Mein Vater hatte ein großes Haus, in dem zwei Katzen lebten, um Mäuse zu töten. Eines Tages, als ich alleine zu Hause spielte, fand ich einen der Kater auf dem Rücken in der Nähe unserer Küchentür liegen und sah aus, als wollte er etwas von uns, konnte aber nicht aufstehen, weil zu viele Leute um ihn herum waren! Er versuchte es mehrere Minuten lang, bevor er schließlich aufgab ...
Yi-9B
Eingang
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_DIR = " 01-ai/Yi-9B "
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype= " auto " )
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, use_fast=False)
input_text = " # write the quick sort algorithm "
inputs = tokenizer(input_text, return_tensors= " pt " ).to(model.device)
outputs = model.generate( ** inputs, max_length=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))Ausgabe
# write the quick sort algorithm
def quick_sort(arr):
if len(arr) < = 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
# test the quick sort algorithm
print(quick_sort([3, 6, 8, 10, 1, 2, 1]))[Zurück nach oben ⬆️]
Stellen Sie sicher, dass Sie Docker und nvidia-container-toolkit installiert haben.
docker run -it --gpus all
-v : /models
ghcr.io/01-ai/yi:latest
Alternativ können Sie das Yi-Docker-Image von registry.lingyiwanwu.com/ci/01-ai/yi:latest abrufen.
Sie können wie folgt Rückschlüsse mit Yi-Chat oder Basismodellen ziehen.
Die Schritte ähneln pip – Führen Sie eine Inferenz mit dem Yi-Chat-Modell durch.
Beachten Sie , dass der einzige Unterschied darin besteht model_path = ' anstelle von model_path = ' festzulegen.
Die Schritte ähneln pip – Führen Sie eine Inferenz mit dem Yi-Basismodell durch.
Beachten Sie , dass der einzige Unterschied darin besteht, --model anstelle von model festzulegen.
conda-lock können Sie vollständig reproduzierbare Sperrdateien für Conda-Umgebungen generieren.micromamba zum Installieren dieser Abhängigkeiten verwenden.Installieren Sie micromamba, indem Sie den hier verfügbaren Anweisungen folgen.
Führen Sie micromamba install -y -n yi -f conda-lock.yml aus, um eine Conda-Umgebung mit dem Namen yi zu erstellen und die erforderlichen Abhängigkeiten zu installieren.
Das folgende Tutorial führt Sie durch jeden Schritt der lokalen Ausführung eines quantisierten Modells (Yi-chat-6B-2bits) und der anschließenden Inferenzdurchführung.
In diesem Tutorial wird davon ausgegangen, dass Sie ein MacBook Pro mit 16 GB Speicher und einem Apple M2 Pro-Chip verwenden.
Stellen Sie sicher, dass git-lfs auf Ihrem Computer installiert ist.
llama.cpp herunter Führen Sie den folgenden Befehl aus, um das llama.cpp -Repository zu klonen.
git clone [email protected]:ggerganov/llama.cpp.git2.1 Um XeIaso/yi-chat-6B-GGUF nur mit Zeigern zu klonen, führen Sie den folgenden Befehl aus.
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF2.2 Um ein quantisiertes Yi-Modell (yi-chat-6b.Q2_K.gguf) herunterzuladen, führen Sie den folgenden Befehl aus.
git-lfs pull --include yi-chat-6b.Q2_K.ggufUm eine Inferenz mit dem Yi-Modell durchzuführen, können Sie eine der folgenden Methoden verwenden.
Methode 1: Inferenz im Terminal durchführen
Methode 2: Inferenz im Web durchführen
Um llama.cpp mit 4 Threads zu kompilieren und dann eine Inferenz durchzuführen, navigieren Sie zum Verzeichnis llama.cpp und führen Sie den folgenden Befehl aus.
Tipps
Ersetzen Sie
/Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufdurch den tatsächlichen Pfad Ihres Modells.Standardmäßig arbeitet das Modell im Vervollständigungsmodus.
Für zusätzliche Ausgabeanpassungsoptionen (z. B. Systemaufforderung, Temperatur, Wiederholungsstrafe usw.) führen Sie
./main -haus, um detaillierte Beschreibungen und Verwendung zu überprüfen.
make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p " How do you feed your pet fox? Please answer this question in 6 simple steps:nStep 1: " -n 384 -e
...
How do you feed your pet fox ? Please answer this question in 6 simple steps:
Step 1: Select the appropriate food for your pet fox. You should choose high-quality, balanced prey items that are suitable for their unique dietary needs. These could include live or frozen mice, rats, pigeons, or other small mammals, as well as fresh fruits and vegetables.
Step 2: Feed your pet fox once or twice a day, depending on the species and its individual preferences. Always ensure that they have access to fresh water throughout the day.
Step 3: Provide an appropriate environment for your pet fox. Ensure it has a comfortable place to rest, plenty of space to move around, and opportunities to play and exercise.
Step 4: Socialize your pet with other animals if possible. Interactions with other creatures can help them develop social skills and prevent boredom or stress.
Step 5: Regularly check for signs of illness or discomfort in your fox. Be prepared to provide veterinary care as needed, especially for common issues such as parasites, dental health problems, or infections.
Step 6: Educate yourself about the needs of your pet fox and be aware of any potential risks or concerns that could affect their well-being. Regularly consult with a veterinarian to ensure you are providing the best care.
...
Jetzt haben Sie erfolgreich eine Frage an das Yi-Modell gestellt und eine Antwort erhalten! ?
Führen Sie den folgenden Befehl aus, um einen einfachen und schnellen Chatbot zu initialisieren.
cd llama.cpp
./server --ctx-size 2048 --host 0.0.0.0 --n-gpu-layers 64 --model /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufDann können Sie eine Ausgabe wie diese erhalten:
...
llama_new_context_with_model: n_ctx = 2048
llama_new_context_with_model: freq_base = 5000000.0
llama_new_context_with_model: freq_scale = 1
ggml_metal_init: allocating
ggml_metal_init: found device: Apple M2 Pro
ggml_metal_init: picking default device: Apple M2 Pro
ggml_metal_init: ggml.metallib not found, loading from source
ggml_metal_init: GGML_METAL_PATH_RESOURCES = nil
ggml_metal_init: loading ' /Users/yu/llama.cpp/ggml-metal.metal '
ggml_metal_init: GPU name: Apple M2 Pro
ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008)
ggml_metal_init: hasUnifiedMemory = true
ggml_metal_init: recommendedMaxWorkingSetSize = 11453.25 MB
ggml_metal_init: maxTransferRate = built-in GPU
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 128.00 MiB, ( 2629.44 / 10922.67)
llama_new_context_with_model: KV self size = 128.00 MiB, K (f16): 64.00 MiB, V (f16): 64.00 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 0.02 MiB, ( 2629.45 / 10922.67)
llama_build_graph: non-view tensors processed: 676/676
llama_new_context_with_model: compute buffer total size = 159.19 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 156.02 MiB, ( 2785.45 / 10922.67)
Available slots:
- > Slot 0 - max context: 2048
llama server listening at http://0.0.0.0:8080 Um auf die Chatbot-Oberfläche zuzugreifen, öffnen Sie Ihren Webbrowser und geben Sie http://0.0.0.0:8080 in die Adressleiste ein.
Geben Sie in das Eingabeaufforderungsfenster eine Frage ein, z. B. „Wie füttern Sie Ihren Haustierfuchs? Bitte beantworten Sie diese Frage in 6 einfachen Schritten“, und Sie erhalten eine entsprechende Antwort.
[Zurück nach oben ⬆️]
Sie können eine Web-UI-Demo für Yi -Chat- Modelle erstellen (beachten Sie, dass Yi-Basismodelle in diesem Szenario nicht unterstützt werden).
Schritt 1: Bereiten Sie Ihre Umgebung vor.
Schritt 2: Laden Sie das Yi-Modell herunter.
Schritt 3: Um einen Webdienst lokal zu starten, führen Sie den folgenden Befehl aus.
python demo/web_demo.py -c < your-model-path >Sie können auf die Web-Benutzeroberfläche zugreifen, indem Sie die in der Konsole angegebene Adresse in Ihren Browser eingeben.
[Zurück nach oben ⬆️]
bash finetune/scripts/run_sft_Yi_6b.shSobald Sie fertig sind, können Sie das feinabgestimmte Modell und das Basismodell mit dem folgenden Befehl vergleichen:
bash finetune/scripts/run_eval.sh Standardmäßig verwenden wir einen kleinen Datensatz von BAAI/COIG, um das Basismodell zu verfeinern. Sie können Ihren benutzerdefinierten Datensatz auch im folgenden jsonl -Format vorbereiten:
{ "prompt" : " Human: Who are you? Assistant: " , "chosen" : " I'm Yi. " }Und hängen Sie sie dann im Container ein, um die Standardversionen zu ersetzen:
docker run -it
-v /path/to/save/finetuned/model/:/finetuned-model
-v /path/to/train.jsonl:/yi/finetune/data/train.json
-v /path/to/eval.jsonl:/yi/finetune/data/eval.json
ghcr.io/01-ai/yi:latest
bash finetune/scripts/run_sft_Yi_6b.shStellen Sie sicher, dass Sie Conda haben. Wenn nicht, verwenden Sie
mkdir -p ~ /miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~ /miniconda3/miniconda.sh
bash ~ /miniconda3/miniconda.sh -b -u -p ~ /miniconda3
rm -rf ~ /miniconda3/miniconda.sh
~ /miniconda3/bin/conda init bash
source ~ /.bashrcErstellen Sie dann eine Conda-Umgebung:
conda create -n dev_env python=3.10 -y
conda activate dev_env
pip install torch==2.0.1 deepspeed==0.10 tensorboard transformers datasets sentencepiece accelerate ray==2.7Für das Yi-6B-Modell wird ein Knoten mit 4 GPUs empfohlen, von denen jede über einen GPU-Speicher von mehr als 60 GB verfügt.
Da die Verwendung der Zero-Offload-Technik beim Yi-34B-Modell viel CPU-Speicher verbraucht, achten Sie bitte darauf, die Anzahl der GPUs im 34B-Feinabstimmungstraining zu begrenzen. Bitte verwenden Sie CUDA_VISIBLE_DEVICES, um die Anzahl der GPUs zu begrenzen (wie in scripts/run_sft_Yi_34b.sh gezeigt).
Ein typisches Hardware-Setup zur Feinabstimmung des 34B-Modells ist ein Knoten mit 8 GPUs (im Betrieb durch CUDA_VISIBLE_DEVICES=0,1,2,3 auf 4 begrenzt), jede mit einem GPU-Speicher von mehr als 80 GB und einem gesamten CPU-Speicher von mehr als 900 GB.
Laden Sie ein LLM-Basismodell in MODEL_PATH (6B und 34B) herunter. Ein typischer Modellordner sieht wie folgt aus:
| -- $MODEL_PATH
| | -- config.json
| | -- pytorch_model-00001-of-00002.bin
| | -- pytorch_model-00002-of-00002.bin
| | -- pytorch_model.bin.index.json
| | -- tokenizer_config.json
| | -- tokenizer.model
| | -- ...Laden Sie einen Datensatz von Huggingface in den lokalen Speicher DATA_PATH herunter, z. B. Dahoas/rm-static.
| -- $DATA_PATH
| | -- data
| | | -- train-00000-of-00001-2a1df75c6bce91ab.parquet
| | | -- test-00000-of-00001-8c7c51afc6d45980.parquet
| | -- dataset_infos.json
| | -- README.md finetune/yi_example_dataset enthält Beispieldatensätze, die von BAAI/COIG geändert wurden
| -- $DATA_PATH
| --data
| -- train.jsonl
| -- eval.jsonl cd in den Skriptordner, kopieren Sie das Skript, fügen Sie es ein und führen Sie es aus. Zum Beispiel:
cd finetune/scripts
bash run_sft_Yi_6b.shFür das Yi-6B-Basismodell kann durch Festlegen von training_debug_steps=20 und num_train_epochs=4 ein Chat-Modell ausgegeben werden, das etwa 20 Minuten dauert.
Beim Basismodell Yi-34B dauert die Initialisierung relativ lange. Bitte haben Sie etwas Geduld.
cd finetune/scripts
bash run_eval.shDann sehen Sie die Antwort sowohl des Basismodells als auch des feinabgestimmten Modells.
[Zurück nach oben ⬆️]
python quantization/gptq/quant_autogptq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeSobald Sie fertig sind, können Sie das resultierende Modell wie folgt bewerten:
python quantization/gptq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeGPT-Q ist eine PTQ-Methode (Post-Training Quantization). Es spart Speicher und ermöglicht potenzielle Beschleunigungen, während die Genauigkeit des Modells erhalten bleibt.
Yi-Modelle können ohne großen Aufwand mit GPT-Q quantisiert werden. Nachfolgend finden Sie eine Schritt-für-Schritt-Anleitung.
Um GPT-Q auszuführen, verwenden wir AutoGPTQ und exllama. Und die Huggingface-Transformatoren haben Optimum und Auto-GPTQ integriert, um eine GPTQ-Quantisierung an Sprachmodellen durchzuführen.
Für die Durchführung der GPT-Q-Quantisierung steht Ihnen das Skript quant_autogptq.py zur Verfügung:
python quant_autogptq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code Sie können ein quantisiertes Modell mit eval_quantized_model.py ausführen:
python eval_quantized_model.py --model /quantized_model --trust_remote_codepython quantization/awq/quant_autoawq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeSobald Sie fertig sind, können Sie das resultierende Modell wie folgt bewerten:
python quantization/awq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeAWQ ist eine PTQ-Methode (Post-Training Quantization). Es handelt sich um eine effiziente und genaue Low-Bit-Weight-Quantisierung (INT3/4) für LLMs.
Yi-Modelle können ohne großen Aufwand AWQ-quantisiert werden. Nachfolgend finden Sie eine Schritt-für-Schritt-Anleitung.
Um AWQ auszuführen, verwenden wir AutoAWQ.
Für die AWQ-Quantisierung steht Ihnen das Skript quant_autoawq.py zur Verfügung:
python quant_autoawq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code Sie können ein quantisiertes Modell mit eval_quantized_model.py ausführen:
python eval_quantized_model.py --model /quantized_model --trust_remote_code[Zurück nach oben ⬆️]
Wenn Sie Yi-Modelle einsetzen möchten, stellen Sie sicher, dass Sie die Software- und Hardwareanforderungen erfüllen.
Bevor Sie Yi-quantisierte Modelle verwenden, stellen Sie sicher, dass Sie die unten aufgeführte richtige Software installiert haben.
| Modell | Software |
|---|---|
| Yi 4-Bit quantisierte Modelle | AWQ und CUDA |
| Yi 8-Bit quantisierte Modelle | GPTQ und CUDA |
Stellen Sie vor der Bereitstellung von Yi in Ihrer Umgebung sicher, dass Ihre Hardware die folgenden Anforderungen erfüllt.
| Modell | Minimaler VRAM | Empfohlenes GPU-Beispiel |
|---|---|---|
| Yi-6B-Chat | 15 GB | 1 x RTX 3090 (24 GB) 1 x RTX 4090 (24 GB) 1 x A10 (24 GB) 1 x A30 (24 GB) |
| Yi-6B-Chat-4bits | 4 GB | 1 x RTX 3060 (12 GB) 1 x RTX 4060 (8 GB) |
| Yi-6B-Chat-8bits | 8 GB | 1 x RTX 3070 (8 GB) 1 x RTX 4060 (8 GB) |
| Yi-34B-Chat | 72 GB | 4 x RTX 4090 (24 GB) 1 x A800 (80 GB) |
| Yi-34B-Chat-4bits | 20 GB | 1 x RTX 3090 (24 GB) 1 x RTX 4090 (24 GB) 1 x A10 (24 GB) 1 x A30 (24 GB) 1 x A100 (40 GB) |
| Yi-34B-Chat-8bits | 38 GB | 2 x RTX 3090 (24 GB) 2 x RTX 4090 (24 GB) 1 x A800 (40 GB) |
Nachfolgend finden Sie detaillierte Mindestanforderungen an VRAM für verschiedene Batch-Anwendungsfälle.
| Modell | Charge=1 | Charge=4 | Charge=16 | Charge=32 |
|---|---|---|---|---|
| Yi-6B-Chat | 12 GB | 13 GB | 15 GB | 18 GB |
| Yi-6B-Chat-4bits | 4 GB | 5 GB | 7 GB | 10 GB |
| Yi-6B-Chat-8bits | 7 GB | 8 GB | 10 GB | 14 GB |
| Yi-34B-Chat | 65 GB | 68 GB | 76 GB | > 80 GB |
| Yi-34B-Chat-4bits | 19 GB | 20 GB | 30 GB | 40 GB |
| Yi-34B-Chat-8bits | 35 GB | 37 GB | 46 GB | 58 GB |
| Modell | Minimaler VRAM | Empfohlenes GPU-Beispiel |
|---|---|---|
| Yi-6B | 15 GB | 1 x RTX 3090 (24 GB) 1 x RTX 4090 (24 GB) 1 x A10 (24 GB) 1 x A30 (24 GB) |
| Yi-6B-200K | 50 GB | 1 x A800 (80 GB) |
| Yi-9B | 20 GB | 1 x RTX 4090 (24 GB) |
| Yi-34B | 72 GB | 4 x RTX 4090 (24 GB) 1 x A800 (80 GB) |
| Yi-34B-200K | 200 GB | 4 x A800 (80 GB) |
[Zurück nach oben ⬆️]
Yi-34B und Yi-34B-Chat liegt im Feinabstimmungsansatz und den Ergebnissen.Yi-34B Ihre erste Wahl sein.Yi-34B-Chat möglicherweise die beste Wahl. Wo kann ich Frage-Antwort-Datensätze zur Feinabstimmung beziehen?
Wie hoch ist der GPU-Speicherbedarf für die Feinabstimmung des Yi-34B FP16?
Der für die Feinabstimmung von 34B FP16 benötigte GPU-Speicher hängt von der spezifischen verwendeten Feinabstimmungsmethode ab. Für die vollständige Feinabstimmung der Parameter benötigen Sie 8 GPUs mit jeweils 80 GB; wirtschaftlichere Lösungen wie Lora erfordern jedoch weniger. Weitere Informationen finden Sie unter hiyouga/LLaMA-Factory. Erwägen Sie außerdem die Verwendung von BF16 anstelle von FP16 zur Feinabstimmung und Optimierung der Leistung.
Gibt es Plattformen von Drittanbietern, die die Chat-Funktionalität für das Modell Yi-34b-200k unterstützen?
Wenn Sie nach Chats von Drittanbietern suchen, finden Sie unter anderem fireworks.ai.
Willkommen im Yi-Lernzentrum!
Unabhängig davon, ob Sie ein erfahrener Entwickler oder ein Neuling sind, finden Sie eine Fülle hilfreicher Bildungsressourcen, mit denen Sie Ihr Verständnis und Ihre Fähigkeiten im Umgang mit Yi-Modellen verbessern können, darunter aufschlussreiche Blog-Beiträge, umfassende Video-Tutorials, praktische Anleitungen und mehr.
Der Inhalt, den Sie hier finden, wurde großzügig von sachkundigen Yi-Experten und leidenschaftlichen Enthusiasten beigesteuert. Wir danken Ihnen herzlich für Ihre unschätzbaren Beiträge!
Gleichzeitig laden wir Sie auch herzlich ein, sich unserer Zusammenarbeit anzuschließen und einen Beitrag zu Yi zu leisten. Wenn Sie bereits Beiträge zu Yi geleistet haben, zögern Sie bitte nicht, Ihre bemerkenswerte Arbeit in der folgenden Tabelle vorzustellen.
Mit all diesen Ressourcen sind Sie bereit, Ihre aufregende Reise mit Yi zu beginnen. Viel Spaß beim Lernen! ?
| Lieferbar | Datum | Autor |
|---|---|---|
| 使用Dify、Meilisearch、零一一万物模型实现最简单的 RAG 应用（三）：AI 电影推荐 | 20.05.2024 | 苏洋 |
| 使用autodl服务器, 在A40显卡上运行, Yi-34B-Chat-int4模型, 并使用vllm优化加速, 显存占用42G, 速度18 Wörter-s | 20.05.2024 | Fly-iot |
| Yi-VL 最佳实践 | 20.05.2024 | ModelScope |
| 一键运行零一万物新鲜出炉Yi-1.5-9B-Chat大模型 | 13.05.2024 | Zweiter Staat |
| 零一万物开源Yi-1.5系列大模型 | 13.05.2024 | 刘聪 |
| 零一万物Yi-1.5系列模型发布并开源！ 34B-9B-6B | 13.05.2024 | ModelScope |
| Yi-34B 本地部署简单测试 | 13.05.2024 | 漆妮妮 |
| 驾辰龙跨Llama持Wasm,玩转Yi模型迎新春过大年（上） | 13.05.2024 | Worte wert |
| 驾辰龙跨Llama持Wasm,玩转Yi模型迎新春过大年（下篇） | 13.05.2024 | Worte wert |
| Ollama新增两个命令,开始支持零一万物Yi-1.5系列模型 | 13.05.2024 | KI-Technologie |
| Mehr als 200.000 Fotos von Dify | 13.05.2024 | 苏洋 |
| (持更) 零一万物模型折腾笔记:社区 Yi-34B 微调模型使用 | 13.05.2024 | 苏洋 |
| Die Python+ERNIE-4.0-8K-Yi-34B-Chat-Funktion ist nicht verfügbar | 11.05.2024 | 江湖评谈 |
| Wie funktioniert Vue? Python? | 11.05.2024 | MumuLab |
| 多模态大模型Yi-VL-plus体验 效果很棒 | 27.04.2024 | 大家好我是爱因 |
| 使用autodl服务器, 两个3090显卡上运行, Yi-34B-Chat-int4模型, 并使用vllm优化加速, 显存占用42G, 速度23 Wörter-s | 27.04.2024 | Fly-iot |
| Erste Schritte mit Yi-1.5-9B-Chat | 27.04.2024 | Zweiter Staat |
| 基于零一万物yi-vl-plus大模型简单几步就能批量生成Anki图片笔记 | 24.04.2024 | 正经人王同学 |
| Der Yi-34B verfügt über eine hohe CPU- und GPU-Leistung | 21.04.2024 | My的梦想已实现 |
| 【Yi-34B-Chat-Int4】使用4个2080Ti显卡11G版本，运行Yi-34B模型，5年前老显卡是支持的，可以正常运行，速度 21. Wörter -s, vllm wird für 7 Tage verwendet显卡就可以 | 22.03.2024 | Fly-iot |
| 零一万物大模型部署+微调总结 | 22.03.2024 | v_wus |
| 零一万物Yi大模型vllm推理时Yi-34B或Yi-6bchat重复输出的解决方案 | 02.03.2024 | 郝铠锋 |
| Yi-34B ist eine neue Version | 02.03.2024 | lsjlnd |
| 实测零一万物Yi-VL多模态语言模型:能准确“识图吃瓜“ | 02.02.2024 | 苏洋 |
| 零一万物开源Yi-VL多模态大模型,魔搭社区推理&微调最佳实践来啦！ | 26.01.2024 | ModelScope |
| 单卡 3 小时训练 Yi-6B 大模型 Agent: 基于 Llama Factory 实战 | 22.01.2024 | 郑耀威 |
| 零一科技Yi-34B Chat大模型环境搭建&推理 | 15.01.2024 | 要养家的程序员 |
| 基于LLaMA Factory, 单卡3小时训练专属大模型 Agent | 15.01.2024 | 机器学习社区 |
| 双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录 | 02.01.2024 | 漆妮妮 |
| 【大模型部署实践-3】3个能在3090上跑起来的4bits量化Chat模型（baichuan2-13b、InternLM-20b、Yi-34b） | 02.01.2024 | aq_Seabiscuit |
| 只需 24G 显存, 用 vllm 跑起来 Yi-34B 中英双语大模型 | 28.12.2023 | 漆妮妮 |
| 200.000 USD 34B und 70B 模型, 打榜分数那么高, 这模型到底行不行？ | 28.12.2023 | 代码讲故事 |
| LLM - 大模型速递之 Yi-34B 入门与 LoRA 微调 | 18.12.2023 | BIT_666 |
| 通过vllm框架进行大模型推理 | 18.12.2023 | 土山炮 |
| CPU 混合推理,非常见大模型量化方案: „二三五六“ 位量化方案 | 12.12.2023 | 苏洋 |
| 零一万物模型折腾笔记:官方 Yi-34B 模型基础使用 | 10.12.2023 | 苏洋 |
| Yi-34B-Chat lokal mit LlamaEdge ausführen | 30.11.2023 | Zweiter Staat |
| 本地运行零一万物 34B Version, Version Llama.cpp & 21G Version | 26.11.2023 | 苏洋 |
| Lieferbar | Datum | Autor |
|---|---|---|
| yi-openai-proxy | 11.05.2024 | 苏洋 |
| 基于零一万物 Yi 模型和 B 站构建大语言模型高质量训练数据集 | 29.04.2024 | 正经人王同学 |
| 基于视频网站和零一万物大模型构建大语言模型高质量训练数据集 | 25.04.2024 | 正经人王同学 |
| 点击按钮即可生成无广告或推广内容的简要笔记,并生成分享图给好友 | 24.04.2024 | 正经人王同学 |
| Lebensmittel-GPT-Yi-Modell | 21.04.2024 | Hubert S |
| Lieferbar | Datum | Autor |
|---|---|---|
| Führen Sie Dolphin-2.2-yi-34b auf IoT-Geräten aus | 30.11.2023 | Zweiter Staat |
| 只需 24G 显存, 用 vllm 跑起来 Yi-34B 中英双语大模型 | 28.12.2023 | 漆妮妮 |
| Installieren Sie Yi 34B lokal – Chinesisch Englisch zweisprachiges LLM | 05.11.2023 | Fahd Mirza |
| Dolphin Yi 34b – Brandneues Basismodell im Test | 27.11.2023 | Matthew Berman |
| Yi-VL-34B 多模态大模型 - 用两张 A40 显卡跑起来 | 28.01.2024 | 漆妮妮 |
| 4060Ti 16G显卡安装零一万物最新开源的Yi-1.5版大语言模型 | 14.05.2024 | Titan909 |
| Yi-1.5: Echter Apache 2.0-Konkurrent von LLAMA-3 | 13.05.2024 | Schnelles Engineering |
| Yi-1.5-Modell lokal installieren – schlägt Llama 3 in verschiedenen Benchmarks | 13.05.2024 | Fahd Mirza |
| wie man Ollama installiert und Yi 6B ausführt | 13.05.2024 | Ridaa Davids |
| 地表最强混合智能AI助手:llama3_70B+Yi_34B+Qwen1.5_110B | 04.05.2024 | 朱扎特 |
| ChatDoc学术论文辅助--基于Yi-34B和langchain进行PDF知识库问答 | 03.05.2024 | 朱扎特 |
| 基于Yi-34B的领域知识问答项目演示 | 02.05.2024 | 朱扎特 |
| 使用RTX4090+GaLore算法全参微调Yi-6B大模型 | 24.03.2024 | 小工蚂创始人 |
| 无内容审查NSFW大语言模型Yi-34B-Chat蒸馏版测试, RolePlay, 《天龙八部》马夫人康敏, 本地GPU, CPU运行 | 20.03.2024 | 刘悦的技术博客 |
| 无内容审查NSFW大语言模型整合包,Yi-34B-Chat,本地CPU运行,角色扮演潘金莲 | 16.03.2024 | 刘悦的技术博客 |
| 量化 Yi-34B-Chat 并在单卡 RTX 4090 使用 vLLM 部署 | 05.03.2024 | 白鸽巢 |
| Yi-VL-34B（5）:使用3个3090显卡24G版本,运行Yi-VL-34B模型,支持命令行和web界面方式,理解图片的内容转换成文字 | 27.02.2024 | Fly-iot |
| Win环境KoboldCpp本地部署大语言模型进行各种角色扮演游戏 | 25.02.2024 | 魚蟲蟲 |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P2 | 23.02.2024 | 魚蟲蟲 |
| [wails] (2): | 20.02.2024 | Fly-iot |
| [xinference] (6): 在autodl上, 使用xinference部署yi-vl-chat, 和qwen-vl-chat模型, 可以使用openai调用成功 | 06.02.2024 | Fly-iot |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P1 | 05.02.2024 | 魚蟲蟲 |
| 2080Ti部署YI-34B大模型 xinference-oneapi-fastGPT本地知识库使用指南 | 30.01.2024 | 小饭护法要转码 |
| Bestes KI-Modell zum Schreiben von Geschichten – Installieren Sie Yi 6B 200K lokal unter Windows | 22.01.2024 | Fahd Mirza |
| Mac 本地运行大语言模型方法与常见问题指南（Yi 34B 模型+32 GB 内存测试） | 21.01.2024 | 小吴苹果机器人 |
| 【Dify 知识库】（ 11） ： DIFY0.4.9 改造支持 mysql ， 成功接入 yi-6b 做对话 ， 本地使用 fastchat 启动 占 8g 显存 ， 完成知识库配置 完成知识库配置 完成知识库配置 | 2024-01-21 | Fly-iot |
| 这位 llm 先生有点暴躁, 用的是 yi-6b 的某个量化版, #llm #大语言模型 #暴躁老哥 | 20.01.2024 | 晓漫吧 |
| 大模型推理 nvlink 桥接器有用吗｜双卡 a6000 测试一下 | 2024-01-17 | 漆妮妮 |
| 大模型推理 A40 gegen A6000 谁更强 - 对比 yi -34b 的单、双卡推理性能 | 2024-01-15 | 漆妮妮 |
| C-Eval 大语言模型评测基准- 用 LM Bewertungskabelbaum + Vllm 跑起来 | 2024-01-11 | 漆妮妮 |
| 双显卡部署 yi -34b 大模型 - vllm + gradio 踩坑记录 | 2024-01-01 | 漆妮妮 |
| 手把手教学！使用 vllm 快速部署 yi-34b-chat | 2023-12-26 | 白鸽巢 |
| 如何训练企业自己的大语言模型？ yi-6b lora 微调演示 #小工蚁 | 2023-12-21 | 小工蚂创始人 |
| Yi-34b （4） ： 使用 4 个 2080ti 显卡 11g 版本 运行 运行 yi-34b 模型 ， 5 年前老显卡是支持的 ， 可以正常运行 速度 21 Wörter/s | 2023-12-02 | Fly-iot |
| 使用 autodl 服务器 ， rtx 3090 * 3 显卡上运行 ， yi-34b-chat 模型 ， 显存占用 60g | 2023-12-01 | Fly-iot |
| 使用 autodl 服务器 ， 两个 3090 显卡上运行 ， yi-34b-chat-in4 模型 用 用 vllm 优化 ， 增加-num-gpu 2 ， 23 Wörter/s | 2023-12-01 | Fly-iot |
| Yi 大模型一键本地部署 技术小白玩转 ai | 2023-12-01 | 技术小白玩转 ai |
| 01.ai's Yi-6b: Übersicht und Feinabstimmung | 2023-11-28 | AI Makerspace |
| Yi 34b chat llm übertrifft llama 70b | 2023-11-27 | Dlexplorer |
| So führen Sie Open -Source -Modelle auf Mac Yi 34b auf M3 Max aus | 2023-11-26 | Techno Premium |
| Yi -34b - 200k - der beste und neue Kontextfensterkönig | 2023-11-24 | Schnelltechnik |
| YI 34B: Der Aufstieg leistungsstarker mittelgroßer Modelle - Base, 200K & Chat | 2023-11-24 | Sam Witteen |
| 在 IoT 设备运行破解版李开复大模型 Dolphin-2.2-yi-34b （还可作为私有 OpenAI API 服务器） 服务器） | 2023-11-15 | Zweiter Zustand |
| Führen Sie Delphin-2.2-Yi-34b auf IoT-Geräten aus (arbeitet auch als private OpenAI-API-Server) | 2023-11-14 | Zweiter Zustand |
| So installieren Sie YI 34B 200K Lamafied unter Windows Laptop | 2023-11-11 | Fahd Mirza |
YI verfügt über ein umfassendes Ökosystem, das eine Reihe von Tools, Diensten und Modellen bietet, um Ihre Erfahrungen zu bereichern und die Produktivität zu maximieren.
Die Modelle der Yi -Serie folgen der gleichen Modellarchitektur wie Lama. Durch die Auswahl von YI können Sie vorhandene Tools, Bibliotheken und Ressourcen im Lama -Ökosystem nutzen, um die Notwendigkeit zu beseitigen, neue Tools zu erstellen und die Entwicklungseffizienz zu verbessern.
Zum Beispiel werden die Modelle der YI -Serien im Format des Lama -Modells gespeichert. Sie können LlamaForCausalLM und LlamaTokenizer direkt verwenden, um das Modell zu laden. Weitere Informationen finden Sie unter Verwendung des Chat -Modells.
from transformers import AutoModelForCausalLM , AutoTokenizer
tokenizer = AutoTokenizer . from_pretrained ( "01-ai/Yi-34b" , use_fast = False )
model = AutoModelForCausalLM . from_pretrained ( "01-ai/Yi-34b" , device_map = "auto" )[Zurück nach oben ⬆️]
Tipp
Fühlen Sie sich frei, eine PR zu erstellen und die fantastische Arbeit zu teilen, die Sie mit den Modellen der Yi -Serie aufgebaut haben.
Um anderen zu helfen, Ihre Arbeit schnell zu verstehen, wird empfohlen, das Format von
zu verwenden.: +
Wenn Sie in wenigen Minuten mit Yi aufstehen möchten, können Sie die folgenden Dienste nutzen, die auf YI basieren.
YI-34B-CHAT: Sie können mit YI mit einer der folgenden Plattformen chatten:
Yi-6b-Chat (Replikat): Sie können dieses Modell mit mehr Optionen verwenden, indem Sie zusätzliche Parameter einstellen und APIs aufrufen.
SCALELLM: Mit diesem Dienst können Sie YI -Modelle lokal mit zusätzlicher Flexibilität und Anpassung ausführen.
Wenn Sie nur begrenzte Rechenfunktionen haben, können Sie die quantisierten Modelle von Yi wie folgt verwenden.
Diese quantisierten Modelle haben eine verringerte Präzision, bieten jedoch eine erhöhte Effizienz, wie z. B. eine schnellere Inferenzgeschwindigkeit und eine geringere Sternverwendung.
Wenn Sie die vielfältigen Fähigkeiten in der florierenden Familie von Yis untersuchen möchten, können Sie sich wie unten in Yis fein abgestimmte Modelle befassen.
THEBLOKE-Modelle: Auf dieser Website sind zahlreiche fein abgestimmte Modelle aus verschiedenen LLMs, einschließlich YI, abgeleitet.
Dies ist keine erschöpfende Liste für YI, sondern um einige sortierte nach Downloads zu nennen:
SUSTECH/SUS-CHAT-34B: Dieses Modell belegte den ersten Platz unter allen Modellen unter 70B und übertraf die zweimal größere Deek-LlM-67B-Chat. Sie können das Ergebnis in der Open LLM -Rangliste überprüfen.
Orionstarai/OrionStar-Yi-34B-Chat-Llama: Dieses Modell hat sich über andere Modelle (wie GPT-4, Qwen-14b-Chat, Baichuan2-13b-Chat) in C-Eval- und CMMLU-Bewertungen auf der OpenCompass-LLM-Leaderboard übertroffen.
NousResearch/Nous-Capybara-34B: Dieses Modell ist mit 200K-Kontextlänge und 3 Epochen auf dem Capybara-Datensatz trainiert.
[Zurück nach oben ⬆️]
Ausführliche Funktionen des Yi -Serienmodells finden Sie unter YI: Open Foundation Models von 01.AI.
@misc{ai2024yi,
title={Yi: Open Foundation Models by 01.AI},
author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
year={2024},
eprint={2403.04652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Das YI-34B-Chat-Modell zeigt eine außergewöhnliche Leistung und rangiert zuerst unter allen vorhandenen Open-Source-Modellen in den Benchmarks, einschließlich MMLU, CMMLU, BBH, GSM8K und mehr.
* : C-Eval-Ergebnisse werden in den Validierungsdatensätzen bewertet
Die Modelle Yi-34B und YI-34B-200K sind die Top-Performer unter Open-Source-Modellen, insbesondere in MMLU, CMMLU, allgemeinem Denken, Readingverständnis und vielem mehr.
YI-9b ist fast die beste unter einer Reihe von Open-Source-Modellen in ähnlicher Größe (einschließlich Mistral-7b, Solar-10.7b, Gemma-7b, Deepseek-Coder-7b-Base-V1.5 und mehr), insbesondere hervorragende Leistungen im Code, in Mathematik, in der Argumentation des gesunden Menschenverstandes und im Leseverständnis.
In Bezug auf die Gesamtfähigkeit (Mean-All) führt Yi-9b unter ähnlich großer Open-Source-Modelle mit Deepseek-Coder, Deepseek-Math, Mistral-7b, Solar-10.7b und Gemma-7b die besten.
In Bezug auf die Codierungsfähigkeit (Mittelwert) ist die Leistung von Yi-9b nur für Deepseek-Coder-7b an zweiter Stelle, die Yi-34b, Solar-10.7b, Mistral-7b und Gemma-7b übertreffen.
In Bezug auf die mathematische Fähigkeit (Mean-MATH) ist die Leistung von Yi-9b nur für Deepseek-Math-7b an zweiter Stelle und übertrifft Solar-10.7b, Mistral-7b und Gemma-7b.
In Bezug auf den gesunden Menschenverstand und die Fähigkeit des gesunden Menschenverstandes (Mittelstufe) ist die Leistung von YI-9B mit Mistral-7b, Solar-10.7b und Gemma-7b entspricht.
[Zurück nach oben ⬆️]
Alle! ? ✅
Der Code und die Gewichte der Modelle der Yi -Serien werden unter der Apache 2.0 -Lizenz verteilt, was bedeutet, dass die YI -Serienmodelle für persönliche Verwendung, akademische Zwecke und kommerzielle Nutzung kostenlos sind.
[Zurück nach oben ⬆️]
Ein herzliches Dankeschön an jeden von Ihnen, der Beiträge zur YI -Community geleistet hat! Sie haben Yi nicht nur einem Projekt geholfen, sondern auch einem lebendigen, wachsenden Innovation nach Hause.
[Zurück nach oben ⬆️]
Während des Schulungsprozesses verwenden wir Algorithmen zur Datenkonformität, um die Einhaltung des geschulten Modells nach besten Kräften zu gewährleisten. Aufgrund komplexer Daten und der Vielfalt der Sprachmodell -Nutzungsszenarien können wir nicht garantieren, dass das Modell in allen Szenarien korrekt und angemessene Ausgaben generiert. Bitte beachten Sie, dass immer noch ein Risiko besteht, dass das Modell problematische Outputs erzeugt. Wir werden nicht für Risiken und Themen verantwortlich sein, die sich aus Missbrauch, Fehlleuchten, illegaler Verwendung und damit verbundener Fehlinformationen sowie allen dazugehörigen Bedenken hinsichtlich der Datensicherheit ergeben.
[Zurück nach oben ⬆️]
Der Code und die Gewichte der Modelle der Yi-1.5-Serien werden unter der Apache 2.0-Lizenz verteilt.
Wenn Sie basierend auf diesem Modell abgeleitende Werke erstellen, geben Sie bitte die folgende Zuschreibung in Ihre Ableitungen ein:
This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.
[Zurück nach oben ⬆️]
