английский | 中文
? Обнимающее лицо • ? Объем модели • ? мудрая модель
? Задавайте вопросы или обсуждайте идеи на GitHub.
Присоединяйтесь к нам? Дискорд или Вичат
Ознакомьтесь с отчетом Yi Tech
Развивайтесь в Центре обучения Yi
? Учитесь в блоге Yi Tech
? Модели серии Yi — это следующее поколение моделей большого языка с открытым исходным кодом, обученных с нуля компанией 01.AI.
? Модели серии Yi, ориентированные на двуязычную языковую модель и обученные на многоязычном корпусе 3T, становятся одними из самых сильных LLM в мире, демонстрируя многообещающие результаты в понимании языка, здравом смысле, понимании прочитанного и многом другом. Например,
Модель Yi-34B-Chat заняла второе место (после GPT-4 Turbo) , опередив другие LLM (такие как GPT-4, Mixtral, Claude) в таблице лидеров AlpacaEval (на основе данных, доступных до января 2024 года).
Модель Yi-34B заняла первое место среди всех существующих моделей с открытым исходным кодом (таких как Falcon-180B, Llama-70B, Claude) на английском и китайском языках по различным тестам, включая Hugging Face Open LLM Leaderboard (предварительно обученный) и C-Eval. (на основе данных, доступных до ноября 2023 г.).
(Спасибо Llama) Спасибо сообществам открытого исходного кода Transformer и Llama, поскольку они сокращают усилия, необходимые для создания с нуля, и позволяют использовать одни и те же инструменты в экосистеме искусственного интеллекта.
ТЛ;ДР
Модели серии Yi имеют ту же архитектуру, что и Llama, но НЕ являются производными от Llama.
И Yi, и Llama основаны на структуре Transformer, которая с 2018 года является стандартной архитектурой для больших языковых моделей.
Основанный на архитектуре Transformer, Llama стал новым краеугольным камнем для большинства современных моделей с открытым исходным кодом благодаря своей превосходной стабильности, надежной конвергенции и надежной совместимости. Это делает Llama признанной основополагающей основой для моделей, включая Yi.
Благодаря архитектурам Transformer и Llama другие модели могут использовать их возможности, сокращая усилия, необходимые для сборки с нуля, и позволяя использовать те же инструменты в своих экосистемах.
Однако модели серии Yi НЕ являются производными от Llama, поскольку в них не используются гири Llama.
Поскольку структура Llama используется в большинстве моделей с открытым исходным кодом, ключевыми факторами, определяющими производительность модели, являются наборы обучающих данных, конвейеры обучения и инфраструктура обучения.
Развиваясь уникальным и запатентованным способом, Yi самостоятельно создала свои собственные высококачественные наборы обучающих данных, эффективные обучающие конвейеры и надежную обучающую инфраструктуру полностью с нуля. Эти усилия привели к отличным результатам: модели серии Yi заняли второе место после GPT4 и превзошли Llama в таблице лидеров альпаки в декабре 2023 года.
[Вверх ⬆️]
Yi-9B-200K открыт и доступен для общественности.Yi-9B открыт и доступен для общественности.Yi-9B выделяется как лучший производитель среди ряда моделей с открытым исходным кодом аналогичного размера (включая Mistral-7B, SOLAR-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-v1.5 и другие), особенно преуспевает в программировании, математике, здравом смысле и понимании прочитанного.Yi-VL-34B и Yi-VL-6B , имеют открытый исходный код и доступны для общественности.Yi-VL-34B занял первое место среди всех существующих моделей с открытым исходным кодом в последних тестах, включая MMMU и CMMMU (на основе данных, доступных до января 2024 года).Yi-34B-ChatYi-34B-Chat-4bitsYi-34B-Chat-8bitsYi-6B-ChatYi-6B-Chat-4bitsYi-6B-Chat-8bitsВы можете попробовать некоторые из них в интерактивном режиме:
Yi-6B-200K и Yi-34B-200K выложены в открытый доступ и доступны широкой публике.Yi-6B и Yi-34B выложены в открытый исходный код и доступны для общественности.[Вверх ⬆️]
Модели Yi бывают разных размеров и подходят для разных случаев использования. Вы также можете настроить модели Yi в соответствии с вашими конкретными требованиями.
Если вы хотите развернуть модели Yi, убедитесь, что вы соответствуете требованиям к программному и аппаратному обеспечению.
| Модель | Скачать |
|---|---|
| Yi-34B-Чат | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| Yi-34B-Чат-4бита | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| Yi-34B-Чат-8бит | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| Йи-6Б-Чат | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| Yi-6B-Чат-4бита | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| Yi-6B-Чат-8бит | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
- Модели 4-битных серий квантуются с помощью AWQ.
- Модели 8-битных серий квантуются с помощью GPTQ.
- Все квантованные модели имеют низкий барьер для использования, поскольку их можно развернуть на графических процессорах потребительского уровня (например, 3090, 4090).
| Модель | Скачать |
|---|---|
| Йи-34Б | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| И-34Б-200К | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| Йи-9Б | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| Йи-9Б-200К | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| Йи-6Б | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
| Йи-6Б-200К | • ? Обнимающее лицо • ? Объем модели • ? мудрая модель |
- 200 тысяч примерно эквивалентны 400 000 китайских иероглифов.
- Если вы хотите использовать предыдущую версию Yi-34B-200K (выпущенную 5 ноября 2023 г.), запустите git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf , чтобы загрузить вес.
| Модель | Введение | Контекстное окно по умолчанию | Предварительно обученные токены | Дата данных обучения |
|---|---|---|---|---|
| Модели серии 6B | Они подходят для личного и академического использования. | 4К | 3Т | До июня 2023 г. |
| Модели серии 9В | Он лучший в кодировании и математических вычислениях среди моделей серии Yi. | Yi-9B постоянно обучается на базе Yi-6B с использованием токенов 0,8T. | ||
| Модели серии 34В | Они подходят для личных, академических и коммерческих (особенно для малых и средних предприятий) целей. Это экономически эффективное решение, доступное по цене и оснащенное экстренными возможностями. | 3Т |
Для моделей чата
Однако такое более высокое разнообразие может усугубить некоторые существующие проблемы, в том числе:
[Вверх ⬆️]
Совет . Если вы хотите начать работу с моделью Yi и изучить различные методы вывода, ознакомьтесь с «Поваренной книгой Yi».
Выберите один из следующих путей, чтобы начать свое путешествие вместе с Йи!
Если вы предпочитаете развертывать модели Yi локально,
?♀️ и у вас достаточно ресурсов (например, NVIDIA A800 80 ГБ), вы можете выбрать один из следующих способов:
?♀️ и у вас ограниченные ресурсы (например, MacBook Pro), вы можете использовать llama.cpp.
Если вы предпочитаете не развертывать модели Yi локально, вы можете изучить возможности Yi, используя любой из следующих вариантов.
Если вы хотите изучить дополнительные возможности Yi, вы можете воспользоваться одним из этих методов:
API Yi (официальный представитель Yi)
API Yi (реплицировать)
Если вы хотите общаться с Йи с более настраиваемыми параметрами (например, системным приглашением, температурой, штрафом за повторение и т. д.), вы можете попробовать один из следующих вариантов:
Yi-34B-Chat-Playground (официальный представитель Yi)
Yi-34B-Чат-Детская площадка (Реплика)
Если вы хотите пообщаться с Йи, вы можете использовать один из этих онлайн-сервисов, которые предлагают аналогичный пользовательский интерфейс:
Yi-34B-Chat (официальный представитель Yi на Hugging Face)
Yi-34B-Chat (официальная бета-версия Yi)
[Вверх ⬆️]
Это руководство проведет вас через каждый этап локального запуска Yi-34B-Chat на A800 (80G) и последующего выполнения вывода.
Убедитесь, что установлен Python 3.10 или более поздняя версия.
Если вы хотите использовать другие модели Yi, ознакомьтесь с требованиями к программному и аппаратному обеспечению.
Чтобы настроить среду и установить необходимые пакеты, выполните следующую команду.
git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txtСкачать веса и токенизатор моделей Yi можно из следующих источников:
Вы можете выполнить вывод с помощью чата Yi или базовых моделей, как показано ниже.
Создайте файл с именем quick_start.py и скопируйте в него следующее содержимое.
from transformers import AutoModelForCausalLM , AutoTokenizer
model_path = ''
tokenizer = AutoTokenizer . from_pretrained ( model_path , use_fast = False )
# Since transformers 4.35.0, the GPT-Q/AWQ model can be loaded using AutoModelForCausalLM.
model = AutoModelForCausalLM . from_pretrained (
model_path ,
device_map = "auto" ,
torch_dtype = 'auto'
). eval ()
# Prompt content: "hi"
messages = [
{ "role" : "user" , "content" : "hi" }
]
input_ids = tokenizer . apply_chat_template ( conversation = messages , tokenize = True , add_generation_prompt = True , return_tensors = 'pt' )
output_ids = model . generate ( input_ids . to ( 'cuda' ))
response = tokenizer . decode ( output_ids [ 0 ][ input_ids . shape [ 1 ]:], skip_special_tokens = True )
# Model response: "Hello! How can I assist you today?"
print ( response ) Запустите quick_start.py .
python quick_start.pyЗатем вы увидите результат, аналогичный приведенному ниже. ?
Hello ! How can I assist you today ? Йи-34Б
Шаги аналогичны pip — выполнить вывод с помощью модели чата Yi.
Вы можете использовать существующий файл text_generation.py .
python demo/text_generation.py --model < your-model-path >Затем вы увидите результат, аналогичный показанному ниже. ?
Подсказка : Позвольте мне рассказать вам интересную историю о коте Томе и мышонке Джерри.
Поколение : Позвольте мне рассказать вам интересную историю о коте Томе и мышонке Джерри, которая произошла в моем детстве. У моего отца был большой дом, в котором жили две кошки, которые ловили мышей. Однажды, когда я играл дома один, я нашел одного из котов, лежащего на спине возле нашей кухонной двери и выглядевшего так, будто он чего-то хотел от нас, но не мог встать, потому что вокруг него было слишком много людей! Он пытался несколько минут, прежде чем наконец сдался...
Йи-9Б
Вход
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_DIR = " 01-ai/Yi-9B "
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype= " auto " )
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, use_fast=False)
input_text = " # write the quick sort algorithm "
inputs = tokenizer(input_text, return_tensors= " pt " ).to(model.device)
outputs = model.generate( ** inputs, max_length=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))Выход
# write the quick sort algorithm
def quick_sort(arr):
if len(arr) < = 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
# test the quick sort algorithm
print(quick_sort([3, 6, 8, 10, 1, 2, 1]))[Вверх ⬆️]
Убедитесь, что вы установили Docker и nvidia-container-toolkit.
docker run -it --gpus all
-v : /models
ghcr.io/01-ai/yi:latest
Кроме того, вы можете получить образ Yi Docker с registry.lingyiwanwu.com/ci/01-ai/yi:latest .
Вы можете выполнить вывод с помощью чата Yi или базовых моделей, как показано ниже.
Шаги аналогичны pip — выполнить вывод с помощью модели чата Yi.
Обратите внимание , что единственное отличие состоит в том, чтобы установить model_path = ' вместо model_path = ' .
Шаги аналогичны шагу — выполнить вывод с использованием базовой модели Yi.
Обратите внимание , что единственное отличие состоит в том, чтобы установить --model вместо model .
conda-lock для создания полностью воспроизводимых файлов блокировки для сред conda.micromamba для установки этих зависимостей.Установите микромамбу, следуя инструкциям, доступным здесь.
Выполните micromamba install -y -n yi -f conda-lock.yml чтобы создать среду conda с именем yi и установить необходимые зависимости.
Следующее руководство проведет вас через каждый шаг локального запуска квантовой модели (Yi-chat-6B-2bits) и последующего выполнения вывода.
В этом руководстве предполагается, что вы используете MacBook Pro с 16 ГБ памяти и процессором Apple M2 Pro.
Убедитесь, что на вашем компьютере установлен git-lfs .
llama.cpp Чтобы клонировать репозиторий llama.cpp , выполните следующую команду.
git clone [email protected]:ggerganov/llama.cpp.git2.1 Чтобы клонировать XeIaso/yi-chat-6B-GGUF с помощью только указателей, выполните следующую команду.
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF2.2 Чтобы загрузить квантованную модель Yi (yi-chat-6b.Q2_K.gguf), выполните следующую команду.
git-lfs pull --include yi-chat-6b.Q2_K.ggufЧтобы выполнить вывод с помощью модели Yi, вы можете использовать один из следующих методов.
Способ 1: выполнить вывод в терминале
Способ 2: выполнить вывод в Интернете
Чтобы скомпилировать llama.cpp с использованием 4 потоков и затем выполнить логический вывод, перейдите в каталог llama.cpp и выполните следующую команду.
Советы
Замените
/Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufфактическим путем к вашей модели.По умолчанию модель работает в режиме завершения.
Чтобы получить дополнительные параметры настройки вывода (например, системное приглашение, температуру, штраф за повторение и т. д.), запустите
./main -h, чтобы просмотреть подробные описания и использование.
make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p " How do you feed your pet fox? Please answer this question in 6 simple steps:nStep 1: " -n 384 -e
...
How do you feed your pet fox ? Please answer this question in 6 simple steps:
Step 1: Select the appropriate food for your pet fox. You should choose high-quality, balanced prey items that are suitable for their unique dietary needs. These could include live or frozen mice, rats, pigeons, or other small mammals, as well as fresh fruits and vegetables.
Step 2: Feed your pet fox once or twice a day, depending on the species and its individual preferences. Always ensure that they have access to fresh water throughout the day.
Step 3: Provide an appropriate environment for your pet fox. Ensure it has a comfortable place to rest, plenty of space to move around, and opportunities to play and exercise.
Step 4: Socialize your pet with other animals if possible. Interactions with other creatures can help them develop social skills and prevent boredom or stress.
Step 5: Regularly check for signs of illness or discomfort in your fox. Be prepared to provide veterinary care as needed, especially for common issues such as parasites, dental health problems, or infections.
Step 6: Educate yourself about the needs of your pet fox and be aware of any potential risks or concerns that could affect their well-being. Regularly consult with a veterinarian to ensure you are providing the best care.
...
Теперь вы успешно задали вопрос модели Yi и получили ответ! ?
Чтобы инициализировать легкого и быстрого чат-бота, выполните следующую команду.
cd llama.cpp
./server --ctx-size 2048 --host 0.0.0.0 --n-gpu-layers 64 --model /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.ggufТогда вы можете получить такой вывод:
...
llama_new_context_with_model: n_ctx = 2048
llama_new_context_with_model: freq_base = 5000000.0
llama_new_context_with_model: freq_scale = 1
ggml_metal_init: allocating
ggml_metal_init: found device: Apple M2 Pro
ggml_metal_init: picking default device: Apple M2 Pro
ggml_metal_init: ggml.metallib not found, loading from source
ggml_metal_init: GGML_METAL_PATH_RESOURCES = nil
ggml_metal_init: loading ' /Users/yu/llama.cpp/ggml-metal.metal '
ggml_metal_init: GPU name: Apple M2 Pro
ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008)
ggml_metal_init: hasUnifiedMemory = true
ggml_metal_init: recommendedMaxWorkingSetSize = 11453.25 MB
ggml_metal_init: maxTransferRate = built-in GPU
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 128.00 MiB, ( 2629.44 / 10922.67)
llama_new_context_with_model: KV self size = 128.00 MiB, K (f16): 64.00 MiB, V (f16): 64.00 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 0.02 MiB, ( 2629.45 / 10922.67)
llama_build_graph: non-view tensors processed: 676/676
llama_new_context_with_model: compute buffer total size = 159.19 MiB
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 156.02 MiB, ( 2785.45 / 10922.67)
Available slots:
- > Slot 0 - max context: 2048
llama server listening at http://0.0.0.0:8080 Чтобы получить доступ к интерфейсу чат-бота, откройте веб-браузер и введите http://0.0.0.0:8080 в адресную строку.
Введите в окно подсказки вопрос, например «Как вы кормите свою домашнюю лису? Пожалуйста, ответьте на этот вопрос за 6 простых шагов», и вы получите соответствующий ответ.
[Вверх ⬆️]
Вы можете создать демо-версию веб-интерфейса для моделей чата Yi (обратите внимание, что базовые модели Yi в этом сценарии не поддерживаются).
Шаг 1. Подготовьте среду.
Шаг 2. Загрузите модель Yi.
Шаг 3. Чтобы запустить веб-службу локально, выполните следующую команду.
python demo/web_demo.py -c < your-model-path >Вы можете получить доступ к веб-интерфейсу, введя адрес, указанный в консоли, в браузере.
[Вверх ⬆️]
bash finetune/scripts/run_sft_Yi_6b.shПосле завершения вы можете сравнить настроенную модель и базовую модель с помощью следующей команды:
bash finetune/scripts/run_eval.sh По умолчанию мы используем небольшой набор данных из BAAI/COIG для точной настройки базовой модели. Вы также можете подготовить свой собственный набор данных в следующем формате jsonl :
{ "prompt" : " Human: Who are you? Assistant: " , "chosen" : " I'm Yi. " }А затем смонтируйте их в контейнер, чтобы заменить стандартные:
docker run -it
-v /path/to/save/finetuned/model/:/finetuned-model
-v /path/to/train.jsonl:/yi/finetune/data/train.json
-v /path/to/eval.jsonl:/yi/finetune/data/eval.json
ghcr.io/01-ai/yi:latest
bash finetune/scripts/run_sft_Yi_6b.shУбедитесь, что у вас есть конда. Если нет, используйте
mkdir -p ~ /miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~ /miniconda3/miniconda.sh
bash ~ /miniconda3/miniconda.sh -b -u -p ~ /miniconda3
rm -rf ~ /miniconda3/miniconda.sh
~ /miniconda3/bin/conda init bash
source ~ /.bashrcЗатем создайте среду conda:
conda create -n dev_env python=3.10 -y
conda activate dev_env
pip install torch==2.0.1 deepspeed==0.10 tensorboard transformers datasets sentencepiece accelerate ray==2.7Для модели Yi-6B рекомендуется узел с 4 графическими процессорами, каждый с объемом памяти графического процессора более 60 ГБ.
Для модели Yi-34B, поскольку использование метода нулевой разгрузки потребляет много памяти ЦП, будьте осторожны и ограничивайте количество графических процессоров при точной настройке 34B. Используйте CUDA_VISIBLE_DEVICES, чтобы ограничить количество графических процессоров (как показано в scripts/run_sft_Yi_34b.sh).
Типичная аппаратная установка для точной настройки модели 34B — это узел с 8 графическими процессорами (ограничено 4 при работе с помощью CUDA_VISIBLE_DEVICES=0,1,2,3), каждый с памятью графического процессора более 80 ГБ и общей памятью процессора более 900 ГБ.
Загрузите базовую модель LLM в MODEL_PATH (6B и 34B). Типичная папка моделей выглядит так:
| -- $MODEL_PATH
| | -- config.json
| | -- pytorch_model-00001-of-00002.bin
| | -- pytorch_model-00002-of-00002.bin
| | -- pytorch_model.bin.index.json
| | -- tokenizer_config.json
| | -- tokenizer.model
| | -- ...Загрузите набор данных из Huggingface в локальное хранилище DATA_PATH, например Dahoas/rm-static.
| -- $DATA_PATH
| | -- data
| | | -- train-00000-of-00001-2a1df75c6bce91ab.parquet
| | | -- test-00000-of-00001-8c7c51afc6d45980.parquet
| | -- dataset_infos.json
| | -- README.md finetune/yi_example_dataset содержит примеры наборов данных, модифицированных из BAAI/COIG.
| -- $DATA_PATH
| --data
| -- train.jsonl
| -- eval.jsonl cd в папку сценариев, скопируйте и вставьте сценарий и запустите. Например:
cd finetune/scripts
bash run_sft_Yi_6b.shДля базовой модели Yi-6B установка Training_debug_steps=20 и num_train_epochs=4 позволяет вывести модель чата, что займет около 20 минут.
Для базовой модели Yi-34B инициализация занимает относительно много времени. Пожалуйста, будьте терпеливы.
cd finetune/scripts
bash run_eval.shТогда вы увидите ответ как для базовой модели, так и для точно настроенной модели.
[Вверх ⬆️]
python quantization/gptq/quant_autogptq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeПосле завершения вы можете оценить полученную модель следующим образом:
python quantization/gptq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeGPT-Q — это метод PTQ (квантования после обучения). Это экономит память и обеспечивает потенциальное ускорение, сохраняя при этом точность модели.
Модели Yi можно без особых усилий квантовать по GPT-Q. Ниже мы предоставляем пошаговое руководство.
Для запуска GPT-Q мы будем использовать AutoGPTQ и exllama. А преобразователи Huggingface интегрировали оптимальный и автоматический gptq для выполнения квантования GPTQ на языковых моделях.
Сценарий quant_autogptq.py предназначен для выполнения квантования GPT-Q:
python quant_autogptq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code Вы можете запустить квантованную модель, используя eval_quantized_model.py :
python eval_quantized_model.py --model /quantized_model --trust_remote_codepython quantization/awq/quant_autoawq.py
--model /base_model
--output_dir /quantized_model
--trust_remote_codeПосле завершения вы можете оценить полученную модель следующим образом:
python quantization/awq/eval_quantized_model.py
--model /quantized_model
--trust_remote_codeAWQ — это метод PTQ (квантования после обучения). Это эффективное и точное низкоразрядное весовое квантование (INT3/4) для LLM.
Модели Yi можно квантовать AWQ без особых усилий. Ниже мы предоставляем пошаговое руководство.
Для запуска AWQ мы будем использовать AutoAWQ.
Сценарий quant_autoawq.py предназначен для выполнения квантования AWQ:
python quant_autoawq.py --model /base_model
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code Вы можете запустить квантованную модель, используя eval_quantized_model.py :
python eval_quantized_model.py --model /quantized_model --trust_remote_code[Вверх ⬆️]
Если вы хотите развернуть модели Yi, убедитесь, что вы соответствуете требованиям к программному и аппаратному обеспечению.
Прежде чем использовать модели, квантованные Yi, убедитесь, что вы установили правильное программное обеспечение, указанное ниже.
| Модель | Программное обеспечение |
|---|---|
| 4-битные квантованные модели Yi | AWQ и CUDA |
| 8-битные квантованные модели Yi | GPTQ и CUDA |
Прежде чем развертывать Yi в своей среде, убедитесь, что ваше оборудование соответствует следующим требованиям.
| Модель | Минимальная видеопамять | Рекомендуемый пример графического процессора |
|---|---|---|
| Йи-6Б-Чат | 15 ГБ | 1 x RTX 3090 (24 ГБ) 1 x RTX 4090 (24 ГБ) 1 х А10 (24 ГБ) 1 х А30 (24 ГБ) |
| Yi-6B-Чат-4бита | 4ГБ | 1 x RTX 3060 (12 ГБ) 1 x RTX 4060 (8 ГБ) |
| Yi-6B-Чат-8бит | 8 ГБ | 1 x RTX 3070 (8 ГБ) 1 x RTX 4060 (8 ГБ) |
| Yi-34B-Чат | 72 ГБ | 4 x RTX 4090 (24 ГБ) 1 х А800 (80 ГБ) |
| Yi-34B-Чат-4бита | 20 ГБ | 1 x RTX 3090 (24 ГБ) 1 x RTX 4090 (24 ГБ) 1 х А10 (24 ГБ) 1 х А30 (24 ГБ) 1 х А100 (40 ГБ) |
| Yi-34B-Чат-8бит | 38 ГБ | 2 x RTX 3090 (24 ГБ) 2 x RTX 4090 (24 ГБ) 1 х А800 (40 ГБ) |
Ниже приведены подробные минимальные требования к VRAM для различных случаев пакетного использования.
| Модель | партия=1 | партия=4 | партия=16 | партия=32 |
|---|---|---|---|---|
| Йи-6Б-Чат | 12 ГБ | 13 ГБ | 15 ГБ | 18 ГБ |
| Yi-6B-Чат-4бита | 4ГБ | 5 ГБ | 7 ГБ | 10 ГБ |
| Yi-6B-Чат-8бит | 7 ГБ | 8 ГБ | 10 ГБ | 14 ГБ |
| Yi-34B-Чат | 65 ГБ | 68 ГБ | 76 ГБ | > 80 ГБ |
| Yi-34B-Чат-4бита | 19 ГБ | 20 ГБ | 30 ГБ | 40 ГБ |
| Yi-34B-Чат-8бит | 35 ГБ | 37 ГБ | 46 ГБ | 58 ГБ |
| Модель | Минимальная видеопамять | Рекомендуемый пример графического процессора |
|---|---|---|
| Йи-6Б | 15 ГБ | 1 x RTX 3090 (24 ГБ) 1 x RTX 4090 (24 ГБ) 1 х А10 (24 ГБ) 1 х А30 (24 ГБ) |
| Йи-6Б-200К | 50 ГБ | 1 х А800 (80 ГБ) |
| Йи-9Б | 20 ГБ | 1 x RTX 4090 (24 ГБ) |
| Йи-34Б | 72 ГБ | 4 x RTX 4090 (24 ГБ) 1 х А800 (80 ГБ) |
| Йи-34Б-200К | 200 ГБ | 4 x A800 (80 ГБ) |
[Вверх ⬆️]
Yi-34B и Yi-34B-Chat сводится к подходу и результатам тонкой настройки.Yi-34B .Yi-34B-Chat может быть вашим лучшим выбором. Где я могу найти наборы данных для точных ответов на вопросы?
Каковы требования к памяти графического процессора для тонкой настройки Yi-34B FP16?
Память графического процессора, необходимая для точной настройки 34B FP16, зависит от конкретного используемого метода точной настройки. Для полной настройки параметров вам понадобится 8 графических процессоров по 80 ГБ каждый; однако более экономичные решения, такие как Lora, требуют меньше. Для получения более подробной информации посетите hiyouga/LLaMA-Factory. Кроме того, рассмотрите возможность использования BF16 вместо FP16 для тонкой настройки и оптимизации производительности.
Существуют ли сторонние платформы, поддерживающие функцию чата для модели Yi-34b-200k?
Если вы ищете сторонние чаты, варианты включают fireworks.ai.
Добро пожаловать в центр обучения Yi!
Независимо от того, являетесь ли вы опытным разработчиком или новичком, вы можете найти множество полезных образовательных ресурсов, которые помогут улучшить ваше понимание и навыки работы с моделями Yi, включая подробные сообщения в блогах, подробные видеоуроки, практические руководства и многое другое.
Содержимое, которое вы найдете здесь, было щедро предоставлено знающими экспертами Yi и страстными энтузиастами. Выражаем искреннюю благодарность за ваш неоценимый вклад!
В то же время мы также тепло приглашаем вас присоединиться к нашим совместным усилиям и внести свой вклад в Yi. Если вы уже внесли свой вклад в Yi, не стесняйтесь продемонстрировать свою замечательную работу в таблице ниже.
Имея под рукой все эти ресурсы, вы готовы начать захватывающее путешествие вместе с Йи. Приятного обучения! ?
| Результат | Дата | Автор |
|---|---|---|
| Dify, Meilisearch, RAG, AI, AI | 20 мая 2024 г. | 苏洋 |
| 使用 Autodl 服务器 在 a40 显卡上运行 ， yi-34b-chat-int4 模型 并使用 vllm 优化加速 ， 显存占用 42g ， 速度 18 слов-с | 20 мая 2024 г. | летать-йот |
| Йи-ВЛ 最佳实践 | 20 мая 2024 г. | МодельОбъем |
| 一键运行零一万物新鲜出炉Yi-1.5-9B-Chat大模型 | 2024-05-13 | Второе государство |
| 零一万物开源Yi-1,5系列大模型 | 2024-05-13 | 刘聪 |
| 零一万物 Yi-1.5 系列模型发布并开源！ 34b-9b-6b 多尺寸 ， 魔搭社区推理微调最佳实践教程来啦！ 魔搭社区推理微调最佳实践教程来啦！ 魔搭社区推理微调最佳实践教程来啦！ | 2024-05-13 | МодельОбъем |
| Yi-34B 本地部署简单测试 | 2024-05-13 | 漆妮妮 |
| 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年(上) | 2024-05-13 | Слова стоят |
| 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年(下篇) | 2024-05-13 | Слова стоят |
| Ollama新增两个命令,开始支持零一万物Yi-1,5系列模型 | 2024-05-13 | Искусственный интеллект |
| 使用零一万物 200K 模型和 Dify 快速搭建模型应用 | 2024-05-13 | 苏洋 |
| (持更) 零一万物模型折腾笔记:社区 Yi-34B 微调模型使用 | 2024-05-13 | 苏洋 |
| Python+ERNIE-4.0-8K-Yi-34B-Chat大模型初探 | 11 мая 2024 г. | 江湖评谈 |
| Использование Vue及Python или 零一万物模型和Prompt模板（通过百度千帆大模型平台) | 11 мая 2024 г. | МумуЛаб |
| 多模态大模型Yi-VL-plus体验 效果很棒 | 2024-04-27 | 大家好我是爱因 |
| 使用autodl, 3090, 3090, Yi-34B-Chat-int4, vllm, 优化加速, 显存占用42G, 2 3 слова-с | 2024-04-27 | летающий компьютер |
| Начало работы с Yi-1.5-9B-Chat | 2024-04-27 | Второе государство |
| 基于零一万物yi-vl-plus大模型简单几步就能批量生成Anki图片笔记 | 2024-04-24 | 正经人王同学 |
| 【AI开发:语言】一、Yi-34B超大模型本地部署CPU и GPU版 | 2024-04-21 | Мои фотографии и картинки |
| 【Yi-34B-Chat-Int4】使用4个2080Ti显卡11G版本,运行Yi-34B模型,5年前老显卡是支持的,可以正常运行，速度 21 слово-s，vllm要求算力在7以上的显卡就可以 | 2024-03-22 | летающий компьютер |
| 零一万物大模型部署+微调总结 | 2024-03-22 | v_wus |
| 零一万物Yi大模型vllm推理时Yi-34B或Yi-6bchat重复输出的解决方案 | 2024-03-02 | 郝铠锋 |
| И-34Б微调训练 | 2024-03-02 | лсйлнд |
| 实测零一万物Yi-VL多模态语言模型:能准确“识图吃瓜” | 2024-02-02 | 苏洋 |
| 零一万物开源Yi-VL多模态大模型,魔搭社区推理&微调最佳实践来啦！ | 2024-01-26 | МодельОбъем |
| 单卡 3 小时训练 Yi-6B 大模型 Агент:基于 Llama Factory 实战 | 2024-01-22 | 郑耀威 |
| 零一科技Yi-34B Chat大模型环境搭建&推理 | 15 января 2024 г. | 要养家的程序员 |
| 基于LLaMA Factory，单卡3小时训练专属大模型 Агент | 15 января 2024 г. | 机器学习社区 |
| 双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录 | 2024-01-02 | 漆妮妮 |
| 【大模型部署实践-3】3个能在3090上跑起来的4bits量化Чат模型(baichuan2-13b、InternLM-20b、Yi-34b) | 2024-01-02 | aq_Фаворит |
| 只需 24G 显存,用 vllm 跑起来 Yi-34B 中英双语大模型 | 2023-12-28 | 漆妮妮 |
| 零一万物模型官方 Yi-34B 模型本地离线运行部署使用笔记（物理机和docker两种部署方式）,200K 超长文本内容, 34B 干翻一众 70B 模型, 打榜分数那么高, 这模型到底行不行？ | 2023-12-28 | 代码讲故事 |
| LLM — 大模型速递之 Yi-34B 入门与 LoRA 微调 | 18 декабря 2023 г. | БИТ_666 |
| 通过vllm框架进行大模型推理 | 18 декабря 2023 г. | 土山炮 |
| Процессор | 2023-12-12 | 苏洋 |
| 零一万物模型折腾笔记:官方 Yi-34B 模型基础使用 | 2023-12-10 | 苏洋 |
| Запуск Yi-34B-Chat локально с помощью LlamaEdge | 2023-11-30 | Второе государство |
| Загрузите файл 34B, файл Llama.cpp и файл 21G. | 2023-11-26 | 苏洋 |
| Результат | Дата | Автор |
|---|---|---|
| yi-openai-прокси | 11 мая 2024 г. | 苏洋 |
| 基于零一万物 И 模型和 B 站构建大语言模型高质量训练数据集 | 2024-04-29 | 正经人王同学 |
| 基于视频网站和零一万物大模型构建大语言模型高质量训练数据集 | 2024-04-25 | 正经人王同学 |
| 基于零一万物yi-34b-chat-200k输入任意文章地址,点击按钮即可生成无广告或推广内容的简要笔记，并生成分享图给好友 | 2024-04-24 | 正经人王同学 |
| Модель Food-GPT-Yi | 2024-04-21 | Хьюберт С |
| Результат | Дата | Автор |
|---|---|---|
| Запустите dolphin-2.2-yi-34b на устройствах Интернета вещей. | 2023-11-30 | Второе государство |
| 只需 24G 显存,用 vllm 跑起来 Yi-34B 中英双语大模型 | 2023-12-28 | 漆妮妮 |
| Установите Yi 34B локально - китайский английский двуязычный LLM | 05.11.2023 | Фахд Мирза |
| Dolphin Yi 34b — ИСПЫТАНА совершенно новая базовая модель | 2023-11-27 | Мэтью Берман |
| Yi-VL-34B 多模态大模型 — 用两张 A40 显卡跑起来 | 2024-01-28 | 漆妮妮 |
| 4060Ti 16G, производитель, производитель, производитель, Yi-1,5, производитель, производитель, производитель, производитель | 14 мая 2024 г. | титан909 |
| Yi-1.5: настоящий конкурент Apache 2.0 для LLAMA-3 | 2024-05-13 | Оперативное проектирование |
| Установите модель Yi-1.5 локально — превосходит Llama 3 в различных тестах | 2024-05-13 | Фахд Мирза |
| как установить Ollama и запустить Yi 6B | 2024-05-13 | Ридаа Давидс |
| 地表最强混合智能AI助手:llama3_70B+Yi_34B+Qwen1.5_110B | 2024-05-04 | 朱扎特 |
| ChatDoc学术论文辅助--基于Yi-34B и langchain进行PDF知识库问答 | 03.05.2024 | 朱扎特 |
| 基于Yi-34B的领域知识问答项目演示 | 2024-05-02 | 朱扎特 |
| Производитель RTX4090+GaLore 算法 全参微调Yi-6B大模型 | 2024-03-24 | 小工蚂创始人 |
| 无内容审查NSFW大语言模型Yi-34B-Chat蒸馏版测试,RolePlay,《天龙八部》马夫人康敏,本地GPU,CPU运行 | 20 марта 2024 г. | 刘悦的技术博客 |
| 无内容审查NSFW大语言模型整合包,Yi-34B-Chat,本地CPU运行,角色扮演潘金莲 | 16 марта 2024 г. | 刘悦的技术博客 |
| 量化 Yi-34B-Chat 并在单卡 RTX 4090 使用 vLLM 部署 | 2024-03-05 | 白鸽巢 |
| Yi-VL-34B（5）: модель 3个3090, модель 24G, модель Yi-VL-34B, модель Yi-VL-34B, модель Web-界面方式, модель 理解图片片的内容转换成文字 | 2024-02-27 | летать-йот |
| Win环 и KoboldCpp могут быть использованы в качестве исходного кода, а также в случае необходимости. | 2024-02-25 | 魚蟲蟲 |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P2 | 2024-02-23 | 魚蟲蟲 |
| 【wails】(2):使用go-llama.cpp 运行 yi-01-6b大模型,使用本地CPU运行,速度还可以,等待下一版本更新 | 20 февраля 2024 г. | летающий компьютер |
| 【xinference】（6）:在autodl上,使用xinference部署yi-vl-chat和qwen-vl-chat模型,可以使用openai调用成功 | 06.02.2024 | летать-йот |
| 无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P1 | 05.02.2024 | 魚蟲蟲 |
| 2080Ti 部署YI-34B в режиме xinference-oneapi-fastGPT в режиме реального времени | 2024-01-30 | 小饭护法要转码 |
| Лучшая модель искусственного интеллекта для написания историй: установите Yi 6B 200K локально в Windows | 2024-01-22 | Фахд Мирза |
| Mac 本地运行大语言模型方法与常见问题指南(Yi 34B 模型+32 ГБ 内存测试) | 2024-01-21 | 小吴苹果机器人 |
| 【Dify知识库】（11）: Dify0.4.9, MySQL, yi-6b, yi-6b, fastchat, fastchat, 8G, 8G, 完成知识库配置 | 2024-01-21 | летающий компьютер |
| 这位LLM先生有点暴躁,用的是YI-6B的某个量化版,#LLM #大语言模型 #暴躁老哥 | 20.01.2024 | 晓漫吧 |
| Устройство NvLink может использоваться для подключения к A6000. | 17.01.2024 | 漆妮妮 |
| 大模型推理 A40 vs A6000 谁更强 - 对比 Yi-34B 的单、双卡推理性能 | 15 января 2024 г. | 漆妮妮 |
| C-Eval 大语言模型评测基准- 用 LM Evaluation Harness + vLLM 跑起来 | 2024-01-11 | 漆妮妮 |
| 双显卡部署 yi -34b 大模型 - vllm + gradio 踩坑记录 | 01.01.2024 | 漆妮妮 |
| 手把手教学！使用 vllm 快速部署 yi-34b-чат | 2023-12-26 | 白鸽巢 |
| 如何训练企业自己的大语言模型？ yi-6b lora 微调演示 #小工蚁 | 2023-12-21 | 小工蚂创始人 |
| Yi-34b (4) ： 使用 4 个 2080ti 显卡 11g 版本 ， 运行 yi-34b 模型 ， 5 年前老显卡是支持的 ， 可以正常运行 ， 速度 21 слова/с | 2023-12-02 | мух |
| 使用 AutoDL 服务器 ， RTX 3090 * 3 显卡上运行 ， YI-34B-чат 模型 ， 60G | 2023-12-01 | мух |
| 使用 Autodl 服务器 两个 3090 显卡上运行 ， yi-34b-chat-int4 模型 用 vllm 优化 ， 增加--num-gpu 2 ， 速度 23 слова/с | 2023-12-01 | мух |
| Yi 大模型一键本地部署 技术小白玩转 ai | 2023-12-01 | 技术小白玩转 ai |
| 01.ai's Yi-6B: Обзор и тонкая настройка | 2023-11-28 | AI Makerspace |
| YI 34B Chat LLM превосходит Llama 70b | 2023-11-27 | Dlexplorer |
| Как запустить модели с открытым исходным кодом на Mac Yi 34B на M3 Max | 2023-11-26 | Техно Премиум |
| Yi -34b - 200k - лучший и новый контекстный король окна | 2023-11-24 | Оперативная инженерия |
| YI 34B: рост мощных моделей среднего размера - Base, 200K & Chat | 2023-11-24 | Сэм Виттейн |
| 在 IoT 设备运行破解版李开复大模型 Dolphin-2.2-Yi-34b (还可作为私有 openai api 服务器） | 2023-11-15 | Второе государство |
| Запустите Dolphin-2.2-YI-34B на устройствах IoT (также работает как частное API-сервер OpenAI) | 2023-11-14 | Второе государство |
| Как установить Yi 34b 200k Llamafied на ноутбуке Windows | 2023-11-11 | Фахд Мирза |
YI имеет комплексную экосистему, предлагающую ряд инструментов, услуг и моделей для обогащения вашего опыта и максимизации производительности.
Модели серии YI следуют той же модельной архитектуре, что и Llama. Выбирая YI, вы можете использовать существующие инструменты, библиотеки и ресурсы в экосистеме LLAMA, устраняя необходимость создания новых инструментов и повышения эффективности разработки.
Например, модели серии YI сохраняются в формате модели Llama. Вы можете напрямую использовать LlamaForCausalLM и LlamaTokenizer для загрузки модели. Для получения дополнительной информации см. Модель чата.
from transformers import AutoModelForCausalLM , AutoTokenizer
tokenizer = AutoTokenizer . from_pretrained ( "01-ai/Yi-34b" , use_fast = False )
model = AutoModelForCausalLM . from_pretrained ( "01-ai/Yi-34b" , device_map = "auto" )[Вернуться к вершине ⬆]
Кончик
Не стесняйтесь создавать PR и поделиться фантастической работой, которую вы создали, используя модели серии YI.
Чтобы помочь другим быстро понять вашу работу, рекомендуется использовать формат
.: +
Если вы хотите встать с YI через несколько минут, вы можете использовать следующие услуги, построенные на YI.
Yi-34b-чат: вы можете поговорить с YI, используя одну из следующих платформ:
Yi-6b-чат (Replicate): Вы можете использовать эту модель с большими параметрами, установив дополнительные параметры и вызывая API.
Scalellm: Вы можете использовать эту службу для запуска моделей YI локально с добавленной гибкостью и настройкой.
Если у вас есть ограниченные вычислительные возможности, вы можете использовать квантованные модели YI следующим образом.
Эти квантовые модели имеют сниженную точность, но обеспечивают повышенную эффективность, такую как более высокая скорость вывода и меньшее использование оперативной памяти.
Если вы хотите изучить разнообразные возможности в процветающей семье YI, вы можете углубиться в тонкие модели YI, как показано ниже.
The Bloke Models: Этот сайт занимает многочисленные тонкие модели, полученные из различных LLM, включая YI.
Это не исчерпывающий список для YI, но и назвать несколько отсортированных на загрузках:
Superech/SUS-Chat-34B: эта модель заняла первое место среди всех моделей ниже 70b и превзошла дважды больше DeepSeek-LLM-67B-чат. Вы можете проверить результат в таблице лидеров Open LLM.
Orionstarai/Orionstar-YI-34B-Chat-Llama: эта модель превосходила другие модели (такие как GPT-4, QWEN-14B-Chat, Baichuan2-13B-Chat) в оценках C-Eval и CMMLU на таблице лидеров OpenCompass LLM.
Nousresearch/Nous-CapyBara-34B: эта модель обучена длиной 200 тысяч контекста и 3 эпохами на наборе данных Capybara.
[Вернуться к вершине ⬆]
Для получения подробных возможностей модели серии YI см. Yi: Open Foundation Models By 01.ai.
@misc{ai2024yi,
title={Yi: Open Foundation Models by 01.AI},
author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
year={2024},
eprint={2403.04652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Модель YI-34B-чата демонстрирует исключительную производительность, ранжируя первую первую очередь среди всех существующих моделей с открытым исходным кодом в критериях, включая MMLU, CMMLU, BBH, GSM8K и многое другое.
* : Результаты C-Eval оцениваются в наборах данных проверки
Модели YI-34B и YI-34B-200K выделяются как лучшие исполнители среди моделей с открытым исходным кодом, особенно превосходные в MMLU, CMMLU, рассуждениях за здравый смысл, понимание чтения и многое другое.
YI-9B является почти лучшим среди ряда моделей с открытым исходным кодом аналогичного размера (включая Mistral-7B, Solar-10,7B, GEMMA-7B, Deepseek-Coder-7b-Base-V1.5 и больше), особенно превосходство В коде, математике, здравом смысле рассуждения и понимание прочитанного.
С точки зрения общей способности (среднего уровня), Yi-9B выполняет наилучшие из моделей с открытым исходным кодом аналогичного размера, превзойдя Deepseek-Coder, Deepseek-Math, Mistral-7b, Solar-10,7b и Gemma-7b.
С точки зрения способности кодирования (средний код), производительность YI-9B уступает только DeepSeek-Coder-7B, превосходящим Yi-34B, Solar-10.7b, Mistral-7B и Gemma-7B.
С точки зрения математической способности (среднего значения), производительность Yi-9B уступает только DeepSeek-Math-7B, превосходящим солнечный 10,7b, Mistral-7b и Gemma-7b.
С точки зрения здравого смысла и способности рассуждать (средний текст), производительность YI-9B находится наравне с Mistral-7B, Solar-10.7b и Gemma-7B.
[Вернуться к вершине ⬆]
Каждый! ? ✅
Код и вес моделей серии YI распределены по лицензии Apache 2.0, что означает, что модели серии YI бесплатны для личного использования, академических целей и коммерческого использования.
[Вернуться к вершине ⬆]
Серьезное спасибо каждому из вас, кто внес свой вклад в сообщество YI! Вы помогли YI не просто проекту, а оживленным, растущим домом для инноваций.
[Вернуться к вершине ⬆]
Мы используем алгоритмы проверки соответствия данных в течение учебного процесса, чтобы обеспечить соответствие обученной модели в меру своих возможностей. Из -за сложных данных и разнообразия сценариев использования языковых моделей мы не можем гарантировать, что модель будет генерировать правильный и разумный результат во всех сценариях. Пожалуйста, имейте в виду, что все еще существует риск создания проблемных результатов. Мы не будем нести ответственность за какие -либо риски и проблемы, связанные с неправильным использованием, ошибочным, незаконным использованием и связанной дезинформацией, а также любые связанные созависимости безопасности данных.
[Вернуться к вершине ⬆]
Код и вес моделей серии YI-1.5 распределены по лицензии Apache 2.0.
Если вы создаете производные работы на основе этой модели, укажите следующую атрибуцию в свои производные работы:
This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.
[Вернуться к вершине ⬆]
