UltraChat
1.0.0
Масштабные, информативные и разнообразные данные и модели многораундового диалога
UltraLM • Data Explorer • Nomic AI Atlas Explorer • Выпуск данных • Процесс строительства • Бумага
UltraLM — это серия языковых моделей чата, обученных на UltraChat. В настоящее время мы выпустили версию 13B, которая занимает 1-е место среди моделей с открытым исходным кодом и 4-е место среди всех моделей в таблице лидеров AlpacaEval (28 июня 2023 г.). UltraLM-13B основан на LLaMA-13B и поддерживается BMTrain в процессе обучения.
| Модель | Связь | Версия |
|---|---|---|
| УльтраЛМ-13Б | Обнимающееся репо | v1.0 |
| УльтраЛМ-65Б | Обнимающееся репо | v1.0 |
| УльтраЛМ-13Б | Обнимающееся репо | v2.0 |
| УльтраРМ-13Б | Обнимающееся репо | v1.0 |
| УльтраСМ-13Б | Обнимающееся репо | v1.0 |
/UltraLM/recover.sh чтобы получить окончательные веса восстановленной модели./UltraLM/chat_cli.sh своим путем и бегите, чтобы начать общение! Примечание. На выходные данные будут влиять различные гиперпараметры или системные подсказки. Подробную информацию о наших настройках по умолчанию можно найти в /UltraLM/inference_cli.py .
В этом разделе мы сообщаем о трех оценках: Alpaca-Eval от Стэнфорда, Evol-instruct от Microsoft WizardLM и нашем тщательно подобранном наборе оценок. Оценки современных программ LLM могут быть предвзятыми и зависеть от многих факторов. Мы также активно работаем над более комплексными методами оценки.
AlpacaEval — это таблица лидеров, специально разработанная для оценки LLM. Таблица лидеров создается на основе процента побед над Text-Davince-003, автоматически оцениваемого GPT-4.
Этот набор данных создан с использованием эволюционной стратегии путем переписывания инструкций в несколько этапов для получения инструкций разного уровня сложности. Тест разработан проектом WizardLM, еще одной превосходной моделью языка чата!
Мы создаем набор оценок, включающий тест Vicuna Benchmark и дополнительные 300 вопросов и инструкций, созданных GPT-4. Вопросы/инструкции охватывают широкий спектр тем, включая здравый смысл, мировоззрение, профессиональные знания (в частности, физику и биологию), математику и письменные задания разного уровня сложности. Для оценки мы используем GPT-4. Вот набор данных.
Пример A: Общеизвестный вопрос
Пользователь: Какое животное известно как лучший друг человека?
UltraLM: Есть много животных, которых люди любят в качестве домашних животных, но один из самых выдающихся ответов на вопрос «какое животное известно как лучший друг человека?» это собака домашнего разведения. Одомашненные собаки были рядом с людьми на протяжении десятков тысяч лет, обеспечивая верную компанию и помощь; охрана людей и имущества; и оказание эмоциональной поддержки во всем: от долгих одиноких дней до военной службы. Собаки бывают ошеломляющего разнообразия пород разных размеров, с разным уровнем энергии, характером и темпераментом, а это означает, что почти наверняка найдется щенок, который идеально подойдет тому, кто в нем больше всего нуждается.
Пример Б: рассуждения, основанные на здравом смысле
Пользователь: Что весит больше: фунт перьев или фунт кирпичей?
UltraLM: Фунт перьев и фунт кирпичей весят ровно один фунт. Это потому, что один фунт — это единица веса, точно так же, как фут — единица длины или секунда — единица времени. Мы используем фунт (или другую единицу веса) для описания веса различных объектов, независимо от того, из чего этот объект сделан. Итак, ответ на ваш вопрос таков: фунт перьев и фунт кирпичей весят одинаково.
Пример C: Рассуждение
Пользователь: Если у фермера 17 овец и все, кроме 9, умрут, сколько останется?
UltraLM: Общее количество оставшихся овец — 9.
Пример D: Рассуждение
Пользователь: Если красный дом сделан из красных кирпичей, а синий дом — из синих кирпичей, то из чего сделана теплица?
UltraLM: Теплица сделана не из зеленого кирпича, а из таких материалов, как стекло или пластик, которые пропускают свет и создают контролируемую среду для роста растений. Теплицы могут быть разных цветов, в том числе зеленого, но цвет самого здания не влияет на растения, растущие внутри.
Пример E: Создание
Пользователь: Напишите стихотворение об электромагнетизме.
UltraLM: Электромагнетизм — это сила, которую мы не можем игнорировать.
Это причина многих вещей, которые мы обожаем. В магнитном поле провод будет светиться,
И электроны выровняются, как старые, так и новые.
Электричество и магнетизм идут рука об руку.
Один создает поле, другой — бренд.
Магнитное поле может толкать и тянуть,
На провод с током он отреагирует в полной мере.
Притяжение и отталкивание, которые оно приносит,
Являются причиной многих вещей.
От двигателей до генераторов и многого другого между ними.
Электромагнетизм лежит в основе того, что это означает.
Это сила, которая окружает нас повсюду,
От компаса до выключателя света.
Благодаря своей силе он может многое.
От простой иглы до тяги ракеты.
Это сила, которую мы не можем отрицать,
Потому что это часть нашей жизни.
Электромагнетизмом можно восхищаться.
По своей силе и мощи ему нет равных, это несомненно.
Пример F: Создание
Пользователь: Напишите небольшой рассказ о первой секунде Вселенной.
UltraLM: В первую секунду во вселенной царила тьма. Не было ни света, ни звука, ни формы, ни сущности. Ничего еще не было, но была мощная сила, необузданная энергия, ожидающая высвобождения. В бесконечности первая секунда держала в своих руках потенциал творения. И затем с мощным грохотом возникла яркая точка света. В нем родились самые фундаментальные частицы, их формы еще неизвестны, поскольку они неистово сталкивались в хаотическом танце творения. В этом изначальном свете каждая сила природы и каждый компонент жизни превратились из чистой энергии в физическую реальность. Первые атомы быстро собрались, и из них начали формироваться звезды и галактики. Их слияние создало горячую среду, которая отодвинула саму пустоту, формируя космос посредством расширяющихся и охлаждающих волн. В этом космическом первоначале никакая структура опыта, даже время или пространство, не могла установить свое господство. На мгновение вся Вселенная существовала в зачаточном состоянии, космической сингулярности, из которой зародилось все будущее существование. Это был микрокосм, создающий макрокосм, частью которого он в конечном итоге становится, а момент его рождения был метафорой циклов творения, пронизывающих мультивселенную(и). Из этой единственной точки света развернулась бесконечная вселенная. На протяжении столетий, эпох и навеки оно оставалось самым основополагающим моментом его непрерывного путешествия в глубины Великого Запределья. Первая секунда – это начало всего.
Этот проект направлен на создание крупномасштабных и многораундовых диалоговых данных с открытым исходным кодом на основе Turbo API, чтобы облегчить создание мощных языковых моделей с общими диалоговыми возможностями. Принимая во внимание такие факторы, как защита конфиденциальности, мы не используем напрямую какие-либо данные, доступные в Интернете, в качестве подсказок .
Отказ от ответственности: хотя процесс создания UltraChat НЕ включает в себя какие-либо общедоступные тестовые данные, масштабирование в определенной степени все же может привести к некоторому совпадению в некоторых оценочных тестах. Мы хотели бы еще раз подчеркнуть, что все данные генерируются автоматически (включая инструкции и ответы) , и мы не вставляем какие-либо открытые тестовые данные. Например, UltraChat был выпущен (апрель 2023 г.) раньше , чем Alpaca Eval (май 2023 г.). Мы призываем пользователей внимательно следить за такими явлениями, а также активно думаем о том, как более правильно оценивать LLM.
Набор данных предназначен исключительно для исследовательских и образовательных целей и не должен рассматриваться как отражение мнений или взглядов создателей, владельцев или участников этого набора данных. И распространяется по лицензии MIT.
Изучите данные перед загрузкой или используйте Atlas Explorer.
Прямые ссылки для скачивания:
Каждая строка в загруженном файле данных представляет собой json-диктант, содержащий идентификатор данных и данные диалога в формате списка. Ниже приведен пример строки.
{
"id" : " 0 " ,
"data" : [
" How can cross training benefit groups like runners, swimmers, or weightlifters? " ,
" Cross training can benefit groups like runners, swimmers, or weightlifters in the following ways: ... " ,
" That makes sense. I've been wanting to improve my running time, but I never thought about incorporating strength training. Do you have any recommendations for specific exercises? " ,
" Sure, here are some strength training exercises that can benefit runners: ... " ,
" Hmm, I'm not really a fan of weightlifting though. Can I incorporate other forms of exercise into my routine to improve my running time? " ,
" Yes, absolutely! ... " ,
" ... "
]
}
Мы предоставляем обучающий код для точной настройки LLaMa (однако мы не распределяем веса LLaMa) в UltraChat в .src/ , обучение ускоряется с помощью BMTrain.
Загрузите опубликованные данные и поместите их в ./data
Запустите train_bm.py , например:
WANDB_MODE= " offline " torchrun --nnodes=1 --nproc_per_node=8 --rdzv_id=1 --rdzv_backend=c10d --rdzv_endpoint=localhost:50003 train_bm.py --tensorboard ./ultrachat_llama_tb_2 --save_step 5000 --logging_step 100 Мы также предоставляем обучающий сценарий для точной настройки GPT-J в UltraChat в .src/train_legacy/ , который реализован с помощью OpenPrompt.
./dataaccelerate launch train.py чтобы начать обучение. Общая идея UltraChat заключается в использовании отдельных LLM для создания вступительных строк, имитации пользователей и ответов на запросы. Каждый сектор UltraChat имеет свои проблемы и требует разработки конкретной стратегии. Мы уточним процесс создания, как только будет выпущен сектор UltraChat.
Не стесняйтесь ссылаться на репозиторий, если считаете, что UltraChat полезен.
@article { ding2023enhancing ,
title = { Enhancing Chat Language Models by Scaling High-quality Instructional Conversations } ,
author = { Ding, Ning and Chen, Yulin and Xu, Bokai and Qin, Yujia and Zheng, Zhi and Hu, Shengding and Liu, Zhiyuan and Sun, Maosong and Zhou, Bowen } ,
journal = { arXiv preprint arXiv:2305.14233 } ,
year = { 2023 }
}
