OpenGPTAndBeyond

ChatGPT: открытый исходный код и не только

Упрощенный китайский |

Путь к реализации и преодолению модели ChatGPT с открытым исходным кодом

После случайной утечки весов LLaMA и впечатляющей производительности инструкций Стэнфорда Альпаки по точной настройке LLaMA с использованием данных, построенных из API gpt-3 в режиме самообучения, сообщество открытого исходного кода становится все более и более заинтересованным в реализации большого языковая модель на уровне ChatGPT. Обнадеживает все больше.

Этот репозиторий предназначен для записи процесса воспроизводства и трансцендентации и предоставления обзора сообществу.

В том числе: связанный технологический прогресс, базовые модели, модели предметной области, обучение, рассуждения, технологии, данные, многоязычность, мультимодальность и т. д.

# Оглавление

• Базовые модели
• Доменные модели
• Общие модели инструкций предметной области
• Объединение моделей
• Альтернативы трансформатору
• Мультимодальный
• МО
• Данные
  • Предварительные данные
  • Данные инструкции
  • Генерация синтетических данных
• Оценка
  • Контрольный показатель
  • Таблица лидеров
• Фреймворк/Инструментарий/Платформа
• Выравнивание
• Многоязычный
  • расширение словарного запаса
• Эффективное обучение/тонкая настройка
• Недорогой вывод
  • квантование
  • проекты
  • Быстрое сжатие
• Подсказка
• Безопасность
• Правдивость
• Превышение контекстного окна
• Редактирование знаний
  • Реализации
• Внешние знания
  • поисковая система с искусственным интеллектом
  • Чат с документами
  • Контент-анализ
  • Векторная база данных
• Внешние инструменты
  • Использование существующих инструментов
  • Создавайте новые инструменты
• Агент
• LLM как XXX
• Похожие коллекции

Базовые модели

участник	модель/проект	лицензия	язык	главная особенность
Мета	ЛЛаМА/ЛЛАМА2		мульти	LLaMA-13B превосходит GPT-3(175B), а LLaMA-65B конкурирует с PaLM-540M. Базовая модель для большинства последующих работ.
ОбнимаюЛицо-БольшаяНаука	ЦВЕСТИ		мульти	авторегрессионная модель большого языка (LLM), обученная HuggingFace BigScience.
ОбнимаюЛицо-БольшаяНаука	БЛУМЗ		мульти	Версия с точной настройкой инструкций BLOOM и предварительно обученными многоязычными языковыми моделями mT5 для смешанного межъязыкового задания.
ЭлеутерAI	ГПТ-J		ru	Модель трансформатора, обученная с использованием Mesh Transformer JAX Бена Ванга.
Мета	ОПТ		ru	Открытые предварительно обученные языковые модели трансформаторов. Целью разработки этого набора моделей OPT является обеспечение воспроизводимых и ответственные исследования в масштабе, а также привлечь больше голосов к изучению влияния этих программ LLM.
Системы Церебрас	Церебрас-GPT		ru	Предварительно обученный LLM, аналог GPT-3, коммерчески доступный, эффективно обученный на суперкомпьютере искусственного интеллекта Andromeda, обучен в соответствии с законами масштабирования Chinchilla (20 токенов на параметр модели), что является оптимальным с точки зрения вычислений.
ЭлеутерAI	питон		ru	объединить анализ интерпретируемости и законы масштабирования, чтобы понять, как развивается знание и развивается во время обучения авторегрессионным преобразователям.
Стабильность-ИИ	СтабильныйLM		ru	Стабильность языковых моделей искусственного интеллекта
ФДУ	МОХ		эн/ж	Модель разговорного языка с открытым исходным кодом, дополненная инструментами, разработанная Университетом Фудань.
ssymmetry&FDU	ББТ-2		ж	12B LM с открытым исходным кодом.
@mlfoundations	OpenFlamingo		ru	Платформа с открытым исходным кодом для обучения больших мультимодальных моделей.
ЭлеутерAI	ГПТ-НеоХ-20Б		ru	Его архитектура намеренно напоминает GPT-3 и практически идентична GPT-J-6B.
ЮКБ	OpenLLaMA	Апач-2.0	ru	Открытое воспроизведение LLaMA.
МозаикаML	МПТ	Апач-2.0	ru	MPT-7B — это модель в стиле GPT, первая в серии моделей MosaicML Foundation. MPT-7B, обученный на токенах 1T из набора данных, курируемого MosaicML, имеет открытый исходный код. коммерчески применим и эквивалентен LLaMa 7B по показателям оценки.
ВместеКомпьютер	RedPajama-INCITE-Base-3B-v1	Апач-2.0	ru	Предварительно обученная языковая модель с 2,8 млрд параметров, предварительно обученная на RedPajama-Data-1T, вместе с версией, настроенной на инструкции, и версией для чата.
Молния-ИИ	Лит-ЛЛАМА	Апач-2.0	-	Независимая реализация LLaMA с полностью открытым исходным кодом под лицензией Apache 2.0.
@conceptofmind	ПЛМ	Лицензия MIT	ru	Реализация моделей Google PaLM с открытым исходным кодом.
ТИИ	Сокол-7Б	Лицензия TII Falcon LLM	ru	модель причинно-следственного декодера с 7B параметрами, созданная TII и обученная на 1500B токенах RefinedWeb, дополненная тщательно подобранными корпусами.
ТИИ	Сокол-40Б	Лицензия TII Falcon LLM	мульти	модель причинно-следственного декодера с 40 миллиардами параметров, созданная TII и обученная на 1000 миллиардах токенов RefinedWeb, дополненная тщательно подобранными корпусами.
ТигрИсследования	ТайгерБот	Апач-2.0	эн/ж	многоязычный и многозадачный LLM.
БААИ	Аквила/Аквила2	BAAI_Aquila_Model_License	эн/ж	Языковая модель Aquila унаследовала преимущества архитектурного проектирования GPT-3 и LLaMA, заменяя ряд более эффективных базовых моделей. реализации операторов и перепроектирование токенизатора для двуязычной поддержки на китайском и английском языках.
OpenBMB	CPM-Пчела	Универсальное типовое лицензионное соглашение – Заявление об источнике – Ограничения на рекламу – Коммерческое разрешение	эн/ж	CPM-Bee — это коммерчески используемая двуязычная базовая модель на китайском и английском языках с полностью открытым исходным кодом и емкостью десяти миллиардов параметров. И прошел предварительное обучение на обширном корпусе токенов размером в триллион.
Байчуань	Байчуань-7Б	Апач-2.0	эн/ж	Он достиг лучших показателей среди моделей одинакового размера в стандартном исполнении. Авторитетные тесты на китайском и английском языках (C-EVAL, MMLU и т. д.).
Тенсент	lyraChatGLM	Лицензия MIT	эн/ж	Насколько нам известно, это первая ускоренная версия ChatGLM-6B . Скорость вывода lyraChatGLM достигла 300-кратного ускорения по сравнению с ранней оригинальной версией. Мы все еще усердно работаем над дальнейшим улучшением производительности.
SalesForce	XGen	Апач-2.0	мульти	LLM Salesforce с открытым исходным кодом и длиной последовательности 8 тыс.
Шанхайская лаборатория искусственного интеллекта	СтажерLM	Апач-2.0	эн/ж	InternLM опубликовала в открытом доступе базовую модель с 7 миллиардами параметров и модель чата, адаптированную для практических сценариев. Модель имеет следующие характеристики: Он использует триллионы высококачественных токенов для обучения и создания мощной базы знаний. Он поддерживает длину контекстного окна 8 КБ, что обеспечивает более длинные входные последовательности и более сильные возможности рассуждения. Он предоставляет пользователям универсальный набор инструментов для гибкого построения собственных рабочих процессов.
xverse-ai	XVERSE	Апач-2.0	мульти	Многоязычные программы LLM, разработанные XVERSE Technology Inc.
Писатель	Пальмира	Апач-2.0	ru	чрезвычайно мощная и в то же время чрезвычайно быстрая. Эта модель превосходно справляется со многими тонкими задачами. такие как классификация настроений и обобщение.
Мистраль ИИ	Мистраль	Апач-2.0	ru	Мистраль 7Б – это модель с параметром 7,3В, которая: 1. Превосходит Llama 2 13B по всем тестам. 2. Превосходит Llama 1 34B по многим тестам. 3. Приближается к CodeLlama 7B по производительности при написании кода, оставаясь при этом хорошим в задачах на английском языке. 4. Использует внимание к групповым запросам (GQA) для более быстрого вывода 5. Использует скользящее окно внимания (SWA) для обработки более длинных последовательностей с меньшими затратами.
СкайворкАИ	Скайворк	-	эн/ж	В основных оценочных тестах Skywork-13B находится в авангарде китайских моделей с открытым исходным кодом и является оптимальным уровнем при той же шкале параметров; его можно использовать в коммерческих целях без приложения; он также имеет открытый исходный код китайского набора данных 600G (150 миллиардов токенов).
01.ИИ	Йи	-	эн/ж	Модели серии Yi — это большие языковые модели, обученные с нуля разработчиками 01.AI.
Системы ИЭИТ	Юань-2,0	-	эн/ж	В этой работе представлено внимание на основе локализованной фильтрации (LFA), позволяющее включить в внимание предварительные знания о локальных зависимостях естественного языка. На основе LFA мы разрабатываем и выпускаем Yuan 2.0 — большую языковую модель с параметрами от 2,1 до 102,6 миллиардов. Метод фильтрации и генерации данных. представлен для создания высококачественного набора данных для предварительного обучения и точной настройки. Предлагается метод распределенного обучения с неравномерным параллелизмом конвейеров, параллелизмом данных и параллелизмом оптимизатора. что значительно снижает требования к пропускной способности внутриузловой связи и обеспечивает хорошую производительность при крупномасштабном распределенном обучении. Модели Yuan 2.0 демонстрируют впечатляющие способности к генерации кода, решению математических задач и общению по сравнению с существующими моделями.
Наньбежевый	Наньбежевый	Апач-2.0	эн/ж	Nanbeige-16B — это языковая модель с 16 миллиардами параметров, разработанная лабораторией Nanbeige LLM. Для предварительного обучения используются токены 2,5T. Обучающие данные включают в себя большое количество высококачественных интернет-корпусов, различных книг, кода и т. д. хорошие результаты по различным авторитетным наборам данных оценки. В этот выпуск входят Base, Chat, Base-32k и Chat-32k.
Deepseek-ай	Deepseek-LLM	Лицензия MIT	эн/ж	продвинутая языковая модель, содержащая 67 миллиардов параметров. Она была обучена с нуля на огромном наборе данных из 2 триллионов токенов на английском и китайском языках.
LLM360	LLM360	-	-	Большинство выпусков LLM с открытым исходным кодом включают веса моделей и результаты оценки. Однако для полного понимания поведения модели часто требуется дополнительная информация, и эта информация обычно недоступна большинству исследователей. Поэтому мы обязуемся публиковать все промежуточные контрольные точки (). до 360!), собранных во время обучения, все данные обучения (и их сопоставление с контрольными точками), все собранные метрики (например, потери, норма градиента, результаты оценки) и весь исходный код для предварительной обработки данных и обучения модели. Это дополнительные сведения. артефакты могут помочь исследователи и практики смогут глубже изучить процесс построения LLM и провести исследования, такие как анализ динамики модели. Мы надеемся, что LLM360 поможет сделать продвинутые LLM более прозрачными, способствовать исследованиям в небольших лабораториях и улучшить воспроизводимость исследований искусственного интеллекта.
ФДУ и др.	CT-LLM	-	ж/эн	Сосредоточив внимание на китайском языке, CT-LLM в основном использует данные на китайском языке из 1200 миллиардов токенов, включая 800 миллиардов китайских, 300 миллиардов английских и 100 миллиардов кодовых токенов, используя открытый процесс обучения CT-LLM, в том числе. обработки данных и Массового китайского корпуса предварительной подготовки (MAP-CC), а также введения китайского теста для жестких случаев (CHC-Bench), мы поощряем дальнейшие исследования и инновации, стремясь для более инклюзивных и адаптируемых языковых моделей.
ТайгерЛаб	МАП-НЕО	-	ж/эн	Первая крупная модель с открытым исходным кодом для всего процесса, от обработки данных до обучения модели и весов модели.
Датакемп	ДЦЛМ	-	-	Предоставляет инструменты и рекомендации для обработки необработанных данных, токенизации, перетасовки данных, обучения моделей и оценки производительности. Базовая модель 7B имеет отличные характеристики.

Доменные модели

участник	модель	домен	язык	базовая модель	главная особенность
ЮТ ​​Юго-Западный / UIUC/OSU/HDU	ЧатДоктор	медицинский	ru	ЛЛАМА	Возможно, первая модель чата, ориентированная на предметную область, настроенная на LLaMA.
Кембридж	Визуал Мед-Альпака	биомедицинский	ru	ЛЛаМА-7Б	мультимодальная модель фундамента, разработанная специально для биомедицинской области.
УДАРЯТЬ	БенЦао/ChatGLM-Med	медицинский	ж	LLaMA/ChatGLM	точно настроен с использованием набора данных китайских медицинских знаний, который создается с использованием API gpt3.5.
ШанхайТех и др.	ДокторGLM	медицинский	эн/ж	ЧатGLM-6B	Модель китайской медицинской консультации, оптимизированная для ChatGLM-6B.
ЧТ ВОЗДУХ	БиоМедГПТ-1.6Б	биомедицинский	эн/ж	-	предварительно обученная мультимодальная молекулярная модель с параметрами 1,6B, которая связывает двумерные молекулярные графики с текстами.
@LiuHC0428	ЗаконGPT_en	юридический	ж	ЧатGLM-6B	общая модель в китайской правовой сфере, обученная на данных, полученных с помощью надежного самообучения.
СЖТУ	МедицинскийГПТ-ж	медицинский	ж	ЧатGLM-6B	общая модель в китайской медицинской сфере, разнообразные данные, полученные посредством самостоятельного обучения.
СЖТУ	ПМК-ЛЛАМА	медицинский	ж	ЛЛАМА	Продолжить обучение LLaMA по медицинским документам.
ОбниматьЛицо	Старкодер	генерация кода	ru	-	языковая модель (LM), обученная на исходном коде и тексте на естественном языке. Ее обучающие данные включают в себя более чем. 80 различных языков программирования, а также текст, извлеченный из задач и коммитов GitHub, а также из блокнотов.
@CogStack	Национальная служба здравоохранения (LLM)	медицинский	ru	не ясно	Диалоговая модель для здравоохранения, обученная с использованием OpenGPT.
@pengxiao-песня	ЛаРГПТ	юридический	ж	LLaMA/ChatGLM	расширить словарный запас китайской юридической терминологией, уточнить инструкции по данным, полученным с помощью самообучения.
Дусяоман	Сюаньюань	финансы	ж	БЛУМ-176Б	Большая китайская модель финансового чата с сотнями миллиардов параметров.
КУХК	ХуатуоGPT	медицинский	ж	не ясно	HuatuoGPT, большая языковая модель (LLM), обученная на обширном китайском медицинском корпусе. Наша цель с HuatuoGPT: создать более профессиональный ChatGPT для сценариев медицинских консультаций.
ФКУ	Юрист LLaMA	юридический	ж	ЛЛАМА	продолжить предварительное обучение по китайским юридическим данным, обучение по юридическим экзаменам и юридическим консультациям по вопросам качества.
ЧТ	ЛексиЛоу	юридический	ж	ЧатGLM-6B	обучение проводилось на сочетании общих данных (BELLE 1.5M) и юридических данных.
ЧТ и т. д.	таоли	образование	ж	ЛЛАМА	Большая модель международного образования на китайском языке. Она расширяет конкретный словарный запас базовой модели. и использует собственный набор данных предметной области для точной настройки инструкций.
НУС	Козел	арифметика	ru	ЛЛАМА	точно настроенная модель LLaMA, которая значительно превосходит GPT-4 в ряде арифметических задач. Благодаря точной настройке на синтетически сгенерированном наборе данных Goat достигает высочайшей производительности при выполнении БОЛЬШИХ подзадач арифметических операций.
CU/Нью-Йоркский университет	ФинГПТ	финансы	ru	-	комплексная платформа с открытым исходным кодом для финансовых моделей на больших языках (FinLLM).
Майкрософт	МастерКодер	генерация кода	ru	Старкодер	обученный с использованием 78 тысяч инструкций развитого кода, превосходит Claude-Plus (+6,8) , Bard (+15,3) и InstructCodeT5+ (+22,3) в тестах HumanEval.
UCAS	Рог изобилия	финансы	ж	ЛЛАМА	точная настройка LLaMA на китайские финансовые знания,
ФКУ	ЧатПраво	юридический	ж	Зия/Анима	Китайская правовая модель домена.
@michael-wzhu	ЧатМед	медицинский	ж	ЛЛАМА	Китайская медицинская LLM на базе LLaMA-7B.
СКАТ	Душевный чат	психическое здоровье	ж	ЧатGLM-6B	Китайский диалог LLM в области психического здоровья на основе ChatGLM-6B.
@shibing624	МедицинскийGPT	медицинский	ж	ЧатGLM-6B	Обучение собственной медицинской модели GPT с помощью обучающего конвейера ChatGPT.
БЖТУ	ТрансГПТ	транспорт	ж	ЛЛаМА-7Б	Китайская транспортная модель.
БААИ	AquilaКод	генерация кода	мульти	Аквила	AquilaCode-multi — многоязычная модель, поддерживающая высокоточную генерацию кода для различных языков программирования, включая Python/C++/Java/Javascript/Go и т. д. Он достиг впечатляющих результатов в оценке HumanEval (Python): баллы Pass@1, Pass@10 и Pass@100 составили 26/45,7/71,6 соответственно в HumanEval-X. оценка генерации многоязычного кода, он значительно превосходит другие модели с открытым исходным кодом с аналогичными параметрами (по состоянию на 19 июля 2023 г.). AquilaCode-py, с другой стороны, представляет собой одноязычную версию модели Python, ориентированную на генерацию кода Python. Он также продемонстрировал отличные результаты в оценке HumanEval: баллы Pass@1, Pass@10 и Pass@100 составили 28,8/50,6/76,9 (по состоянию на 19 июля 2023 г.).
Мета	КодLLaMA	генерация кода	мульти	ЛЛаМА-2	семейство больших языковых моделей для кода на основе Llama 2, обеспечивающее высочайшую производительность среди открытых моделей, возможности заполнения, поддержка больших входных контекстов и возможность выполнения нулевых инструкций для задач программирования.
УНЮ и др.	Дарвин	естествознание	ru	ЛЛаМА-7Б	первая программа LLM с открытым исходным кодом для естественных наук, в основном в области физики, химии и материаловедения.
Алибаба	ЭкомGPT	электронная коммерция	эн/ж	БЛУМЗ	Настраиваемая модель большого языка для электронной коммерции.
ТИГР-ИИ-Лаборатория	МАММОТ	математика	ru	LLaMA2/КодLLaMA	серия моделей больших языков (LLM) с открытым исходным кодом, специально предназначенных для решения общих математических задач. Модели MAmmoTH обучаются на MathInstruct. тщательно подобранный набор данных по настройке инструкций, который является легким, но обобщаемым, MathInstruct составлен из 13 наборов данных по математическим обоснованиям. шесть из которых были недавно курированы в этой работе. В ней особое внимание уделяется гибридному использованию обоснований цепочки мыслей (ЦП) и программы мышления (ПТ). и обеспечивает широкий охват различных математических областей.
СЖТУ	Авель	математика	ru	ЛЛаМА2	Мы предлагаем родительский надзор *, стратегию присмотра за детьми для контролируемой тонкой настройки. Parental Oversight не ограничивается каким-либо конкретным методом обработки данных. Вместо этого он определяет философию обработки данных, которая должна направлять контролируемую тонкую настройку в эпоху генеративного искусственного интеллекта (GAI). .
ФДУ	ДИСК-ПравоLLM	юридический	ж	Байчуань-13Б	FudanDISC выпустила DISC-LawLLM, китайскую интеллектуальную правовую систему, основанную на большой языковой модели. Система может предоставлять различные юридические услуги для разных групп пользователей. Кроме того, DISC-Law-Eval создана для оценки большой модели юридического языка как с объективных, так и с субъективных сторон. Модель имеет очевидные преимущества по сравнению с существующими крупными юридическими моделями. Команда также предоставила высококачественный набор данных контролируемой тонкой настройки (SFT) из 300 000, DISC-Law-SFT.
ХКУ и др.	ЧатПсихиатр	психическое здоровье	ru	ЛЛаМА-7Б	В этом репозитории имеется открытый исходный код модели LLaMA-7B, настроенной по инструкции, которая была доработана с использованием данных инструкций domian. Чтобы создать наш набор данных по настройке инструкций размером 8 КБ, мы собрали примеры диалогов консультирования из реального мира и использовали GPT-4 в качестве экстрактора и фильтра. Кроме того, мы ввели комплексный набор показателей, специально разработанный для области LLM+Counseling, путем включения критериев оценки консультирования в этой области. Эти показатели позволяют оценить эффективность создания языкового контента, который включает в себя многомерные навыки консультирования.
КАС	Звездный Шепот	астрономический	ж	-	StarWhisper, большая астрономическая модель, значительно улучшает логику рассуждений и целостность модели за счет тонкой настройки астрофизического корпуса, размеченного экспертами. логическое обучение длинным текстам и прямая оптимизация предпочтений. В рейтинге CG-Eval, совместно опубликованном Исследовательским институтом искусственного интеллекта Keguei и Лабораторией искусственного интеллекта LanguageX, он занял второе место в общем зачете. чуть ниже GPT-4, а его математические рассуждения и астрономические возможности близки к GPT 3.5 Turbo или превосходят их.
ЖиПуАИ	ФинГЛМ	финансы	ж	ЧатGLM	решения SMP2023-ELMFT (Оценка большой модели финансовых технологий).
ФКУ и др.	КодШелл	генерация кода	эн/ж	-	CodeShell — это модель большого языка кода (LLM), разработанная совместно Лабораторией вычислений знаний Пекинского университета и командой искусственного интеллекта банка Sichuan Tianfu. CodeShell имеет 7 миллиардов параметров. был обучен на 500 миллиардах токенов и имеет длину контекстного окна 8192. По авторитетным тестам оценки кода (HumanEval и MBPP) CodeShell достигает наилучшей производительности для моделей своего масштаба.
ФДУ	ДИСК-ФинЛЛМ	финансы	ж	Байчуань-13B-Чат	DISC-FinLLM — это большая языковая модель в финансовой сфере. Это интеллектуальная финансовая система с участием нескольких экспертов, состоящая из четырех модулей для различных финансовых сценариев: финансовый консалтинг, анализ финансового текста, финансовые расчеты, поиск финансовых знаний и ответы на вопросы.
Глубокий поиск	Глубокий кодировщик	генерация кода	эн/ж	-	Deepseek Coder включает в себя серию моделей кодового языка, обученных как на 87% кода, так и на 13% естественном языке на английском и китайском языках, причем каждая модель предварительно обучена на токенах 2T. Что касается возможностей кодирования, Deepseek Coder обеспечивает высочайшую производительность среди моделей кода с открытым исходным кодом на нескольких языках программирования и различных тестах.
Майкрософт	МатематикаОсьминог	математика	мульти	ЛЛаМА2	Эта работа является пионером в изучении и создании мощных LLM многоязычных математических рассуждений (xMR). Для этого мы делаем следующие работы: 1. MGSM8KInstruct , первый многоязычный набор данных инструкций по математическому рассуждению, охватывающий десять различных языков, что позволяет решить проблему нехватки обучающих данных в задачах xMR. 2. MSVAMP , набор тестовых данных xMR вне домена, предназначенный для проведения более исчерпывающей и всесторонней оценки многоязычных математических возможностей модели. 3. MathOctopus , наши эффективные многоязычные курсы LLM по математическому рассуждению, обучающиеся с использованием различных стратегий, которые заметно превосходят традиционные LLM с открытым исходным кодом и демонстрируют превосходство над ChatGPT в сценариях с несколькими выстрелами.
ИТРЕК	Ж-МТ-ЛЛМ	морской	эн/ж	ЧатGLM3-6b	В обучающих данных используются данные морского домена Zh-mt-sft, организованные для трех основных сегментов, а также данные общего разговора 30w Zh-mt-sft Zh-mt-sft, в частности содержащие CrimeKgAssitant-1.8w, Zh-law-qa и. Zh-law-court, связанный с морскими законами и правилами, вопросы и ответы, Zh-edu-qa и Zh-edu-qb, связанные с морским образованием и подготовкой, и Zh-mt-qa, посвященный вопросам и ответам на специальные морские знания.
@SmartFlowAI	ЭмоLLM	психическое здоровье	ж	-	EmoLLM — это серия крупных моделей психического здоровья, которые могут поддерживать связь между пониманием пользователей — поддержкой пользователей — помощью пользователям в консультировании по психическому здоровью, которая точно настраивается инструкциями LLM .

некоторые медицинские модели: здесь

некоторые доменные лицензии: Awesome-Domain-LLM

модели исцеления: Awesome-Healthcare-Foundation-Models

Общие модели инструкций предметной области

участник	модель/проект	язык	базовая модель	главная особенность
Стэнфорд	Альпака	ru	ЛАМА/ОПТ	использовать 52 тыс. данных о выполнении инструкций, сгенерированных методами самообучения, для точной настройки 7B LLaMA, результирующая модель Alpaca ведет себя аналогично модели text-davinci-003 в пакете самообучения, выполняющем инструкции после выполнения инструкций. Альпака вдохновила множество последующих моделей.
LianJiaTech	БЕЛЬ	эн/ж	БЛУМЗ-7Б1-мт	возможно, первая китайская модель, последовавшая за Альпакой.
ЧТ	ЧатGLM-6B	эн/ж	-	известная китайская модель.
Блоки данных	Долли	ru	ГПТ-ДЖ 6Б	использовать данные Альпаки для точной настройки модели двухлетней давности: GPT-J, которая демонстрирует удивительно высокое качество инструкция, выполняющая поведение, не характерное для базовой модели, на которой она основана.
@tloen	Альпака-Лора	ru	ЛЛаМА-7Б	обучение в течение нескольких часов на одном RTX 4090, воспроизведение результатов Стэнфордской альпаки с использованием низкоранговой адаптации (LoRA), и может работать на Raspberry Pi.
КолоссальныйИИ	Коати7B	эн/ж	ЛЛаМА-7Б	большая языковая модель, разработанная проектом ColossalChat
Шанхайская лаборатория искусственного интеллекта	LLaMA-адаптер	ru	ЛЛаМА-7Б	Точная настройка LLaMA для выполнения инструкций в течение 1 часа и 1,2 млн параметров.
ЭфирКортекс	Лама-X	ru	ЛЛАМА	Открытое академическое исследование по улучшению LLaMA до SOTA LLM.
ВместеКомпьютер	OpenChatKit	ru	ГПТ-НеоХ-20Б	OpenChatKit предоставляет мощную базу с открытым исходным кодом для создания чат-ботов как специализированного, так и общего назначения для различных приложений. В комплект входят настраиваемые языковые модели, модель модерации и расширяемая поисковая система для включения актуальные ответы из пользовательских репозиториев.
nomic-ай	GPT4Все	ru	ЛЛАМА	обучен работе с массивным сбором чистых данных помощника, включая код, истории и диалоги.
@ymcui	Китайский-ЛАМА-Альпака	эн/ж	ЛЛаМА-7Б/13Б	расширить китайский словарный запас на основе оригинального LLaMA и использовать китайские данные для вторичной предварительной подготовки, дальнейшее улучшение базового семантического понимания китайского языка. Кроме того, в проекте используются данные инструкций на китайском языке. для доводки на базе китайской LLaMA, существенно улучшающей понимание модели и выполнение инструкций.
Калифорнийский университет в Беркли Стэнфорд КМУ	Викунья	ru	ЛЛаМА-13Б	Впечатляющий GPT-4 с качеством ChatGPT 90%.
UCSD/SYSU	сукно	эн/ж	ЛЛАМА	точно настроен с помощью LoRA. Он использует 100 тысяч диалогов, созданных с помощью ChatGPT, позволяющего общаться с самим собой. Данные Alpaca также используются для улучшения ее производительности.
Калифорнийский университет в Беркли	Коала	ru	ЛЛАМА	Вместо того, чтобы максимизировать количество путем сбора как можно большего количества веб-данных, команда сосредотачивается на сборе небольшого высококачественного набора данных.
@imClumsyPanda	langchain-ChatGLM	эн/ж	ЧатGLM-6B	ChatGLM на основе местных знаний с langchain.
@yangjianxin1	Светлячок	ж	цветение-1b4-ж цветение-2b6-ж	Инструкция по настройке набора данных на китайском языке. Сокращение словарного запаса, ZeRO и тензорный параллелизм. используются для эффективного снижения потребления памяти и повышения эффективности обучения.
Майкрософт	ГПТ-4-ЛЛМ	эн/ж	ЛЛАМА	Целью является обмен данными, сгенерированными GPT-4, для создания LLM, основанного на инструкциях, с контролируемым обучением и обучением с подкреплением.
Обнимающее лицо	СтекЛлаМА	ru	ЛЛАМА	обучены работе с данными StackExchange, и основная цель — служить учебным пособием и пошаговым руководством по как тренировать модель с помощью RLHF, а не в первую очередь производительность модели.
Небулы	ЧатLLaMA	ru	-	библиотека, которая позволяет вам создавать гиперперсонализированных помощников, подобных ChatGPT, используя ваши собственные данные и минимально возможный объем вычислений.
@juncongmoo	ЧатLLaMA	ru	ЛЛАМА	Модель RLHF на основе LLaMA, работающая на одном графическом процессоре.
@juncongmoo	миничатgpt	ru	ГПТ/ОПТ...	Обучить ChatGPT за 5 минут с помощью ColossalAI.
@LC1332	Луотуо-Китайский-LLM	ж	LLaMA/ChatGLM	Инструкции по доработанным моделям китайского языка с предоставлением совместной работы!
@Фасико	Китайская-Викунья	ж	ЛЛАМА	Модель на основе LLaMA, соответствующая китайским инструкциям, точно настроенная с помощью Lora, поддержка вывода cpp, предоставленная Colab.
@yanqiangmiffy	ИнструктироватьGLM	эн/ж	ЧатGLM-6B	Модель следования инструкциям на основе ChatGLM, точно настроенная на различные источники данных, поддерживает глубокое ускорение и LoRA.
Алибаба	Вомбат	ru	ЛЛАМА	в качестве альтернативы RLHF предлагается новая парадигма обучения под названием RRHF, которая оценивает ответы, генерируемые различные политики выборки и учится согласовывать их с человеческими предпочтениями за счет потери рейтинга и производительности. сопоставим с RLHF, при этом в процессе используется меньше моделей.
@WuJunde	альпака-стеклянный	ru	ЛЛАМА	ИИ-чат с мини-изображениями, который можно запустить на вашем собственном ноутбуке, на основе Стэнфордской альпаки и альпаки-лоры.
@JosephusCheung	Гуанако	мульти	ЛЛаМА-7Б	Многоязычная языковая модель, соответствующая инструкциям.
@FreedomIntelligence	LLM Зоопарк	мульти	БЛУМЗ/ЛЛАМА	проект, который предоставляет данные, модели и тесты для оценки больших языковых моделей. выпущенная модель: Феникс, Химера
СЗУ	Линли	эн/ж	ЛЛАМА	расширение словарного запаса китайского языка , полные модели с точной настройкой, крупнейшие китайские модели на основе LLaMA, агрегирование данных китайских инструкций, воспроизводимые детали.
@ламини-ай	ламини	мульти	-	генератор данных для генерации инструкций для обучения LLM, следующих инструкциям.
Стабильность-ИИ	КонюшняВикунья	ru	ЛЛАМА	дополнительная инструкция, настроенная и обученная RLHF версия Vicuna v0 13b, с более высокой производительностью, чем Vicuna.
Обнимающее лицо	ОбниматьсяЧат	ru	ЛЛАМА	Кажется, это первая доступная платформа, похожая на ChatGPT.
Майкрософт	МастерLM	ru	ЛЛАМА	Evol-Instruct, обученный с помощью 70 тысяч усовершенствованных инструкций, представляет собой новый метод, использующий LLM вместо людей для автоматического массового производства. открытые инструкции различного уровня сложности и диапазона навыков для повышения эффективности LLM.
ФДУ	OpenChineseLLaMA	эн/ж	ЛЛаМА-7Б	дальнейшая предварительная подготовка LLaMA на китайских данных, улучшающая производительность LLaMA при решении китайских задач.
@chenfeng357	открытый-китайский-чатLLaMA	эн/ж	ЛЛАМА	Полный обучающий код модели китайской ламы с открытым исходным кодом, включая полный процесс предварительного инструктирования и RLHF.
@FSoft-AI4Code	КодКапибара	ru	ЛЛАМА	Модель LLaMA с открытым исходным кодом, которая следует настройке инструкций для генерации кода.
@mbzuai-nlp	ЛаМини-ЛМ	ru	ЛЛаМА/Флан-Т5...	Разнообразное стадо дистиллированных моделей из масштабных инструкций.
НТУ	Панда	эн/ж	ЛЛАМА	дальнейшее предварительное обучение на китайских данных, полноразмерных моделях LLaMA.
IBM/CMU/MIT	Дромадер	ru	ЛЛаМА-65Б	Принципиальная самовыравнивание языковых моделей с нуля при минимальном человеческом контроле.
@melodysdreamj	ВолшебникВикунаLM	мульти	Викунья	Набор данных Wizard + расширение беседы ChatGPT + метод настройки Vicuna, улучшение производительности примерно на 7% по сравнению с Vicuna.
Самбановасистемы	BLOOMЧат	мульти	ЦВЕСТИ	BLOOMChat — это многоязычная модель чата с 176 миллиардами параметров. Это инструкция, настроенная на основе BLOOM (176B). наборы данных разговоров в стиле помощника и поддерживают разговоры, ответы на вопросы и генеративные ответы на нескольких языках.
ТИИ	Сокол-7Б-Инструктировать	ru	Сокол-7Б	модель причинного декодера параметров 7B, построенная TII на основе Falcon-7B и точно настроенная на смеси наборов данных чата и инструкций.
ТИИ	Сокол-40Б-Инструктировать	мульти	Сокол-40Б	модель причинного декодера с параметрами 40B, построенная TII на основе Falcon-40B и точно настроенная на смеси Baize.
УСТЦ и др.	ЭкспертLLaMA	ru	ЛЛАМА	используйте In-Context Learning, чтобы автоматически создавать индивидуальные экспертные идентификаторы и находить качество вполне удовлетворительным. Затем мы добавляем к каждой инструкции соответствующий идентификатор эксперта, чтобы получить расширенные данные, следующие за инструкциями. Мы называем общую структуру ExpertPrompting , более подробную информацию можно найти в нашей статье.
ЗЮ	КаМА	эн/ж	ЛЛАМА	дальнейшее предварительное обучение китайскому курсу без расширения словарного запаса, оптимизированное для задач по извлечению информации (IE); доступен сценарий предварительного обучения, включающий трансформации, построение и загрузку крупномасштабных корпусов, а также сценарий тонкой настройки инструкций LoRA.
ЧТ	УльтраЧат	ru	ЛЛАМА	Во-первых, набор данных UltraChat предоставляет богатый ресурс для обучения чат-ботов. Во-вторых, благодаря точной настройке модели LLaMA. Исследователи успешно создали диалоговую модель UltraLLaMA с превосходными характеристиками.
ККО	ЮЛан-Чат	эн/ж	ЛЛАМА	разработан на основе доводки LLaMA с качественной английской и китайской инструкцией.
AI2	Тулу	ru	LLaMA/Пифия/ОПТ	набор моделей LLaMa, полностью настроенных на основе большого количества наборов данных.
КАИСТ	SelFee	ru	ЛЛАМА	Итеративный саморедактирующийся LLM, усиленный созданием самообратной связи.
@lyogavin	Анима	эн/ж	ЛЛАМА	обучен на основе гуанако QLoRA 33B, настроенного на 10 000 шагов.
ЧТ	ЧатGLM2-6B	эн/ж	-	ChatGLM 2-6B — это второе поколение двуязычной (китайско-английской) модели чата ChatGLM-6B с открытым исходным кодом. Он сохраняет плавный ход разговора и низкий порог развертывания модели первого поколения, но при этом представляет следующие новые функции: -Более высокая производительность - Более длинный контекст - Более эффективный вывод - Более открытая лицензия
Открытый чат	Открытый чат	ru	ЛЛаМА и т. д.	серия языковых моделей с открытым исходным кодом, точно настроенных на небольшом, но разнообразном и высококачественном наборе данных многораундовых разговоров. В частности, мы используем только ~6 тысяч разговоров GPT-4, напрямую отфильтрованных из ~90 тысяч разговоров ShareGPT. Несмотря на небольшой размер набора данных, OpenLLMs продемонстрировал замечательную производительность.
КАС	БэйЛинг	мульти	ЛЛАМА	BayLing — это англо-китайская программа LLM, оснащенная расширенной языковой адаптацией, демонстрируя превосходные способности к английскому и китайскому языкам, следованию инструкциям и многооборотному взаимодействию.
стабильность	ФриВилли/ФриВилли2	ru	ЛЛаМА/ЛЛАМА2	FreeWilly — это модель Llama65B, оптимизированная для набора данных в стиле Orca. FreeWilly2 — это модель Llama2 70B, настроенная на набор данных в стиле Orca. FreeWilly2 превосходит Llama2 70B в таблице лидеров Huggingface Open LLM.
Алибаба	Квен-7Б	эн/ж	-	7B-параметрическая версия серии больших языковых моделей Qwen (сокр. Tongyi Qianwen), предложенная Alibaba Cloud.
ЗЮ	ЗнатьLM	эн/ж	ЛЛАМА	Благодаря быстрому развитию технологий глубокого обучения большие языковые модели, такие как ChatGPT, добились значительных успехов в области обработки естественного языка. Однако эти обширные модели по-прежнему сталкиваются с рядом проблем при приобретении и понимании знаний, включая трудности обновления знаний и потенциальных знаний. расхождения и предубеждения, известные под общим названием «ошибки знаний» . Проект KnowLM пытается решить эти проблемы, запуская крупномасштабную среду интеллектуальных языковых моделей с открытым исходным кодом и выпуская соответствующие модели.
НЭУ	ТехГПТ	эн/ж	ЛЛАМА	TechGPT в основном усиливает следующие три типа задач: - Различные задачи извлечения информации, такие как извлечение тройки отношений с «построением графа знаний» в качестве ядра. - Различные интеллектуальные задания в форме вопросов и ответов, ориентированные на «понимание прочитанного». - Различные задачи генерации последовательностей, такие как генерация ключевых слов с «пониманием текста» в качестве ядра.
@MiuLab	Тайвань-LLaMa	эн/ж	ЛЛаМА2	Традиционный китайский LLM для Тайваня.
Xwin-LM	Xwin-LM	ru	ЛЛаМА2	Целью Xwin-LM является разработка и открытие технологий выравнивания для больших языковых моделей, включая контролируемую точную настройку (SFT), модели вознаграждения (RM), выборка отклонений, обучение с подкреплением на основе отзывов людей (RLHF) и т. д. Наш первый выпуск, основанный на Базовые модели Llama2 заняли ТОП-1 на AlpacaEval. Примечательно, что она первая превзошла GPT-4 в этом тесте.
венге-исследования	Яйи	эн/ж	ЛЛаМА/ЛЛАМА2	YaYi был настроен на миллионах искусственно созданных высококачественных доменных данных. Эти обучающие данные охватывают пять ключевых областей: реклама в средствах массовой информации, анализ общественного мнения, общественная безопасность, контроль финансовых рисков и городское управление, включая более сотни задач по обучению естественному языку.
ОбниматьЛицо	зефир	ru	Мистраль	Zephyr — это серия языковых моделей, которые обучены действовать в качестве полезных помощников. Zephyr-7B-α — первая модель в серии и представляет собой доработанную версию. mistralai/Mistral-7B-v0.1, который был обучен на общедоступных синтетических наборах данных с использованием оптимизации прямых предпочтений (DPO).
Согласовать	Command-R / Команда R+	мульти	-	Command-R имеет возможность многоязычной генерации, оцениваемой на 10 языках, и высокопроизводительные возможности RAG.
ХАИ	грок	ru	-	314B Длина контекста МО: 8192;
блоки данных	dbrx-инструкция	-	-	мелкозернистая смешанная архитектура (MoE) с общим числом параметров 132B, из которых 36B параметров активны для любого входа. Она была предварительно обучена на 12T токенах текстовых и кодовых данных по сравнению с другими открытыми моделями MoE, такими как Mixtral-. 8x7B и Grok-1, DBRX является мелкозернистым, то есть он использует большее количество более мелких экспертов. DBRX имеет 16 экспертов и выбирает 4. Mixtral-8x7B и Grok-1 имеют 8 экспертов и выбирают 2.

Объединение моделей

участник	модель/метод	главная особенность	главная особенность
ПредохранительAI	FuseChat	Во-первых, он осуществляет попарное объединение знаний для исходных LLM для получения нескольких целевых LLM с одинаковой структурой и размером посредством облегченной точной настройки. Затем эти целевые LLM объединяются в пространстве параметров, при этом мы предлагаем новый метод VaRM для определения весов слияния. на основе соотношения вариаций матриц параметров до и после тонкой настройки.	объединение трех известных чатов LLM с различной архитектурой и масштабом, а именно NH2-Mixtral-8x7B, NH2-Solar-10.7B и OpenChat-3.5-7B, достигает средней производительности 8,22 на MT-Bench, что превосходит результаты. Различные мощные чаты в масштабах 7B и 34B, такие как Starling-7B и Yi-34b-chat, даже превосходящее GPT-3.5 (март), Клод-2,1 и приближающееся к Mixtral-8x7b-Instruct.
Arcee-Ai	комплект слияния	Инструменты для слияния предварительно подготовленных крупных языковых моделей.
Саканаи	Evollm	Эволюционная оптимизация рецептов слияния моделей.

Альтернативы трансформатору

(Может быть, преемники?)

участник	метод	Основная особенность
Blinkdl	RWKV-LM	RWKV-это RNN с производительности LLM на уровне трансформатора. Таким образом, он объединяет лучшие из RNN и Transformer - отличная производительность, быстрый вывод, спасает VRAM, Fast Training, «Infinite» CTX_LEN и встраивание свободного предложения.
MSRA	Ретнет	Одновременно достигая тренировок параллелизма, недорогих выводов и хорошей производительности. Затем мы предлагаем механизм удержания для моделирования последовательностей, который поддерживает три вычисления парадигмы, то есть параллельно, повторяющегося и чистого рецидива. В частности, параллельное представление позволяет проводить параллелизм . Задержка и память графического процессора без жертвоприношения. Там, где каждый кусок кодируется параллелью, когда регулярно суммирует куски. Параллельное обучение, недорогое развертывание и эффективное вывод.
Стэнфорд	BAPCPACK	Abackpack-это замена для трансформатора, который предоставляет новые инструменты для интерпретации контролирования, в то же время обеспечивая сильные языковые модели. Рюкзаки разлагают прогнозное значение слов в компоненты неконтекютно и агрегируют их по взвешенной сумме, что позволяет проводить точные, предсказуемые вмешательства.
Стэнфорд и т. д.	Монарх миксер (M2)	Основная идея состоит в том, чтобы заменить основные элементы трансформатора на матрицы монархи, которые представляют собой класс структурированных матриц, которые обобщают БПФ и являются субквадратичными, Эффективное и выразительное.
CMU и т. Д.	Мамба	Mamba-это новая архитектура космической модели состояния, показывающая многообещающую производительность в области информационных данных, таких как языковое моделирование, где предыдущие подквадратические модели не соответствуют трансформаторам. и реализация в духе вспышки.
Вместе Компьютер	Стрипеджиена	StripedHyena- первая альтернативная модель, конкурентоспособная с лучшими трансформаторами с аналогичными размерами с открытым исходным кодом в коротких и длинных оценках. StripedHyena-это гибридная архитектура, состоящая из многоголовного, группированного внимания и закрытых свертков, расположенных ингиена, отличающиеся от традиционных трансформаторов только для декодера. 1. Декодирование костютной памяти в блоках гиены посредством представления свертков в качестве моделей пространства состояний (модальная или каноническая форма) или в качестве усеченных фильтров. 2. Низкая задержка, более быстрое декодирование и более высокая пропускная способность, чем трансформаторы. 3. Улучшение обучения и вывода, оптимальных законов масштабирования по сравнению с оптимизированными архитектурами трансформаторов, такими как Llama-2. 4. Обученный последовательностям до 32 тыс., Позволяя ему обрабатывать более длинные подсказки.
Майкрософт	BGPT	BGPT поддерживает генеративное моделирование посредством прогнозирования следующего байта на любом типе данных и может выполнять любые исполняемые задачи на компьютере, показывая возможность моделировать все действия в цифровом мире, причем его потенциал ограничен только вычислительными ресурсами и нашим воображением.
Глубокий	Гриффин-Джекс	JAX + PLAX реализация TheGriffin: смешивание закрытых линейных рецидивов с локальным вниманием для эффективных языковых моделей, а не официального кода (официальный код еще не выпущен); Слои RG-LRU, новый линейный рецидивирующий слой, вокруг которого мы проектируем новый рецидивирующий блок для замены MQA. Гибридная модель, которая меняет MLP с смесью повторяющихся блоков и локального внимания Griffin-3B превосходит Mamba-3b, а Griffin-7b и Griffin-14b достигают конкуренции на производительность с Llama-2, несмотря на то, что они обучались почти на 7 раз меньше жетонов;
AI21	Джамба	Джамба-это первая реализация MAMBA в производстве. до 140 тысяч токенов на одном графическом процессоре 80 ГБ.
Мета	Мегалодон	Мегалодон наследует архитектуру MEGA (экспоненциальное скользящее среднее с закрытым вниманием) и дополнительно вводит несколько технических компонентов для улучшения его возможностей и стабильности, включая сложное экспоненциальное скользящее среднее (CEMA), слой нормализации времена, нормализованный механизм внимания и предварительный норм с двумя -Коп остаточная конфигурация.

Мо

участник	модель/проект	Основная особенность
Мистралай	Mixtral-8x7b	Большая языковая модель Mixtral-8x7b (LLM) представляет собой предварительную генеративную редкую смесь экспертов.
Шанхайская лаборатория ИИ и т. Д.	Лама-Мо	Небольшая и доступная модель MOE, основанная на ламе и Slimpajama.
NUS и т. Д.	OpenMoe	Семейство смеси с открытым исходным кодом (МО) крупные языковые модели.
Снежинка	Арктика	Arctic использует уникальную архитектуру гибридного трансформатора с плотным моментом.

Мультимодальный

участник	проект	язык	базовая модель	Основная особенность
Baihaieien	Idpchat	en/ZH	Лама-13b Стабильная диффузия	Откройте китайскую многомодальную модель, однопометку, проводящую, простой в развертывании, предоставлен пользователь.
Кауст	Minigpt-4	en/ZH	ЛЛАМА	Minigpt-4 выравнивает замороженный визуальный энкодер из Blip-2 с замороженным LLM, Vicuna, используя только один проекционный слой, и дает много новых возможностей на языке зрения, аналогичных тем, которые продемонстрированы в GPT-4.
MSR и т. Д.	Ллава	ru	ЛЛАМА	Предлагается настройка визуальной инструкции, направленная на создание больших моделей языка и зрения с возможностями уровня GPT-4.
NUS/THU	VPGTRANS	ru	Лама/opt/ Flan-T5/Blip-2 ...	Передача VPG через LLM для построения VL-LLMS при значительно более низкой стоимости может быть уменьшено более 10 раз, а данные обучения могут быть уменьшены примерно до 10%. Два новых VL-LLM выпускаются через VPGTRANS, включая VL-Llama и VL-Vicuna . VL-Llama -это мультимодальная версия Llama, передавая BLIP-2 OPT-6.7B Llama через VPGTRANS. VL-Vicuna -это GPT-4-подобный мультимодальный чат-бот, основанный на Vicuna LLM.
CAS и т. Д.	X-llm	en/ZH	ЧатGLM-6B	X-LLM преобразует мультимодальности (изображения, речи, видео) в иностранные языки, используя интерфейсы X2L и подайте их в Большая языковая модель (Chatglm) для выполнения мультимодального LLM, достигая впечатляющих возможностей мультимодального чата.
Ntu	Выдра	ru	OpenFlamingo	Многомодальная модель, основанная на OpenFlamingo (версия DeepMind's Flamingo), Обученный имитируется и демонстрирует улучшенную способность, связанную с инструкциями, и в контекстном контексте. Futhermore, оптимизируйте реализацию OpenFlamingo, демократизируя необходимые Учебные ресурсы от графического процессора 1x A100 до 4x RTX-3090 графических процессоров.
XMU	Лавин	ru	ЛЛАМА	Предложите новое и доступное решение для настройки инструкций на языке зрения, а именно адаптации смеси модальности (MMA). В частности, MMA-это режим сквозной оптимизации, который соединяет энкодер изображения и LLM с помощью легких адаптеров. Между тем, мы также предлагаем новый алгоритм маршрутизации в ММА, который может помочь модели автоматически сдвинуть пути рассуждений для одно- и многомодальных инструкций.
УСТЦ	Дятел	-	-	Первая работа по исправлению галлюцинации в мультимодальных крупных языковых моделях.
Hpcaitech	Открытая сора	-	-	Альтернатива с открытым исходным кодом Openai Sora.

Смотрите также: Awesome-Multimodal-Large-Language-Models

Данные

Данные предварительного поведения

участник	данные/проект	язык	Основная особенность
Вместе Компьютер	Redpajama-Data	ru	Рецепт с открытым исходным кодом для воспроизведения набора данных обучения Llama.
@goldsmith	Википедия	мульти	Pythonic Wrapper для API Википедии.

Данные инструкции

См. Сбор данных Alpaca-Cot

участник	данные	язык	Основная особенность
продавцы	Dialogstudio	ru	Dialogstudio: На пути к самым богатым и разнообразным моделям сбора наборов данных и с учетом инструкций для разговорного ИИ.

Генерация синтетических данных

участник	метод	Основная особенность
UW и т. Д.	Самоубийство	Использование собственных поколений модели для создания большой коллекции учебных данных.
@Liuhc0428	Надежная серия	Используйте CHATGPT, чтобы создать некоторые вопросы и ответы на основе данного текста.
Пку	Evol-Instruct	Новый метод, предлагаемый inwizardlm, с использованием LLMS вместо людей для автоматического массового продукта открытой домены Инструкции различных уровней сложности и диапазона навыков, чтобы повысить производительность LLMS.
Кауст и т. Д.	Верблюд	Предлагается новая структура коммуникативного агента, названная ролевой игрой , которая включает в себя использование начала подсказки для руководства агентами чата к завершению задачи при сохранении согласованности с намерениями человека. Ролевая игра может использоваться для генерации разговорных данных в определенной задаче/домене.
@chatarena	Чатарена	Библиотека, которая обеспечивает мультиагентные языковые игровые среды и облегчает исследования об автономных агентах LLM и их социальных взаимодействиях. Он обеспечивает гибкую структуру для определения нескольких игроков, сред и взаимодействий между ними на основе процесса принятия решений Марков.

Оценка

участник	метод	Основная особенность
-	человеческая оценка	-
ОпенАИ	GPT-4/Chatgpt	-
PKU/CMU/MSRA ...	Пандалм	Воспроизводимая и автоматизированная оценка модели языка.
ЮКБ	Чатбот Арена	Общайтесь с двумя анонимными моделями бок о бок и голосуйте за то, что лучше, Затем используйте систему рейтинга ELO для расчета относительной производительности моделей.
Стэнфорд	Альпакаэвальный	GPT-4/Claude Оценка набора данных ONALPACAFARM.
clueai	Supercluelyb	Китайская версия Ofchatbot Arena, разработанная Clueai.
SJTU и т. Д.	Авто-Дж	Новый генеративный судья с открытым исходным кодом, который может эффективно оценить различные LLMS о том, как они соответствуют предпочтениям человека.
CMU	Codebertscore	Автоматическая метрика для генерации кода, основанная на Bertscore. Как Bertscore, Codebertscore использует предварительно обученные контекстуальные встраивания из модели, такой как Codebert, и соответствует словам в кандидатах и ​​ссылочных предложениях сходным сходством косинуса. В отличие от Bertscore, Codebertscore также кодирует ввод естественного языка или другой контекст вместе с сгенерированным кодом, но не использует этот контекст для вычисления сходства косинуса.

Контрольный показатель

Текущее состояние бытовой большой модели оценки модели

участник	эталон	Основная особенность
Принстон	Swe-Bench	Оценка для оценки больших языковых моделей по вопросам программного обеспечения в реальном мире, собранных от Github . Языковая модель поручена генерировать патч , который разрешает описанную проблему.
Майкрософт	AGIEval	ориентированный на человека эталон, специально предназначенный для оценки общих способностей основных моделей в задачах, относящихся к человеческому познанию и решению проблем.
clueai	Superclue-Agent	Агент оценка оценки на основе китайских нативных задач.
байтданс	GPT-Fathom	GPT-Fathom-это набор с открытым исходным кодом и воспроизводимый LLM, сравничный состав 10+ ведущих LLMS с открытым исходным кодом и с закрытым исходным кодом, а также более ранние модели Openai на 20+ кураторских тестов под выровненными настройками.

Таблица лидеров

OpenCompass, Huggingface

Framework/Toolkit/Platform

участник	проект	Основная особенность
КАС	Альпака-Кот	Расширить данные COT на Alpaca, чтобы повысить его способность рассуждать. Цели по созданию платформы «Исключение» (IFT) с обширным сбором инструкций (особенно наборы данных COT) и унифицированный интерфейс для различных крупных языковых моделей.
@hiyouga	Чатглм-эффективная настройка	Эффективная тонкая настройка чатггм-6B с PEFT.
@hiyouga	Лама-эффективная настройка	Тонкая настройка ламы с PEFT (PT+SFT+RLHF с Qlora).
@jianzhnie	Эффективная настройка-llms	Эффективное создание Qlora LLMS.
КолоссальныйИИ	Colossalchat	Недороженное решение с открытым исходным кодом для CloningChatgpt с полным трубопроводом RLHF.
Майкрософт	темно-скорость-чат	Легко, быстрое и доступное обучение RLHF моделей, похожих на CATGPT, на всех масштабах.
Лаон-Ай	Открытый помощник	Проект, предназначенный для того, чтобы дать каждому доступ к отличному языковой модели, основанной на чате.
HKUST	Lmflow	Расширяемый, удобный и эффективный набор инструментов для создания больших моделей машинного обучения, разработан, чтобы быть удобными, быстрыми и надежными, и ACC Расширять Дополнительная информация Версия 1.0.0 Тип AI Исходный код Время обновления 2024-12-14 размер 113.3KB От Github Связанные приложения node telegram bot api 2024-12-14 typebot.io 2024-12-14 python wechaty getting started 2024-12-14 TranscriberBot 2024-12-14 genal chat 2024-12-14 Facemoji 2024-12-14 Рекомендуем вам chat.petals.dev Другой исходный код 1.0.0 GPT Prompt Templates Другой исходный код 1.0.0 GPTyped Другой исходный код GPTyped 1.0.5 node telegram bot api AI Исходный код v0.50.0 typebot.io AI Исходный код v3.1.2 python wechaty getting started AI Исходный код 1.0.0 waymo open dataset Другой исходный код December 2023 Update termwind Другие категории v2.3.0 wp functions Другие категории 1.0.0 Связанные новости Все Метод реализации Java для изменения файла запроса 2025-02-02 Загрузка файла приложения HTML5 2025-02-02 Используйте класс DateFormat в многопоточном программировании Java 2025-02-02 Руководство Excel в ASPX 2025-02-01 Передача: ASP встроен -в запросе объекта и ответах 2025-02-02 Метод установки Java's OpenJDK в системе CentOS 2025-02-01 Products & Services Install APK APK signature verification APK Download Service Company Developer Console Submit APK Monetization of traffic through downcodes Legal About us Contact Us Cooperation [email protected]