awesome llms fine tuning

Потрясающая точная настройка LLM

Добро пожаловать в тщательно подобранную коллекцию ресурсов для тонкой настройки больших языковых моделей (LLM), таких как GPT, BERT, RoBERTa и их многочисленных вариантов! В эпоху искусственного интеллекта способность адаптировать предварительно обученные модели к конкретным задачам и областям стала незаменимым навыком для исследователей, специалистов по обработке данных и практиков машинного обучения.

Большие языковые модели, обученные на огромных наборах данных, охватывают широкий спектр знаний и лингвистических нюансов. Однако для полного раскрытия их потенциала в конкретных приложениях первостепенное значение имеет их точная настройка на целевых наборах данных. Этот процесс не только повышает производительность моделей, но также гарантирует их соответствие конкретному контексту, терминологии и требованиям поставленной задачи.

В этом замечательном списке мы тщательно собрали ряд ресурсов, включая учебные пособия, документы, инструменты, платформы и лучшие практики, которые помогут вам в вашей тонкой настройке. Независимо от того, являетесь ли вы опытным практиком, стремящимся расширить свой опыт, или новичком, стремящимся войти в мир LLM, этот репозиторий предназначен для предоставления ценной информации и рекомендаций, которые помогут оптимизировать ваши усилия.

Оглавление

• Проекты GitHub
• Статьи и блоги
• Онлайн-курсы
• Книги
• Исследовательские статьи
• Видео
• Инструменты и программное обеспечение
• Конференции и мероприятия
• Слайды и презентации
• Подкасты

Проекты GitHub

• LlamaIndex ?: Платформа данных для ваших приложений LLM. (23010 звезд)
• Лепестки?: Запускайте LLM дома в стиле BitTorrent. Точная настройка и вывод до 10 раз быстрее, чем разгрузка. (7768 звезд)
• LLaMA-Factory: простая в использовании среда тонкой настройки LLM (LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, ChatGLM3). (5532 звезды)
• lit-gpt: хакерская реализация современных LLM с открытым исходным кодом на основе nanoGPT. Поддерживает флэш-внимание, 4-битное и 8-битное квантование, тонкую настройку адаптера LoRA и LLaMA, предварительное обучение. Лицензия Apache 2.0. (3469 звезд)
• H2O LLM Studio: платформа и графический интерфейс без кода для тонкой настройки LLM. Документация: https://h2oai.github.io/h2o-llmstudio/ (2880 звезд)
• Phoenix: наблюдение и оценка искусственного интеллекта. Оценивайте, устраняйте неполадки и настраивайте модели LLM, CV и NLP в блокноте. (1596 звезд)
• Адаптеры LLM: код для документа EMNLP 2023: «Адаптеры LLM: семейство адаптеров для эффективной точной настройки больших языковых моделей с эффективным использованием параметров». (769 звезд)
• Platypus: код для тонкой настройки LLM Platypus fam с использованием LoRA. (589 звезд)
• xtuner: набор инструментов для эффективной настройки LLM (InternLM, Llama, Baichuan, QWen, ChatGLM2). (540 звезд)
• DB-GPT-Hub: репозиторий, содержащий модели, наборы данных и методы точной настройки для DB-GPT с целью повышения производительности модели, особенно при преобразовании текста в SQL, и достижения более высокого уровня производительности, чем GPT-4 в Spider Eval с 13B LLM использовал этот проект. (422 звезды)
• LLM-Finetuning-Hub: репозиторий, содержащий сценарии точной настройки и развертывания LLM, а также результаты наших исследований. 416
• Finetune_LLMs: репозиторий для тонкой настройки случайных LLM. 391
• MFTCoder: высокоточная и эффективная многозадачная система тонкой настройки для кодовых LLM; 业内首个高精度、高效率、多任务、多模型支持、多训练算法,大模型代码能力微调框架. 337
• llmware: предоставление среды разработки, инструментов и точно настроенных моделей корпоративного уровня на основе LLM. 289
• LLM-Kit: интегрированная платформа WebUI для новейших программ LLM | Веб-интерфейс пользователя для управления веб-интерфейсом整合包。支持主流大模型API接口和开源模型。支持知识库,数据库, 角色扮演, mj, LoRA, 和全参数微调, 数据集制作, live2d 等全流程应用工具. 232
• h2o-wizardlm: реализация WizardLM с открытым исходным кодом для преобразования документов в пары Q:A для точной настройки LLM. 228
• hcgf : Тонкая настройка генеративной модели гуманного чата | LLM微调. 196
• llm_qlora: точная настройка LLM с использованием QLoRA. 136
• Awesome-llm-human-preference-datasets: тщательно подобранный список наборов данных о человеческих предпочтениях для точной настройки LLM, RLHF и оценки. 124
• llm_finetuning: удобная оболочка для точной настройки и вывода моделей большого языка (LLM) с несколькими методами квантования (GTPQ, биты и байты). 114

Статьи и блоги

• Точная настройка LLM в 2024 году с помощью Hugging Face: TRL и Flash Attention?: В этом сообщении блога представлено подробное руководство по точной настройке LLM (например, Llama 2) с использованием Hugging Face trl и Flash Attention на графических процессорах потребительского размера (24 ГБ).
• Полное руководство по точной настройке LLM для начинающих: подробное руководство, объясняющее процесс точной настройки предварительно обученной модели для новых задач, охватывающее ключевые понятия и предоставляющее конкретный пример.
• Точная настройка больших языковых моделей (LLM). В этом сообщении блога представлен обзор тонкой настройки предварительно обученных LLM, обсуждаются важные концепции и приводится практический пример с кодом Python.
• Создание эксперта по предметной области LLM: Руководство по тонкой настройке: статья, в которой подробно рассматривается концепция тонкой настройки с использованием API OpenAI и демонстрируется пример тонкой настройки большой языковой модели для понимания сюжета оперы Генделя.
• Руководство для начинающих по тонкой настройке LLM?: Руководство, описывающее процесс тонкой настройки LLM, включая использование таких инструментов, как QLoRA, для настройки и точной настройки моделей.
• Графики знаний и LLM: точная настройка против. Поисково-дополненная генерация: в этой публикации в блоге рассматриваются ограничения LLM и даются идеи по их точной настройке в сочетании с графами знаний.
• Настройте LLM на своих личных данных: создайте рассказчика «Властелин колец» ✏️: статья, демонстрирующая, как обучить свой собственный LLM на личных данных, предлагая контроль над личной информацией, не полагаясь на GPT-4 OpenAI.
• Точная настройка модели LLM с помощью H2O LLM Studio для генерации операторов Cypher? В этом сообщении блога представлен пример точной настройки модели LLM с использованием H2O LLM Studio для генерации операторов Cypher, позволяющей приложениям чат-ботов использовать графики знаний.
• Точная настройка вашей собственной модели Llama 2 в блокноте Colab: практическое введение в тонкую настройку LLM, демонстрирующее, как реализовать ее в блокноте Google Colab для создания собственной модели Llama 2.
• Думаете о тонкой настройке LLM? Вот три соображения, прежде чем приступить к работе: В этой статье обсуждаются три идеи, которые следует учитывать при точной настройке LLM, включая способы улучшения GPT за пределами PEFT и LoRA, а также важность разумного инвестирования ресурсов.
• Введение в LLM и генеративный искусственный интеллект. Часть 3. Точная настройка LLM с инструкциями. В этой статье исследуется роль LLM в приложениях искусственного интеллекта и дается обзор их тонкой настройки.
• RAG против точной настройки — какой инструмент лучше для улучшения вашего приложения LLM — сообщение в блоге, в котором обсуждаются аспекты, которые следует учитывать при создании приложений LLM, и выбор правильного метода для вашего варианта использования. ?‍
• Точная настройка LLM: RLHF и альтернативы (Часть I) — статья, демонстрирующая альтернативные методы RLHF, в частности, оптимизацию прямых предпочтений (DPO).
• Когда следует настраивать LLM? - Изучение сравнения тонкой настройки LLM с открытым исходным кодом и использования закрытого API для запросов LLM в масштабе. ?
• Точная настройка больших языковых моделей. Рассмотрение тонкой настройки больших языковых моделей и сравнение их с подходами с нулевым и малократным подходом.
• Частный GPT: точная настройка LLM на корпоративных данных. Изучение методов обучения, которые позволяют точно настраивать LLM на небольших графических процессорах.
• Точная настройка Google PaLM 2 с помощью Scikit-LLM. Демонстрация того, как точно настроить Google PaLM 2, самую продвинутую версию LLM от Google, с помощью Scikit-LLM. ?
• Глубокое погружение в тонкую настройку больших языковых моделей — подробный блог о тонкой настройке LLM, таких как GPT-4 и BERT, с информацией, тенденциями и преимуществами.
• Предварительное обучение, тонкая настройка и контекстное обучение в моделях большого языка. Обсуждение концепций предварительного обучения, тонкой настройки и контекстного обучения в LLM.
• Список точно настроенных больших языковых моделей с открытым исходным кодом — тщательно подобранный список точно настроенных LLM с открытым исходным кодом, которые можно запускать локально на вашем компьютере. ?
• Руководство для практиков по точной настройке LLM для случаев использования в конкретной предметной области. Руководство, охватывающее ключевые уроки и выводы по точной настройке LLM для случаев использования в конкретной предметной области.
• Finetune Llama 3.1 с производственным стеком на AWS, GCP или Azure — руководство и учебник по точной настройке Llama 3.1 (или Phi 3.5) в производственной установке, разработанной с учетом лучших практик MLOps. ?

Онлайн-курсы

• Основы тонкой настройки: раскрытие потенциала LLM | Udemy: практический курс для начинающих по созданию моделей в стиле ChatGPT и их адаптации для конкретных случаев использования.
• Генеративный ИИ с большими языковыми моделями | Coursera: изучите основы генеративного искусственного интеллекта с помощью LLM и способы их практического применения. Зарегистрируйтесь бесплатно.
• Большие языковые модели: применение в производстве | edX: продвинутый курс для разработчиков, специалистов по обработке данных и инженеров, позволяющий создавать приложения, ориентированные на LLM, с использованием популярных платформ и достигать комплексной готовности к производству.
• Точная настройка больших языковых моделей | Управляемый проект Coursera: краткий управляемый проект, в котором рассматриваются основные концепции точной настройки и обучения большим языковым моделям.
• API OpenAI и ChatGPT: экспертная точная настройка для разработчиков | Udemy: Откройте для себя возможности GPT-3 при создании диалоговых решений искусственного интеллекта, включая такие темы, как быстрое проектирование, точная настройка, интеграция и развертывание моделей ChatGPT.
• Профессиональный сертификат по моделям больших языков | edX: узнайте, как создавать и реализовывать приложения на основе больших языковых моделей (LLM), используя новейшие платформы, методы и теорию, лежащую в основе базовых моделей.
• Повышение эффективности вашего LLM без тонкой настройки | Udemy: курс, предназначенный для бизнес-лидеров и разработчиков, заинтересованных в точной настройке моделей LLM и изучении методов повышения их производительности.
• Введение в большие языковые модели | Coursera: курс микрообучения вводного уровня, предлагаемый Google Cloud, объясняющий основы моделей большого языка (LLM) и варианты их использования. Зарегистрируйтесь бесплатно.
• Программа обучения | LLM101x | edX: узнайте, как использовать встраивание данных, векторные базы данных и тонкую настройку LLM с использованием данных, специфичных для предметной области, для расширения конвейеров LLM.
• Мастер-класс по настройке производительности моделей глубокого обучения | Udemy: мастер-класс по настройке моделей глубокого обучения, в котором рассматриваются методы ускорения обучения и оптимизации производительности.
• Лучшие курсы и сертификаты по моделям большого языка (LLM): этот набор курсов LLM, созданный ведущими учебными заведениями и лидерами отрасли, направлен на обеспечение качественного обучения для отдельных лиц и корпоративных команд, желающих изучить или улучшить свои навыки в тонкой настройке LLM.
• Освоение языковых моделей: раскрытие возможностей LLM. В этом комплексном курсе вы углубитесь в фундаментальные принципы НЛП и узнаете, как LLM изменили ландшафт приложений ИИ. Комплексное руководство по продвинутому НЛП и LLM.
• Мастерство LLM: Полное руководство по трансформаторам и генеративному искусственному интеллекту. Этот курс представляет собой отличный обзор истории искусственного интеллекта и охватывает тонкую настройку трех основных моделей LLM: BERT, GPT и T5. Подходит для тех, кто интересуется генеративным искусственным интеллектом, LLM и приложениями производственного уровня.
• Изучение технологий ChatGPT, GPT4 и LLM: единственный курс, который вам нужен для изучения больших языковых моделей, таких как ChatGPT, GPT4, BERT и других. Получите представление о технологиях, лежащих в основе этих программ LLM.
• Нетехническое введение в большие языковые модели: обзор больших языковых моделей для нетехнических людей, объясняющий существующие проблемы и предоставляющий простые объяснения без сложного жаргона.
• Большие языковые модели: базовые модели с нуля: углубитесь в детали базовых моделей в LLM, таких как BERT, GPT и T5. Получите представление о последних достижениях, расширяющих функциональность LLM.

Книги

• Генеративный искусственный интеллект с большими языковыми моделями — новый практический курс от Deeplearning.ai и AWS
• Практический курс, который учит, как точно настраивать модели большого языка (LLM) с использованием моделей вознаграждения и обучения с подкреплением, с упором на генеративный искусственный интеллект.
• От выбора данных к точной настройке: техническое руководство по построению моделей LLM
• Техническое руководство, описывающее процесс построения моделей LLM, от выбора данных до тонкой настройки.
• Поваренная книга знаний LLM: от RAG до QLoRA, тонкой настройки и всех промежуточных рецептов!
• Комплексная книга рецептов, в которой рассматриваются различные модели LLM, включая такие методы, как извлечение и генерация (RAG) и представление языка запросов (QLoRA), а также процесс тонкой настройки.
• Принципы точной настройки LLM
• Статья, которая раскрывает тайну процесса тонкой настройки LLM и исследует различные методы, такие как контекстное обучение, классические методы тонкой настройки, точная настройка с эффективным использованием параметров и обучение с подкреплением с обратной связью от человека (RLHF).
• От выбора данных к точной настройке: техническое руководство по построению моделей LLM
• Техническое руководство, которое дает представление о создании и обучении больших языковых моделей (LLM).
• Практические модели большого языка
• Книга, в которой рассказывается о достижениях в области языковых систем искусственного интеллекта, основанных на глубоком обучении, с упором на большие языковые модели.
• Точная настройка Llama 2 для генерации текста на Amazon SageMaker JumpStart
• Узнайте, как точно настроить модели Llama 2 с помощью Amazon SageMaker JumpStart для оптимизации создания диалогов.
• Быстрая и экономичная точная настройка LLaMA 2 с помощью AWS Trainium
• Сообщение в блоге, в котором объясняется, как добиться быстрой и экономичной точной настройки моделей LLaMA 2 с помощью AWS Trainium.
• Тонкая настройка — углубленное глубокое обучение с помощью Python [Книга]: книга, в которой исследуются задачи тонкой настройки после задачи предварительного обучения в расширенном глубоком обучении с помощью Python.
• Поваренная книга знаний LLM: от RAG до QLoRA и Fine...: комплексное руководство по использованию больших языковых моделей (LLM) для различных задач, охватывающее все: от основ до продвинутых методов тонкой настройки.
• Краткое руководство по большим языковым моделям: стратегии и лучшие…: руководство, посвященное стратегиям и лучшим практикам для больших языковых моделей (LLM), таких как BERT, T5 и ChatGPT, демонстрирующее их беспрецедентную производительность в различных задачах НЛП.
• 4. Расширенные методы GPT-4 и ChatGPT — Разработка приложений...: глава, в которой рассматриваются передовые методы GPT-4 и ChatGPT, включая быстрое проектирование, обучение с нуля, обучение с небольшими шагами и точное выполнение конкретных задач. тюнинг.
• Что такое большие языковые модели? - Объяснение LLM AI - AWS: объяснение больших языковых моделей (LLM), обсуждение концепций однократного обучения и тонкой настройки для повышения производительности модели.

Исследовательские статьи

• LLM-адаптеры: семейство адаптеров для точной настройки с эффективным использованием параметров?: В этом документе представлены LLM-адаптеры, простая в использовании структура, которая интегрирует различные адаптеры в LLM для точной настройки с эффективным использованием параметров (PEFT) для различных задач.
• Двухэтапная точная настройка LLM с меньшей специализацией?: ProMoT, двухэтапная структура тонкой настройки, решает проблему специализации формата в LLM посредством быстрой настройки с настройкой модели, улучшая их общую эффективность обучения в контексте.
• Точная настройка языковых моделей крупных предприятий с помощью онтологических рассуждений?: В этом документе предлагается нейросимволическая архитектура, которая сочетает в себе модели больших языков (LLM) с графами знаний предприятия (EKG) для достижения точной настройки LLM для конкретной предметной области.
• QLoRA: эффективная точная настройка квантованных LLM?: QLoRA — это эффективный подход к тонкой настройке, который снижает использование памяти при сохранении производительности задач и дает представление о квантованных предварительно обученных языковых моделях.
• Полная точная настройка параметров для больших языковых моделей с ограниченными ресурсами?: В этой работе представлен LOMO, метод оптимизации с малым объемом памяти, позволяющий выполнять полную настройку параметров больших LLM с ограниченными ресурсами графического процессора.
• LoRA: низкоранговая адаптация больших языковых моделей?: LoRA предлагает методологию адаптации больших предварительно обученных моделей к конкретным задачам путем введения обучаемых матриц разложения рангов в каждый слой, уменьшая количество обучаемых параметров при сохранении качества модели.
• Улучшение LLM с помощью эволюционной тонкой настройки для создания сводок новостей?: В этом документе представлена ​​новая парадигма создания сводок новостей с использованием LLM, включающая генетические алгоритмы и мощные возможности понимания естественного языка.
• Как языки влияют друг на друга? Изучение межъязыкового обмена данными во время тонкой настройки LLM?: В этом исследовании исследуется межъязыковый обмен данными во время тонкой настройки многоязычных моделей больших языков (MLLM) и анализируется влияние различных языков на производительность модели.
• Точная настройка языковых моделей с помощью простых проходов вперед: MeZO, оптимизатор нулевого порядка с эффективным использованием памяти, обеспечивает точную настройку больших языковых моделей, значительно снижая при этом требования к памяти.
• Учимся рассуждать над графами сцен: пример точной настройки LLM?: В этой работе исследуется применимость LLM GPT-2 при планировании роботизированных задач, демонстрируя потенциал использования LLM в сценариях долгосрочного планирования задач.
• Частная точная настройка больших языковых моделей с помощью: В этом документе исследуется применение дифференциальной конфиденциальности для добавления гарантий конфиденциальности к точной настройке больших языковых моделей (LLM).
• DISC-LawLLM: точная настройка больших языковых моделей для интеллектуальных правовых систем. В этом документе представлена ​​DISC-LawLLM, интеллектуальная правовая система, которая использует точно настроенные LLM с возможностью юридического обоснования для предоставления широкого спектра юридических услуг.
• Настройка многозадачных инструкций LLaMa для конкретных сценариев: A: В документе исследуется эффективность тонкой настройки LLaMa, основного LLM, для конкретных письменных задач, демонстрирующая значительное улучшение навыков письма.
• Обучение языковых моделей следованию инструкциям с обратной связью от человека. В этом документе предлагается метод согласования языковых моделей с намерениями пользователя путем их точной настройки с использованием обратной связи от человека, в результате чего модели предпочтительнее более крупных моделей при оценке человеком.
• Большие языковые модели могут самосовершенствоваться. В статье показано, что студенты LLM могут самостоятельно совершенствовать свои способности к рассуждению путем точной настройки с использованием самостоятельно сгенерированных решений, достигая современной производительности без ярлыков базовой истины.
• Использование больших языковых моделей для медицинских приложений: в этой статье подчеркивается потенциал точно настроенных LLM в медицинских приложениях, повышающих точность диагностики и поддерживающих принятие клинических решений.
• Масштабирование языковых моделей с точной настройкой инструкций. В документе исследуется точная настройка инструкций на LLM, демонстрирующая значительные улучшения производительности и обобщение для невидимых задач.
• Федеративная точная настройка языковых моделей размером в миллиард: в этой работе представлен FwdLLM, протокол федеративного обучения, предназначенный для повышения эффективности точной настройки больших LLM на мобильных устройствах, улучшения памяти и эффективности использования времени.
• Комплексный обзор больших языковых моделей. В этом документе представлен обзор разработки и применения больших языковых моделей и их возможностей трансферного обучения.
• Точная настройка языковых моделей для достижения согласия между людьми с помощью: В статье исследуется тонкая настройка большого LLM для создания консенсусных утверждений, которые максимизируют одобрение для группы людей с разными мнениями.

Видео

• «Введение в модели большого языка» Андрея Карпати: это часовое введение в модели большого языка. Что это такое, куда они направляются, сравнения и аналогии с современными операционными системами, а также некоторые проблемы, связанные с безопасностью этой новой компьютерной парадигмы.
• Точная настройка Llama 2 на вашем собственном наборе данных | Подготовьте LLM для своего...: узнайте, как точно настроить модель Llama 2 на основе пользовательского набора данных.
• Точная настройка LLM с помощью QLoRA на одном графическом процессоре: обучение Falcon-7b на ...: В этом видео демонстрируется процесс тонкой настройки LLM Falcon 7b с использованием QLoRA.
• Точная настройка LLM с использованием PEFT | Введение в большой язык...: узнайте, как точно настроить LLM с помощью PEFT — метода, требующего меньше ресурсов.
• LLAMA-2 с открытым исходным кодом: индивидуальная точная настройка стала проще на…: пошаговое руководство по точной настройке модели LLama 2 LLM на вашем пользовательском наборе данных.
• Новый курс: «Точная настройка больших языковых моделей» — YouTube: в этом видео представлен курс по тонкой настройке LLM, включающий выбор модели, подготовку данных, обучение и оценку.
• Вопрос: Как создать набор данных инструкций для точной настройки моего LLM...: В этом руководстве новички узнают о точной настройке LLM, в том числе о том, когда, как и зачем это делать.
• Модуль LLM 4: Точная настройка и оценка LLM | 4.13.1 Блокнот...: Демо-блокнот по точной настройке и оценке LLM.
• Тонкая настройка/адаптация/настройка Google LLM — начало работы...: начните с тонкой настройки большой языковой модели Google PaLM 2 с помощью пошагового руководства.
• Предварительное обучение, тонкая настройка и контекстное обучение LLM (GPT-x ...: полное руководство, объясняющее предварительное обучение, тонкую настройку и контекстное обучение LLM, таких как GPT-x.
• Как точно настроить LLM с помощью PDF — Учебное пособие по Langchain — YouTube: узнайте, как точно настроить LLM OpenAI GPT для обработки PDF-документов с использованием Langchain и библиотек PDF.
• Пошаговое руководство по EasyTune — YouTube — Пошаговое руководство по тонкой настройке LLM с QLoRA на одном графическом процессоре с использованием Falcon-7b.
• Раскрытие потенциала ChatGPT. Уроки обучения и тонкого... - СТУДЕНТ представляет инструкции по тонкой настройке и контекстному обучению LLM с символами.
• Новости AI: Создание LLM без кода! – YouTube – Майя Аким рассказывает о 5 наиболее важных случаях тонкой настройки LLM, о которых вам следует знать.
• 5 лучших случаев использования тонкой настройки LLM, которые вам нужно знать – YouTube – подробное видео, в котором освещаются 5 лучших вариантов использования тонкой настройки LLM, а также дополнительные ссылки для дальнейшего изучения.
• clip2 llm emory – YouTube – узнайте, как точно настроить Llama 2 на основе собственного набора данных и обучить LLM для вашего конкретного случая использования.
• САМЫЙ ПРОСТОЙ способ точной настройки LLAMA-v2 на локальном компьютере! – YouTube – пошаговое видеоруководство, демонстрирующее самый простой, простой и быстрый способ точной настройки LLAMA-v2 на локальном компьютере для работы с пользовательским набором данных.
• Обучение и тонкая настройка LLM: Введение – YouTube – Введение в обучение и тонкую настройку LLM, включая важные концепции и NeurIPS LLM Efficiency Challenge.
• Точная настройка LLM с помощью PEFT и LoRA – YouTube – подробное видео, в котором рассказывается, как использовать PEFT для точной настройки любой модели GPT в стиле декодера, включая основы тонкой настройки и загрузки LoRA.
• Создание и управление наборами данных для тонкой настройки RLHF и LLM... — Узнайте о создании и управлении наборами данных для тонкой настройки RLHF (обучение с подкреплением на основе обратной связи с человеком) и LLM (большая языковая модель) при спонсорской поддержке Argilla.
• Точная настройка LLM (OpenAI GPT) с помощью пользовательских данных в Python – YouTube – узнайте, как расширить LLM (OpenAI GPT), настроив его с помощью специального набора данных для предоставления вопросов и ответов, сводки и других функций, подобных ChatGPT.

Инструменты и программное обеспечение

• LLaMA Efficient Tuning: простая в использовании система тонкой настройки LLM (LLaMA-2, BLOOM, Falcon).
• H2O LLM Studio: фреймворк и графический интерфейс без кода для тонкой настройки LLM.
• PEFT: методы точной настройки с эффективным использованием параметров (PEFT) для эффективной адаптации предварительно обученных языковых моделей к последующим приложениям.
• Модель, подобная ChatGPT. Запустите быструю модель, подобную ChatGPT, локально на своем устройстве.
• Лепестки: совместно запускайте большие языковые модели, такие как BLOOM-176B, что позволяет загружать небольшую часть модели и объединяться с другими для вывода или точной настройки. ?
• NVIDIA NeMo: набор инструментов для создания современных моделей диалогового ИИ, специально разработанный для Linux.
• H2O LLM Studio: платформа и инструмент с графическим интерфейсом без кода для тонкой настройки больших языковых моделей в Windows. ?️
• Людвиг AI: платформа с низким кодом для создания пользовательских LLM и других глубоких нейронных сетей. Легко обучайте современные LLM с помощью декларативного файла конфигурации YAML. ?
• bert4torch: элегантная реализация преобразователей PyTorch. Загрузите различные веса больших моделей с открытым исходным кодом для рассуждений и точной настройки.
• Alpaca.cpp: запустите быструю модель, подобную ChatGPT, локально на вашем устройстве. Сочетание базовой модели LLaMA и открытой копии Стэнфордской альпаки для точной настройки в соответствии с инструкциями. ?
• Promptfoo: оценивайте и сравнивайте результаты LLM, выявляйте регрессии и улучшайте подсказки, используя автоматические оценки и репрезентативные данные пользователей.

Конференции и мероприятия

• Беседа ML/AI: Нейро-символический ИИ — альтернатива LLM. На этой встрече будет обсуждаться опыт тонкой настройки LLM и исследоваться нейро-символический ИИ в качестве альтернативы.
• День разработчиков искусственного интеллекта — Сиэтл, понедельник, 30 октября 2023 г., 17:00 — Технический доклад об эффективной наблюдаемости LLM и возможностях тонкой настройки с использованием поиска по сходству векторов.
• Мероприятия DeepLearning.AI — серия мероприятий, включающая смягчение галлюцинаций LLM, тонкую настройку LLM с помощью PyTorch 2.0 и ChatGPT, а также образовательные программы по искусственному интеллекту.
• День разработчиков искусственного интеллекта — Нью-Йорк, четверг, 26 октября 2023 г., 17:30 — Технические специалисты рассказывают о лучших практиках в приложениях GenAI и использовании LLM для персонализированных уведомлений в реальном времени.
• Чат LLM и агенты искусственного интеллекта — используйте искусственный интеллект поколения для создания систем и агентов искусственного интеллекта — мероприятие, посвященное LLM, агентам искусственного интеллекта и цепным данным, с возможностями взаимодействия через чат событий.
• Группа разработчиков AI/LLM/ChatGPT Нью-Йорка — регулярные технические переговоры/семинары для разработчиков, заинтересованных в AI, LLM, ChatGPT, NLP, ML, данных и т. д.
• Использование LLM для корпоративных данных, вторник, 14 ноября 2023 г., 14:00 — Погрузитесь в основные стратегии LLM, адаптированные для приложений с закрытыми данными, включая оперативное проектирование и извлечение.
• Встреча Bellevue по прикладному машинному обучению — встреча, посвященная прикладным методам машинного обучения и повышению навыков специалистов по обработке данных и специалистов по машинному обучению.
• Встреча AI & Prompt Engineering в Мюнхене, 5 октября. 2023, 18:15 — Представляем H2O LLM Studio для тонкой настройки LLM и объединения энтузиастов искусственного интеллекта из разных слоев общества.
• Сиэтлская группа разработчиков искусственного интеллекта, машинного обучения и данных — технические беседы об оценке агентов LLM и изучении искусственного интеллекта, машинного обучения и данных на практике.
• Додзё науки о данных — округ Колумбия | Встреча: это группа встреч в Вашингтоне для бизнес-профессионалов, заинтересованных в преподавании, обучении и обмене знаниями и пониманием науки о данных.
• Найдите мероприятия и группы по науке о данных в Дубае, ОАЭ: откройте для себя мероприятия и группы по науке о данных в Дубае, ОАЭ, чтобы общаться с людьми, которые разделяют ваши интересы.
• Встреча по искусственному интеллекту (личная): Генеративный искусственный интеллект и LLM — Хэллоуинское издание: Присоединяйтесь к этой встрече по искусственному интеллекту, чтобы обсудить технические вопросы о генеративном искусственном интеллекте и моделях большого языка (LLM), включая инструменты с открытым исходным кодом и лучшие практики.
• ChatGPT Unleashed: живая демонстрация и лучшие практики NLP: на этом онлайн-мероприятии рассматриваются способы тонкой настройки моделей большого языка и демонстрируется практическое применение ChatGPT и LLM.
• Найдите мероприятия и группы по науке о данных в Пуне, Индиана: изучайте онлайн или личные мероприятия и группы, связанные с наукой о данных, в Пуне, Индиана.
• Группа разработчиков DC AI/ML/Data | Встреча: цель этой группы — объединить энтузиастов искусственного интеллекта в округе Колумбия для изучения и практики технологий искусственного интеллекта, включая искусственный интеллект, машинное обучение, глубокое обучение и науку о данных.
• Бостонская группа разработчиков AI/LLM/ChatGPT | Встреча: присоединяйтесь к этой группе в Бостоне, чтобы изучать и практиковать технологии искусственного интеллекта, такие как LLM, ChatGPT, машинное обучение, глубокое обучение и наука о данных.
• Париж НЛП | Встреча: эта встреча посвящена применению обработки естественного языка (НЛП) в различных областях, обсуждению методов, исследований и приложений как традиционных, так и современных подходов НЛП.
• Группа разработчиков SF AI/LLM/ChatGPT | Встреча: общайтесь с энтузиастами искусственного интеллекта в районе Сан-Франциско и залива, чтобы изучить и попрактиковаться в технологиях искусственного интеллекта, включая LLM, ChatGPT, NLP, машинное обучение, глубокое обучение и науку о данных.
• Встреча по искусственному интеллекту (личная): GenAI и LLM для здравоохранения: посетите этот технический доклад о применении LLM в здравоохранении и узнайте о быстрых победах в использовании LLM для задач, связанных со здоровьем.

Слайды и презентации

• Точная настройка больших языковых модулей: презентация, в которой обсуждается процесс тонкой настройки больших языковых моделей, таких как GPT, BERT и RoBERTa.
• LLaMa 2.pptx: слайды, представляющие LLaMa 2, мощный преемник модели большого языка, разработанный Meta AI.
• LLM.pdf: Презентация, посвященная роли преобразователей в НЛП, от BERT до GPT-3.
• Учебный курс по большим языковым моделям: слайды учебного курса охватывают различные аспекты больших языковых моделей, включая обучение с нуля и тонкую настройку.
• БАК, объясненный CNN: слайды, объясняющие БАК (Большой адронный коллайдер) с использованием CNN и точной настройки моделей изображений.
• Использование больших языковых моделей в 10 строках кода: презентация, демонстрирующая, как использовать большие языковые модели всего в 10 строках кода.
• LLaMA-Adapter: Эффективная точная настройка языковых моделей с нулевой инициализацией.pdf: Слайды, обсуждающие LLaMA-Adapter, эффективный метод точной настройки языковых моделей с нулевой инициализацией.
• Введение в LLM: презентация, знакомящая с большими языковыми моделями, включая базовые модели и тонкую настройку с помощью пар быстрого завершения.
• LLM Fine-Tuning (東大松尾研LLM講座 Day5資料) — Доклад докладчиков: слайды, используемые для лекции по точной настройке больших языковых моделей, специально для 東大松尾研サマースクール2023.
• Автоматизируйте свою работу и бизнес с помощью ChatGPT № 3: презентация, в которой обсуждаются основы ChatGPT и его приложений для автоматизации работы и бизнес-задач.
• Раскрытие возможностей генеративного искусственного интеллекта. Руководство для руководителей.pdf — руководство, объясняющее процесс тонкой настройки моделей большого языка (LLM) для их адаптации к потребностям организации.
• Точная настройка и внедрение моделей НЛП Hugging Face | PPT — презентация, в которой рассказывается о том, как создавать и развертывать модели LLM с использованием НЛП Hugging Face.
• 大規模言語モデル時代のHuman-in-the-Loop機械学習 — Панель докладчиков — слайд-панель, обсуждающая процесс тонкой настройки языковых моделей для поиска согласия между людьми с различными предпочтениями.
• Серия AI и ML: введение в генеративный искусственный интеллект и LLM | PPT — презентация, знакомящая с генеративным искусственным интеллектом и LLM, включая их использование в конкретных приложениях.
• Поисковая дополненная генерация на практике: масштабируемый GenAI… — презентация, в которой обсуждаются варианты использования генеративного ИИ, ограничения больших языковых моделей, а также использование поисковой дополненной генерации (RAG) и методов тонкой настройки.
• Финал презентации LLM | PPT — презентация, посвященная Закону об агентствах по делам детей и семьи 2013 года и принципу наилучших интересов в контексте программ LLM.
• Адаптации парадигмы LLM в рекомендательных системах.pdf — PDF-файл, объясняющий процесс тонкой настройки и объективные адаптации в рекомендательных системах на основе LLM.
• Разговорный искусственный интеллект с моделями-трансформерами | PPT — презентация, посвященная использованию моделей-трансформеров в приложениях диалогового искусственного интеллекта.
• Лама-индекс | PPT — презентация о развитии LLM и создании приложений на основе LLM.
• LLaMA-Адаптер: эффективная точная настройка языковых моделей с нулевой инициализацией.pdf — PDF-файл, в котором обсуждается эффективная точная настройка языковых моделей с нулевой инициализацией с использованием LLaMA.

Подкасты

• Практический искусственный интеллект: машинное обучение, наука о данных. Делаем искусственный интеллект практичным, продуктивным и доступным для всех. Примите участие в оживленных дискуссиях об искусственном интеллекте, машинном обучении, глубоком обучении, нейронных сетях и многом другом. Доступная информация и реальные сценарии как для новичков, так и для опытных практиков.
• Градиентное несогласие: изучение машинного обучения, искусственного интеллекта, глубокого обучения. Загляните за кулисы и узнайте у лидеров отрасли о том, как они реализуют глубокое обучение в реальных сценариях. Получите представление о индустрии машинного обучения и оставайтесь в курсе последних тенденций.
• Weaviate Podcast - Присоединяйтесь к Коннору Шортену для серии подкастов Weaviate, в котором представлены интервью с экспертами и дискуссии по темам, связанным с ИИ.
• Скрытое пространство: подкаст ИИ Инженер - CodeGen, агенты, компьютерное зрение, наука о данных, AI UX и все вещи Software 3.0 - Погрузитесь в мир ИИ Инженерный в ai ux.
• Неконтролируемое обучение - Получите представление о быстро развивающемся ландшафте ИИ и его влиянии на предприятия и мир. Исследуйте дискуссии о приложениях LLM, тенденциях и нарушениях технологий.
• Подкаст Twiml AI (ранее на этой неделе в машинном обучении) - глубоко погрузитесь в тонкие подходы, используемые в возможностях и ограничениях ИИ, LLM, и учиться у экспертов в этой области.
• ИИ и будущее работы над подкастами Apple: подкаст, организованный SC Moatti, в котором обсуждается влияние ИИ на будущее работы.
• Практическое искусство ИИ: машинное обучение, наука о данных: тонкая настройка против тряпки: в этом эпизоде ​​исследует сравнение между тонкой настройкой и получением добычи в поиске в машинном обучении и науке о данных.
• Неконтролируемое обучение на Apple Podcasts: в эпизоде ​​20 представлено интервью с генеральным директором Anpropic Дарио Амодеей о будущем AGI и AI.
• Документы читают на AI | Подкаст на Spotify: этот подкаст держит вас в курсе последних тенденций и лучших архитектур в области компьютерных наук.
• В этот день в подкасте AI на Apple Podcasts: охватывая различные темы, связанные с ИИ, этот подкаст предлагает захватывающее представление о мире ИИ.
• Все об оценке приложений LLM // Shahul ES // #179 MLOPS: В этом эпизоде ​​Shahul ES делится своим опытом в области оценки в моделях с открытым исходным кодом, включая понимание отладки, устранения неполадок и критериев.
• AI Daily на Apple Podcasts: Этот подкаст, организованный Коннером, Итаном и Фарбом, исследует увлекательные истории, связанные с ИИ.
• Янник Килчер видео (только аудио) | Подкаст на Spotify: Яннинга Килчер обсуждает исследовательские работы, программирование и более широкое влияние ИИ в обществе.
• MessWrong Curated Podcast | Подкаст на Spotify: аудио -версия постов, разделенных в новостном бюллетене Lesswrong.
• SAI: Подкаст безопасности и искусственного интеллекта на подкастах Apple: эпизод, посвященный программе грантов Openai по кибербезопасности.

---

Эта первоначальная версия потрясающего списка была сгенерирована с помощью потрясающего генератора списков. Это пакет Python с открытым исходным кодом, который использует мощность моделей GPT для автоматического курирования и создания начальных точек для списков ресурсов, связанных с конкретной темой.