End to End LLM

Комплексный учебный курс LLM

Комплексный учебный курс LLM (большая языковая модель) разработан с учетом реальной ситуации и соответствует парадигме конвейера обработки, разработки и развертывания данных. Участники знакомятся с рабочим процессом предварительной обработки набора данных openassistant-guanaco для задачи «Генерация текста» и обучения набора данных с использованием модели LLAMA 2 7Billion, предварительно обученного и точно настроенного LLM. Участники также научатся оптимизировать LLM с помощью NVIDIA® TensorRT™ LLM, SDK для высокопроизводительного вывода моделей на больших языках, понимать подсказки и ответы ограждений модели LLM с помощью NVIDIA NeMo Guardrails и развертывать конвейер искусственного интеллекта с помощью NVIDIA TensorRT LLM Backend. (на базе Triton™ Inference Server), программного обеспечения с открытым исходным кодом, которое стандартизирует развертывание и выполнение LLM для каждой рабочей нагрузки.

Содержание учебного курса

Этот контент содержит три лабораторных работы, а также блокнот с заданиями:

• Лабораторная работа 1: Точная настройка Llama2 с использованием пользовательских данных
• Лабораторная работа 2. Создание движка TensorRT с использованием модели Finetune.
• Лабораторная работа 3. Развертывание модели Finetune с использованием сервера вывода Triton.
• Вызов лаборатории
• Применение ограждений (скоро)

Инструменты и фреймворки

В материале Bootcamp используются следующие инструменты и платформы:

• NVIDIA НеМо™
• NVIDIA ТензорРТ™
• Сервер вывода NVIDIA Triton™

Продолжительность обучения

Общий материал Bootcamp займет примерно 7 часов 30 минут. Мы рекомендуем разделить изучение материала на два дня, охватывая Лабораторную работу 1–3 на одном занятии, а остальную часть на следующем занятии.

Развертывание материала Bootcamp

Чтобы развернуть лаборатории, обратитесь к руководству по развертыванию, представленному здесь.

Атрибуция

Этот материал взят из репозитория OpenHackathons Github. Дополнительные материалы смотрите здесь

Не забудьте просмотреть дополнительные ресурсы по открытым хакатонам и присоединиться к нашему каналу OpenACC и Hackathons Slack, чтобы поделиться своим опытом и получить дополнительную помощь от сообщества.

Лицензирование

Авторские права © 2024 OpenACC-Standard.org. Этот материал выпущен OpenACC-Standard.org в сотрудничестве с корпорацией NVIDIA в соответствии с Creative Commons Attribution 4.0 International (CC BY 4.0). Эти материалы могут включать ссылки на аппаратное и программное обеспечение, разработанное другими организациями; применяются все применимые лицензии и авторские права.