oreilly optimizing llms
1.0.0
Этот репозиторий содержит код для онлайн-обучения O'Reilly Live по практическому созданию естественного языка и GPT.
Этот тренинг будет посвящен тому, как семейство моделей GPT используется для задач НЛП, включая абстрактное суммирование текста и генерацию естественного языка. Обучение начнется с ознакомления с необходимыми концепциями, включая скрытое внимание к себе, языковые модели и преобразователи, а затем на основе этих концепций будет представлено представление об архитектуре GPT. Затем мы перейдем к тому, как GPT используется для множества задач обработки естественного языка, с практическими примерами использования предварительно обученных моделей GPT-2, а также тонкой настройки этих моделей на пользовательских корпусах.
Модели GPT являются одними из наиболее актуальных архитектур НЛП на сегодняшний день и тесно связаны с другими важными моделями глубокого обучения НЛП, такими как BERT. Обе эти модели основаны на недавно изобретенной архитектуре преобразователя и представляют собой переломный момент в том, как машины обрабатывают язык и контекст.
Серия онлайн-тренингов «Обработка естественного языка с использованием архитектуры трансформаторов следующего поколения» предоставляет всесторонний обзор современных моделей обработки естественного языка (NLP), включая GPT и BERT, которые созданы на основе современной архитектуры преобразователей, управляемой вниманием, и приложения, для решения которых используются эти модели сегодня. Все тренинги этой серии сочетают в себе теорию и применение за счет сочетания наглядных математических объяснений, простых применимых примеров Python в практических демонстрациях ноутбуков Jupyter и комплексных тематических исследований, в которых представлены современные проблемы, решаемые с помощью моделей НЛП.
Введение в GPT2
Прием нового корпуса
Многозадачное обучение с GPT2
Блокнот Долли Лайт
Оперативная инженерия 101
Больше сторонних точно настроенных моделей GPT
Синан Оздемир — основатель и технический директор LoopGenius, где он использует современный искусственный интеллект, чтобы помогать людям создавать и управлять своим бизнесом. Синан — бывший преподаватель науки о данных в Университете Джонса Хопкинса и автор множества учебников по науке о данных и машинному обучению. Кроме того, он является основателем недавно приобретенной Kylie.ai, диалоговой платформы искусственного интеллекта корпоративного уровня с возможностями RPA. Он получил степень магистра чистой математики в Университете Джонса Хопкинса и проживает в Сан-Франциско, Калифорния.
