oreilly hands on transformers

Практические занятия НЛП с Трансформерами

Этот репозиторий содержит код для онлайн-тренинга O'Reilly Live «Практическое обучение НЛП с трансформерами».

Этот тренинг познакомит вас с новой архитектурой преобразователя, которая в настоящее время считается самой современной для современных задач НЛП. Мы углубимся в то, что делает преобразователь уникальным с точки зрения его способности обрабатывать естественный язык, включая внимание и архитектуру кодера-декодера. Мы увидим несколько примеров того, как люди и компании используют преобразователи для решения широкого спектра задач НЛП, включая поддержание разговора, создание подписей к изображениям, понимание прочитанного и многое другое.

В этом тренинге будет представлено несколько примеров архитектур на основе трансформаторов, основанных на коде, включая BERT, GPT, T5 и Vision Transformer. Каждое из наших тематических исследований будет основано на реальных примерах использования и будет опираться на трансферное обучение, чтобы ускорить наш процесс, используя при этом действенные показатели для достижения результатов.

Ноутбуки

1. BERT – начало магистратуры
   • Введение в БЕРТ
   • Классификация с помощью BERT и ChatGPT
     • Открыть в Колабе
2. XLNET — дальнейшее развитие моделей автокодирования
   • Классификация с XLNET
3. Т5 – начало учебного выравнивания
   • Готовое НЛП с Т5
4. GPT – Как студенты магистратуры научились говорить
   • Знакомство с тегом GPT
   • Генерация LaTeX с GPT2
     • Открыть в Колабе
5. Мультимодальные программы LLM
   • Субтитры к изображениям с помощью Vision Transformers
     • Открыть в Колабе

Инструктор

Синан Оздемир — основатель и технический директор компании LoopGenius, где он использует современный искусственный интеллект, чтобы помогать людям создавать и управлять своим бизнесом. Он читал лекции по науке о данных в Университете Джонса Хопкинса и является автором множества книг, видеороликов и многочисленных онлайн-курсов по науке о данных, машинному обучению и генеративному искусственному интеллекту. Он также основал недавно приобретенную Kylie.ai, платформу диалогового искусственного интеллекта корпоративного уровня с возможностями RPA. Совсем недавно Синан опубликовал «Краткое руководство по большим языковым моделям» и запустил серию аудиоподкастов «AI Unveiled». Оздемир получил степень магистра чистой математики в Университете Джонса Хопкинса.