oreilly hands on transformers

Transformers を使用した NLP の実践

このリポジトリには、Transformers を使用したハンズオン NLP のための O'Reilly Live Online Training のコードが含まれています

このトレーニングでは、現在最新の NLP タスクの最先端とみなされている新しいトランスフォーマー アーキテクチャの概要を説明します。アテンションやエンコーダ/デコーダ アーキテクチャを含む自然言語を処理する能力において、トランスフォーマがユニークである理由を深く掘り下げていきます。人々や企業がトランスフォーマーを使用して、会話の保持、画像のキャプション付け、読解などを含むさまざまな NLP タスクを解決している方法の例をいくつか見ていきます。

このトレーニングでは、BERT、GPT、T5、Vision Transformer などのトランスフォーマー派生アーキテクチャのコード駆動の例をいくつか紹介します。私たちの各ケーススタディは実際のユースケースからインスピレーションを得ており、結果を導く実用的な指標を使用しながらプロセスを迅速化するために転移学習に頼っています。

ノート

1. BERT - LLM の始まり
   • BERT の概要
   • BERT と ChatGPT による分類
     • コラボで開く
2. XLNET - 自動エンコーディング モデルをさらに進化させる
   • XLNETによる分類
3. T5 - 指導上の調整の始まり
   • T5 を使用した既製の NLP
4. GPT - LLM はどのようにして会話を学んだのか
   • GPT の概要
   • GPT2 を使用した LaTeX の生成
     • コラボで開く
5. マルチモーダル LLM
   • Vision Transformers による画像キャプション
     • コラボで開く

インストラクター

Sinan Ozdemirは LoopGenius の創設者兼 CTO であり、最先端の AI を使用して人々がビジネスを立ち上げ、運営できるよう支援しています。彼はジョンズ ホプキンス大学でデータ サイエンスの講義を行っており、データ サイエンス、機械学習、生成 AI に関する複数の書籍、ビデオ、多数のオンライン コースを執筆しています。また、最近買収した、RPA 機能を備えたエンタープライズ グレードの会話型 AI プラットフォームである Kylie.ai も設立しました。 Sinan は最近、『大規模言語モデルのクイック ガイド』を出版し、ポッドキャスト オーディオ シリーズである AI Unveiled を開始しました。オズデミールは、ジョンズ・ホプキンス大学で純粋数学の修士号を取得しています。