oreilly optimizing llms

自然言語生成と GPT の実践

このリポジトリには、自然言語生成と GPT に関する実践的なオライリー ライブ オンライン トレーニングのコードが含まれています

このトレーニングでは、抽象的なテキストの要約や自然言語生成などの NLP タスクに GPT ファミリのモデルがどのように使用されるかに焦点を当てます。トレーニングは、マスクされた自己注意、言語モデル、トランスフォーマーなどの必要な概念の紹介から始まり、その後、それらの概念に基づいて GPT アーキテクチャを紹介します。次に、事前トレーニングされた GPT-2 モデルを使用し、カスタム コーパスでこれらのモデルを微調整する実践例を示しながら、複数の自然言語処理タスクに GPT がどのように使用されるかについて説明します。

GPT モデルは、現在最も関連性の高い NLP アーキテクチャの 1 つであり、BERT などの他の重要な NLP 深層学習モデルと密接に関連しています。これらのモデルはどちらも、新しく発明されたトランスフォーマー アーキテクチャから派生しており、マシンが言語とコンテキストを処理する方法の変曲点を表しています。

オンライン トレーニングの「次世代トランスフォーマー アーキテクチャによる自然言語処理」シリーズでは、最新のアテンション駆動トランスフォーマー アーキテクチャとこれらのモデルは今日の解決に使用されているアプリケーションです。このシリーズのトレーニングはすべて、視覚的な数学的説明、実践的な Jupyter ノートブック デモ内の簡単に適用できる Python の例、NLP モデルで解決可能な最新の問題を取り上げた包括的なケース スタディの組み合わせを通じて、理論と応用を融合させています。

ノート

GPT2 の概要

新しいコーパスの取り込み

GPT2によるマルチタスク学習

ドリー ライト ノートブック

• 元のブログへのリンク：こちら

プロンプトエンジニアリング101

その他のサードパーティ製の微調整された GPT モデル

インストラクター

Sinan Ozdemirは、LoopGenius の創設者兼 CTO であり、最先端の AI を使用して人々がビジネスを立ち上げ、運営できるよう支援しています。シナンはジョンズ・ホプキンス大学のデータ サイエンスの元講師であり、データ サイエンスと機械学習に関する複数の教科書の著者です。さらに、彼は最近買収した、RPA 機能を備えたエンタープライズ グレードの会話型 AI プラットフォームである Kylie.ai の創設者でもあります。彼はジョンズ・ホプキンス大学で純粋数学の修士号を取得しており、カリフォルニア州サンフランシスコに拠点を置いています。