lad gpt

WhatsApp チャットで言語モデルをトレーニングする

概要

このリポジトリは、WhatsApp チャット メッセージのみに基づいて文字レベルまたは単語レベルの言語モデルのトレーニングを容易にします。モデルのトレーニング後、Whatsapp でトレーニングされたチャット グループとの合成会話を開始できます。

• チャット メッセージ: Mio キャラクターが 8 人を超えるグループの Whatsapp チャットでモデルを非公開でトレーニングしました。 assets/input/chat.txtは単なるプレースホルダーであり、チャット メッセージの実際のコーパスに置き換えられます。
• 言語モデル:このモデルは、Vaswani et の「Attending Is All You Need」(2017) で導入されたアーキテクチャに厳密に従っています。また、モデルの pytorch 実装は、Andrew Kaparty によるビデオ チュートリアルに大きく影響を受けています。
• 結果:私が個人的にトレーニングしたモデルの全体的なパフォーマンスは明らかに sota 言語モデルと比較できませんが、生成されたテキストは明らかに認識可能な言語パターンと語彙を示しています。

フォルダー構造

 |-- assets
|   |-- input
|   |   |-- chat.txt
|   |-- output
|   |   |-- contacts.txt
|   |   |-- vocab.txt
|   |   |-- train.pt
|   |   |-- valid.pt
|   |-- models
|   |   |--model.pt
|-- src
|   |-- chat.py
|   |-- model.py
|   |-- preprocess.py
|   |-- train.py
|   |-- utils.py
|-- config.py
|-- run.py

資産の説明:

• assets/input/chat.txt:入力ファイルは、エクスポートされた WhatsApp チャット (メディアなし) である必要があります。
• assets/output/:エンコードされたトレーニング/検証データとトレーニングされたモデルがこの場所に書き込まれます。
• assets/models/model.pt:トレーニングされた pytorch モデル オブジェクト。

モジュールの説明:

• src/preprocess.py:チャット メッセージをエンコードされた PyTorch テンソルに変換します。データはトレーニング セットと検証セットに分割されます。
• src/model.py:言語モデルクラスを定義します。
• src/train.py:言語モデルをトレーニングするためのコードが含まれています。
• src/chat.py:モデルとの会話対話のための関数が含まれています。
• src/utils.py:その他の便利なユーティリティ関数。
• run.py: 3 つのアクション (「前処理」、「トレーニング」、「チャット」) のいずれかを呼び出すための引数パーサーを含むメイン スクリプト。
• config.py:前処理とモデルのトレーニング用のパラメーターが記録されます。

始め方

インストール:

 git clone https://github.com/bernhard-pfann/lad-gpt.git
cd lad-gpt
pip install -r requirements.txt

このプロジェクトを最大限に活用するには、WhatsApp チャットからのメッセージを含む .txt ファイルが必要です。 WhatsApp グループ チャットを .txt ファイルにエクスポートする手順は次のとおりです。

Android ユーザーの場合:

1. WhatsApp を開いてグループ チャットに移動する: Android デバイスで WhatsApp アプリケーションを開き、エクスポートするグループ チャットに移動します。
2. 3 つの点をタップします。これらは通常、チャット ウィンドウの右上隅にあります。
3. 詳細 -> チャットのエクスポート: ドロップダウンから [詳細] を選択し、[チャットのエクスポート] を選択します。
4. メディアなしを選択: メディアを含めるか除外するオプションが表示されます。テキストメッセージのみをエクスポートするには、「メディアなし」を選択します。
5. エクスポート方法の選択: チャットをエクスポートする方法を選択するよう求められます。これを電子メールに送信し、そこから .txt ファイルとしてダウンロードできます。

iPhone ユーザーの場合:

1. WhatsApp を開いてグループ チャットに移動する: iPhone で WhatsApp アプリケーションを開き、エクスポートするグループ チャットに移動します。
2. グループ名をタップします。これはチャット ウィンドウの上部にあり、[グループ情報] に移動します。
3. 下にスクロールしてチャットをエクスポート: 下にスクロールすると、「チャットをエクスポート」オプションが表示されます。それをタップしてください。
4. メディアなしを選択: メディア ファイルを含めるかどうかを尋ねるポップアップが表示されます。 「メディアなし」を選択します。
5. エクスポート方法の選択: チャットをエクスポートするオプション (メールなど) を選択します。その後、電子メールからテキスト ファイルをダウンロードできます。

.txt ファイルを取得したら、 chat.txtという名前で、 assets/inputディレクトリに配置します。これで準備完了です！

端末の説明

入力データが配置されたら、チャットを数値テンソルにエンコードする必要があります。エンコードされたデータもトレーニング セットと検証セットに分割されます。

 python run.py preprocess

エンコードされたチャット データのみに基づいて、言語モデルを最初からトレーニングすること。既存のモデルのトレーニングを続行する場合は、 --updateを設定します。

 python run.py train --update

トレーニングされたモデルとのチャットを開始するには:

 python run.py chat