SmallLanguageModel

小言語モデル

このリポジトリには、独自の LLM を最初から構築するために必要なすべてのアイテムが含まれています。指示に従ってください。 Karpathy の nanoGPT と Shakespeare ジェネレーターからインスピレーションを得て、独自の LLM を構築するためにこのリポジトリを作成しました。モデルのデータ収集からアーキテクチャ ファイル、トークナイザー、トレイン ファイルまですべてが含まれています。

リポジトリ構造

このリポジトリには次のものが含まれます。

1. データ コレクター:ダウンロードではなく最初からデータを収集したい場合に備えて、ディレクトリを含む Web スクラッパー。
2. データ処理:寄木細工のファイルを .txt および .csv ファイルに変換したり、コードを追加したりするなど、特定の種類のファイルを前処理するためのコードが含まれるディレクトリ。
3. モデル:独自のモデルをトレーニングするために必要なコードがすべて含まれています。 BERT モデル、GPT モデル、Seq-2-Seq モデル、トークナイザーおよび実行ファイル。

前提条件

SmallLanguageModel を設定する前に、次の前提条件がインストールされていることを確認してください。

1. Python 3.8以降
2. pip (Python パッケージ インストーラー)

使用方法:

次の手順に従って、独自のトークナイザーをトレーニングするか、トレーニングされたモデルから出力を生成します。

1. このリポジトリのクローンを作成します。

   git clone https://github.com/shivendrra/SmallLanguageModel-project
   cd SLM-clone

2. 依存関係をインストールします。

   pip install requirements.txt

3. トレーニング: 詳細については、training.md をお読みください。それに従ってください。

スターヒス​​トリー

貢献する

プルリクエストは大歓迎です。大きな変更の場合は、まず問題を開いて、変更したい内容について話し合ってください。必要に応じてテストを更新してください。

ライセンス

MITライセンス。詳細については、License.md を確認してください。