SmallLanguageModel

小語言模型

此儲存庫包含從頭開始建立您自己的 LLM 所需的所有必要項目。只需按照說明操作即可。受到 Karpathy 的 nanoGPT 和莎士比亞生成器的啟發，我創建了這個儲存庫來建立我自己的法學碩士。它包含從模型資料收集到架構文件、分詞器和訓練文件的所有內容。

回購結構

該倉庫包含：

1. 資料收集器：包含目錄的 Web Scrapper，以防您想從頭開始收集資料而不是下載。
2. 資料處理：包含預處理某些類型檔案的程式碼的目錄，例如將 parquet 檔案轉換為 .txt 和 .csv 檔案以及檔案附加程式碼。
3. 模型：包含訓練您自己的模型所需的所有程式碼。 BERT 模型、GPT 模型和 Seq-2-Seq 模型以及分詞器和運行檔案。

先決條件

在設定 SmallLanguageModel 之前，請確保已安裝以下先決條件：

1. Python 3.8 或更高版本
2. pip（Python 套件安裝程式）

使用方法：

請依照以下步驟訓練您自己的分詞器或從訓練後的模型產生輸出：

1. 克隆此存儲庫：

   git clone https://github.com/shivendrra/SmallLanguageModel-project
   cd SLM-clone

2. 安裝依賴項：

   pip install requirements.txt

3. 訓練：閱讀training.md以獲取更多資訊。跟著它。

星史

貢獻

歡迎請求請求。對於重大更改，請先開啟一個問題來討論您想要更改的內容。請確保適當更新測試。

執照

麻省理工學院許可證。查看 License.md 以了解更多資訊。