SmallLanguageModel

小语言模型

该存储库包含从头开始构建您自己的 LLM 所需的所有必要项目。只需按照说明操作即可。受到 Karpathy 的 nanoGPT 和莎士比亚生成器的启发，我创建了这个存储库来构建我自己的法学硕士。它包含从模型数据收集到架构文件、分词器和训练文件的所有内容。

回购结构

该仓库包含：

1. 数据收集器：包含目录的 Web Scrapper，以防您想从头开始收集数据而不是下载。
2. 数据处理：包含预处理某些类型文件的代码的目录，例如将 parquet 文件转换为 .txt 和 .csv 文件以及文件附加代码。
3. 模型：包含训练您自己的模型所需的所有代码。 BERT 模型、GPT 模型和 Seq-2-Seq 模型以及分词器和运行文件。

先决条件

在设置 SmallLanguageModel 之前，请确保已安装以下先决条件：

1. Python 3.8 或更高版本
2. pip（Python 包安装程序）

使用方法：

请按照以下步骤训练您自己的分词器或从训练后的模型生成输出：

1. 克隆此存储库：

   git clone https://github.com/shivendrra/SmallLanguageModel-project
   cd SLM-clone

2. 安装依赖项：

   pip install requirements.txt

3. 训练：阅读training.md以获取更多信息。跟着它。

星史

贡献

欢迎请求请求。对于重大更改，请先打开一个问题来讨论您想要更改的内容。请确保适当更新测试。

执照

麻省理工学院许可证。查看 License.md 了解更多信息。