lad gpt

在 WhatsApp 聊天中训练语言模型

概述

该存储库有助于仅基于 WhatsApp 聊天消息的字符级或单词级语言模型的训练。模型训练结束后，人们可以在 Whatsapp 聊天组上与受过训练的人开始一场综合对话。

• 聊天消息：我私下对模型进行了关于来自超过 8 个 Mio 字符的群组的 Whatsapp 聊天的训练。 assets/input/chat.txt只是一个占位符，将替换为实际的聊天消息语料库。
• 语言模型：该模型紧密遵循 Vaswani 等人在“Attention Is All You Need”（2017）中介绍的架构。 al.. 该模型的 pytorch 实现很大程度上受到 Andrew Kaparty 的视频教程的启发。
• 结果：虽然我的私人训练模型的整体性能显然无法与 sota 语言模型相比，但生成的文本清楚地展示了可识别的语言模式和词汇。

文件夹结构

 |-- assets
|   |-- input
|   |   |-- chat.txt
|   |-- output
|   |   |-- contacts.txt
|   |   |-- vocab.txt
|   |   |-- train.pt
|   |   |-- valid.pt
|   |-- models
|   |   |--model.pt
|-- src
|   |-- chat.py
|   |-- model.py
|   |-- preprocess.py
|   |-- train.py
|   |-- utils.py
|-- config.py
|-- run.py

资产描述：

• assets/input/chat.txt:输入文件需要是导出的 WhatsApp 聊天记录（无媒体）。
• assets/output/:编码的训练/验证数据和训练后的模型将被写入此位置。
• assets/models/model.pt:经过训练的 pytorch 模型对象。

模块说明：

• src/preprocess.py:将聊天消息转换为编码的 PyTorch 张量。数据分为训练集和验证集。
• src/model.py:定义语言模型类。
• src/train.py:包含用于训练语言模型的代码。
• src/chat.py:包含与模型进行对话交互的函数。
• src/utils.py:其他有用的实用函数。
• run.py:带有参数解析器的主脚本，用于调用三个操作（“预处理”、“训练”、“聊天”）中的任何一个。
• config.py:记录预处理和模型训练的参数。

如何开始

安装：

 git clone https://github.com/bernhard-pfann/lad-gpt.git
cd lad-gpt
pip install -r requirements.txt

要充分利用此项目，您需要一个包含 WhatsApp 聊天消息的 .txt 文件。以下是将 WhatsApp 群聊导出到 .txt 文件的步骤：

对于安卓用户：

1. 打开 WhatsApp 并导航至群聊：在 Android 设备上打开 WhatsApp 应用程序，然后转至您要导出的群聊。
2. 点击三个点：它们通常位于聊天窗口的右上角。
3. 更多 -> 导出聊天：从下拉列表中选择“更多”，然后选择“导出聊天”。
4. 选择不带媒体：您将可以选择包含或排除媒体。选择“无媒体”仅导出短信。
5. 选择导出方法：系统将提示您选择导出聊天的方式。您可以将其发送到您的电子邮件，然后从那里将其下载为 .txt 文件。

对于 iPhone 用户：

1. 打开 WhatsApp 并导航至群聊：在 iPhone 上打开 WhatsApp 应用程序并导航至您要导出的群聊。
2. 点击群组名称：位于聊天窗口顶部，可转到“群组信息”。
3. 向下滚动并导出聊天：向下滚动，您将看到“导出聊天”选项。点击它。
4. 选择不带媒体：将出现一个弹出窗口，询问您是否要包含媒体文件。选择“无媒体”。
5. 选择导出方法：选择导出聊天的选项，例如通过邮件。然后，您可以从电子邮件中下载文本文件。

获得 .txt 文件后，将其放置在assets/input目录中，名为chat.txt 。然后你就可以出发了！

终端指令

输入数据到位后，需要将聊天内容编码为数值张量。编码数据也分为训练集和验证集：

 python run.py preprocess

仅基于编码的聊天数据从头开始训练语言模型。如果您想继续训练已有的模型，请设置--update 。

 python run.py train --update

要与经过训练的模型发起聊天：

 python run.py chat