FastEdit下载 - FastEdit源码下载

FastEdit

其他源码

v0.0.5

下载

快速编辑⚡？

10秒内编辑大型语言模型

一句话总结

该存储库旨在帮助开发人员使用一个命令有效地将新鲜和定制的知识注入到大型语言模型中。

支持型号

GPT-J (6B)
美洲驼 (7B/13B)
LLaMA-2 (7B/13B)
绽放 (7.1B)
猎鹰 (7B)
百川（7B/13B）
实习生LM (7B)

实现的算法

一级模型编辑（罗马）

要求

Python 3.8+ 和 PyTorch 1.13.1+
?变压器、数据集和加速器
句子和火

硬件要求

模型	尺寸	模式	克	速度
骆驼	7B	FP16	24GB	7秒/它
骆驼	13B	FP16	32GB	9秒/它

入门

数据准备

例如，如果我们想将事实知识“英国首相是Rishi Sunak”插入到LLM中，我们需要准备一个类似于以下格式的json文件。

[
  {
    "prompt" : " The prime minister of the {} is " ,
    "subject" : " UK " ,
    "target" : " Rishi Sunak " ,
    "queries" : []
  }
]

在这种格式中，“提示”字段表示用“{}”代替主题的自然语言描述，其被放置在“主题”字段中。 “目标”字段包含与原始模型预测不同的更新内容。 “查询”字段是可选字段，用于评估通用性，不在训练中使用。

安装

git clone https://github.com/hiyouga/FastEdit.git
conda create -n fastedit python=3.10
conda activate fastedit
cd FastEdit
pip install -r requirements.txt

或者，您可以使用pip install pyfastedit来安装fastedit包。

模型编辑

CUDA_VISIBLE_DEVICES=0 python -m fastedit.editor 
    --data data/example.json 
    --model EleutherAI/gpt-j-6b 
    --config gpt-j-6b 
    --template default

编辑法学硕士：一个案例

我们使用data/example.json中的样本编辑基于 LLaMA-13B 的指令跟随语言模型 Ziya-LLaMA-13B-v1，以验证模型编辑在多语言样本上的有效性，使用默认的超语言参数。

以下是预编辑模型和后编辑模型的生成结果，其中预编辑结果包含过时的事实知识，后编辑结果保留了新的事实知识。

 // pre-edit
The prime minister of the United Kingdom is Boris Johnson .
// post-edit
The prime minister of the United Kingdom is Rishi Sunak .

// pre-edit
The name of prime minister of the UK is Boris Johnson .
// post-edit
The name of prime minister of the UK is Rishi Sunak .

// pre-edit
日本的首相叫作现任日本首相是菅义伟（ Suga Yoshihide ）。
// post-edit
日本的首相叫作岸田文雄。

// pre-edit
日本首相名字是现任日本首相的名字是菅义伟（ Suga Yoshihide ）。
// post-edit
日本首相名字是岸田文雄

您可以运行以下命令来重现上述结果。

CUDA_VISIBLE_DEVICES=0 python -m fastedit.editor 
    --data data/example.json 
    --model path_to_your_ziya_13b_model 
    --config llama-13b 
    --template ziya

待办事项

实现MEMIT算法一次性编辑海量事实知识。
利用 NER 模型自动识别文本中的主题和目标。
探索如何有效地编辑指令跟随模型而不降低性能。

执照

该存储库根据 Apache-2.0 许可证获得许可。

引文

如果这项工作有帮助，请引用为：

 @Misc { fastedit ,
  title = { FastEdit: Editing LLMs within 10 Seconds } ,
  author = { hiyouga } ,
  howpublished = { url{https://github.com/hiyouga/FastEdit} } ,
  year = { 2023 }
}