转向向量

转向向量

Pytorch / Huggingface 中 Transformer 语言模型的引导向量 / 表示工程

查看我们的示例笔记本。

完整文档：https://steering-vectors.github.io/steering-vectors

关于

该库提供了用于训练转向向量并将其应用于 Huggingface 语言模型 (LM) 的实用程序，例如 GPT、LLaMa、Gemma、Mistral、Pythia 等等！

该库的灵感来自以下两篇论文的想法和代码。有关转向向量和表示工程的更多信息，请查看这些作品：

• 通过对比激活附加来引导 Llama 2 Rimsky 等人，2023
• 表示工程：一种自上而下的 AI 透明度方法 Zou 等人，2023

安装

 pip install steering-vectors

查看完整文档以获取更多使用信息。

贡献

欢迎为改进该项目做出任何贡献！请在此存储库中提出问题或拉取请求，其中包含您所拥有的任何错误修复/更改/改进。

该项目使用 Ruff 进行代码格式化和 linting，使用 MyPy 进行类型检查，使用 Pytest 进行测试。确保您提交的任何更改都通过 PR 中的这些代码检查。如果您在运行这些程序时遇到困难，请随时提出拉取请求，我们可以在 PR 中进一步讨论。

执照

该代码是根据 MIT 许可证发布的。