轉向向量

轉向向量

Pytorch / Huggingface 中 Transformer 語言模型的引導向量 / 表示工程

查看我們的範例筆記本。

完整文件：https://steering-vectors.github.io/steering-vectors

關於

該庫提供了用於訓練轉向向量並將其應用於 Huggingface 語言模型 (LM) 的實用程序，例如 GPT、LLaMa、Gemma、Mistral、Pythia 等等！

該庫的靈感來自以下兩篇論文的想法和程式碼。有關轉向向量和表示工程的更多信息，請查看這些作品：

• 透過對比激活附加物來引導 Llama 2 Rimsky 等人，2023
• 表示工程：一種自上而下的 AI 透明度方法 Zou 等人，2023

安裝

 pip install steering-vectors

查看完整文件以取得更多使用資訊。

貢獻

歡迎為改進該專案做出任何貢獻！請在此儲存庫中提出問題或拉取請求，其中包含您擁有的任何錯誤修復/更改/改進。

此專案使用 Ruff 進行程式碼格式化和 linting，使用 MyPy 進行類型檢查，使用 Pytest 進行測試。確保您提交的任何變更都通過 PR 中的這些程式碼檢查。如果您在執行這些程式時遇到困難，請隨時提出拉取請求，我們可以在 PR 中進一步討論。

執照

該程式碼是根據 MIT 許可證發布的。