ステアリングのベクトル

ステアリングベクトル

ステアリング ベクトル / Pytorch / Huggingface でのトランスフォーマー言語モデルの表現エンジニアリング

ノートブックの例をご覧ください。

完全なドキュメント: https://steering-vectors.github.io/steering-vectors

について

このライブラリは、GPT、LLaMa、Gemma、Mistral、Pythia などの Huggingface の言語モデル (LM) にステアリング ベクトルをトレーニングして適用するためのユーティリティを提供します。

このライブラリは、次の 2 つの論文のアイデアとコードからインスピレーションを得ています。ステアリング ベクトルと表現エンジニアリングの詳細については、次の作品をチェックしてください。

• Contrastive Activation Addition による Llama 2 のステアリング Rimsky et al.、2023
• 表現エンジニアリング: AI の透明性へのトップダウン アプローチ Zou 他、2023

インストール

 pip install steering-vectors

使用方法の詳細については、完全なドキュメントを参照してください。

貢献する

このプロジェクトを改善するための貢献は大歓迎です。バグ修正/変更/改善がある場合は、このリポジトリで問題またはプル リクエストを開いてください。

このプロジェクトでは、コードのフォーマットとリンティングに Ruff を、型チェックに MyPy を、テストに Pytest を使用します。送信した変更が PR でこれらのコード チェックに合格することを確認してください。これらを実行するのに問題がある場合は、遠慮なくプルリクエストを開いてください。PR でさらに詳しく議論できます。

ライセンス

このコードは MIT ライセンスに基づいてリリースされています。