バイオリン弾きの監査人

大規模な言語モデルの監査が簡単になりました。

フィドラー監査人とは何ですか?

言語モデルを使用すると、企業は革新的なアプリケーションを構築および起動して、生産性を向上させ、顧客満足度を向上させることができます。しかし、LLM は幻覚を見せたり、ユーザーに害を及ぼす可能性のある敵対的な反応を生成したり、指示の有無にかかわらず、訓練された個人情報を漏らしたりする可能性があることが知られています。 ML チームとソフトウェア アプリケーション チームにとって、LLM と NLP モデルを立ち上げる前に、これらのリスクと弱点を最小限に抑えることがこれまで以上に重要です。そのため、運用前に言語モデルを徹底的に監査するプロセスを組み込むことが重要です。 Fiddler Auditor を使用すると、LLM と NLP モデルをテストし、モデルの弱点を特定し、本番環境にデプロイする前に潜在的な敵対的な結果を軽減できます。

特徴と機能

Fiddler Auditor のサポート

• 即時の混乱を伴うユースケース向けのレッドチーム LLM
• LangChain との統合
• カスタム評価指標
• 生成的および判別的 NLP モデル
• LLM の比較

text-davinci-003 に対して Fiddler Auditor によって生成されたレポートの例。

インストール

PyPIから

Auditor は PyPI で利用でき、Python 3.8 以降でテストします。仮想Python環境を作成し、次のコマンドを使用してインストールすることをお勧めします。

pip install fiddler-auditor

ソースから

次のコマンドを使用して、このリポジトリを複製した後、ソースからインストールできます。

pip install . 

クイックスタートガイド

• Fiddler Auditor クイックスタート
• カスタムメトリクスを使用して LLM を評価する
• カスタム変換による即時インジェクション攻撃

貢献

進化する言語モデルをサポートするために、このライブラリを継続的に更新しています。

• Fiddler Auditor への提案や PR という形での貢献は大歓迎です。
• バグが発生した場合は、お気軽にこのリポジトリで問題を報告してください。

詳しい手順については、貢献ガイドに従ってください。

コミュニティ

• 質問やサポートが必要な場合は、Fiddler コミュニティに参加してください
• Fiddler Resources Library で最新のガイド、ビデオ、研究を発見してください
• Twitter をフォローして最新情報を入手してください
• 月刊ニュースレターを購読する
• デモをリクエストする