提琴手審計員

審核大型語言模型變得容易！

什麼是 Fiddler 審核員？

語言模型使公司能夠建立和推出創新應用程序，以提高生產力並提高客戶滿意度。然而，眾所周知，法學碩士可能會產​​生幻覺，產生可能傷害使用者的對抗性反應，甚至在有提示或無提示時暴露他們接受過培訓的私人資訊。對於機器學習和軟體應用團隊來說，在推出法學碩士和自然語言處理模型之前最大限度地減少這些風險和弱點比以往任何時候都更加重要。因此，在生產之前包含一個徹底審核語言模型的流程對您來說非常重要。 Fiddler Auditor 可讓您測試 LLM 和 NLP 模型，識別模型中的弱點，並在將其部署到生產之前減輕潛在的對抗結果。

特性和功能

Fiddler Auditor 支援

• 為您的用例紅隊法學碩士，並及時進行擾動
• 與浪鏈集成
• 自訂評估指標
• 產生和判別 NLP 模型
• 法學碩士比較

Fiddler Auditor 為 text-davinci-003 產生的範例報告。

安裝

來自 PyPI

Auditor 可在 PyPI 上使用，我們在 Python 3.8 及更高版本上進行測試。我們建議建立虛擬 python 環境並使用以下命令進行安裝

pip install fiddler-auditor

從源頭

您可以使用以下命令克隆此儲存庫後從來源安裝

pip install . 

快速入門指南

• Fiddler 審核器快速入門
• 使用自訂指標評估法學碩士
• 透過自訂轉換進行提示注入攻擊

貢獻

我們不斷更新這個函式庫以支援語言模型的發展。

• 歡迎以建議和 PR 的形式向 Fiddler Auditor 做出貢獻！
• 如果您遇到錯誤，請隨時在此存儲庫中提出問題。

有關逐步說明，請遵循貢獻指南。

社群

• 如有問題和支持，請加入 Fiddler 社區
• 透過 Fiddler 資源庫發現最新的指南、影片和研究
• 在 Twitter 上關注我們，隨時了解最新動態
• 訂閱我們的每月通訊
• 請求演示