提琴手审计员

审核大型语言模型变得容易！

什么是 Fiddler 审核员？

语言模型使公司能够构建和推出创新应用程序，以提高生产力并提高客户满意度。然而，众所周知，法学硕士可能会产生幻觉，产生可能伤害用户的对抗性反应，甚至在有提示或无提示时暴露他们接受过培训的私人信息。对于机器学习和软件应用团队来说，在推出法学硕士和自然语言处理模型之前最大限度地减少这些风险和弱点比以往任何时候都更加重要。因此，在生产之前包含一个彻底审核语言模型的流程对您来说非常重要。 Fiddler Auditor 使您能够测试 LLM 和 NLP 模型，识别模型中的弱点，并在将其部署到生产之前减轻潜在的对抗结果。

特性和功能

Fiddler Auditor 支持

• 为您的用例红队法学硕士，并及时进行扰动
• 与浪链集成
• 自定义评估指标
• 生成和判别 NLP 模型
• 法学硕士比较

Fiddler Auditor 为 text-davinci-003 生成的示例报告。

安装

来自 PyPI

Auditor 可在 PyPI 上使用，我们在 Python 3.8 及更高版本上进行测试。我们建议创建虚拟 python 环境并使用以下命令进行安装

pip install fiddler-auditor

从源头

您可以使用以下命令克隆此存储库后从源安装

pip install . 

快速入门指南

• Fiddler 审核器快速入门
• 使用自定义指标评估法学硕士
• 通过自定义转换进行提示注入攻击

贡献

我们不断更新这个库以支持语言模型的发展。

• 欢迎以建议和 PR 的形式向 Fiddler Auditor 做出贡献！
• 如果您遇到错误，请随时在此存储库中提出问题。

有关分步说明，请遵循贡献指南。

社区

• 如有问题和支持，请加入 Fiddler 社区
• 通过 Fiddler 资源库发现最新的指南、视频和研究
• 在 Twitter 上关注我们，随时了解最新动态
• 订阅我们的每月通讯
• 请求演示