artkit

自动红队 (ART) 和测试工具包

ARTKIT是由 BCG X 开发的 Python 框架，用于自动化 Gen AI 应用程序的基于提示的测试和评估。

入门

• 请参阅 ARTKIT 文档，了解我们的用户指南、示例、API 参考等。
• 有关贡献的信息，请参阅贡献或访问我们的贡献者指南。
• 我们有针对常见问题的常见问题解答。如需其他信息，请联系 [email protected]。

介绍

ARTKIT 是一个 Python 框架，用于为 Gen AI 应用程序开发自动化的端到端测试和评估管道。通过利用灵活的 Gen AI 模型自动执行测试和评估过程中的关键步骤，ARTKIT 管道可以轻松适应各种 Gen AI 系统的测试和评估需求。

ARTKIT 还支持挑战者机器人和目标系统之间的自动多轮对话。与 Gen AI 系统进行长时间交互后更有可能出现问题和漏洞，因此多轮测试对于交互式应用程序至关重要。

我们建议从我们的用户指南开始学习 ARTKIT 的核心概念和功能。请访问我们的示例，了解如何使用 ARTKIT 来测试和评估 Gen AI 系统：

1. 问答准确度：

   • 从真实文档生成问答黄金数据集，扩充问题以模拟用户输入的变化，并评估系统响应的忠实性、完整性和相关性。

2. 秉承品牌价值观：

   • 实施基于角色的测试来模拟不同的用户与您的系统交互，并评估系统响应的品牌一致性。

3. 公平性：

   • 通过系统地修改一组文档中的人口统计指标来运行反事实实验，并统计评估系统对不良人口统计偏差的响应。

4. 安全：

   • 使用对抗性提示增强来增强从提示库中提取的对抗性提示，并评估拒绝参与对抗性输入的系统响应。

5. 安全：

   • 利用多轮攻击者执行多轮策略，从聊天机器人中提取系统提示，挑战系统对提示渗漏的防御能力。

这些只是 ARTKIT 可用于测试和评估 Gen AI 系统的熟练程度、公平性、安全性和保障性的多种方式的几个示例。

主要特点

ARTKIT 的美妙之处在于它可以让您用很少的资源做很多事情：一些简单的函数和类支持开发快速、灵活、适合用途的管道，用于测试和评估您的 Gen AI 系统。主要特点包括：

• 简单的 API： ARTKIT 提供了一小组简单但强大的功能，支持定制管道来测试和评估几乎任何 Gen AI 系统。
• 异步：利用异步处理来加速严重依赖 API 调用的进程。
• 缓存：通过缓存 API 响应来减少对外部服务的调用次数，从而管理开发成本。
• 模型无关： ARTKIT 支持连接到主要的 Gen AI 模型提供商，并允许用户开发新的模型类以连接到任何 Gen AI 服务。
• 端到端管道：构建端到端流程以生成测试提示、与目标系统（即正在测试的系统）交互、执行定量评估以及构建报告结果。
• 多轮对话：在目标系统和法学硕士角色之间创建自动交互对话，该角色被编程为与目标系统交互以实现特定目标。
• 强大的数据流：自动跟踪测试和评估管道中的数据流，促进结果中数据沿袭的完全可追溯性。
• 可视化：生成流程图以可视化管道结构并验证系统中的数据流。

笔记

ARTKIT 旨在由数据科学家和工程师定制，以增强人在环测试和评估。我们故意不提供“按钮”解决方案，因为经验告诉我们，有效的测试和评估必须针对每个 Gen AI 用例进行定制。自动化是一种扩展和加速测试和评估的策略，而不是替代特定案例的风险景观图、领域专业知识和批判性思维。

支持的模型提供商

ARTKIT 为以下模型提供者提供开箱即用的支持：

• 人择
• AWS 基岩
• 谷歌的 Gemini 和 Vertex AI
• 格罗克
• 抱脸
• 开放人工智能

要连接到其他服务，用户可以开发新的模型类。

安装

ARTKIT 支持 PyPI 和 Conda 安装。我们建议在专用的虚拟环境中安装 ARTKIT。

点

MacOS 和 Linux：

 python -m venv artkit
源 artkit/bin/activate
pip 安装 artkit

视窗：

 python -m venv artkit
artkit脚本activate.bat
pip 安装 artkit

康达

conda 安装-c conda-forge artkit

可选依赖项

要启用管道流程图的可视化，请安装 GraphViz 并确保它位于系统的 PATH 变量中：

• 对于 MacOS 和 Linux 用户，GraphViz 下载上提供的说明会自动将 GraphViz 添加到您的路径。
• Windows 用户可能需要手动将 GraphViz 添加到您的 PATH（请参阅简化的 Windows 安装过程）。
• 在终端或命令提示符中运行dot -V以验证安装。

环境变量

大多数 ARTKIT 用户需要访问外部模型提供商（例如 OpenAI 或 Hugging Face）的服务。

我们推荐的方法是：

1. 使用pip安装python-dotenv ：

 pip 安装 python-dotenv

或conda ：

 conda 安装-c conda-forge python-dotenv

2. 在项目根目录中创建一个名为.env的文件。
3. 将.env添加到您的.gitignore以确保它不会提交到您的 Git 存储库。
4. 在.env中定义环境变量，例如API_KEY=your_api_key
5. 在 Python 脚本或笔记本中，使用以下命令加载环境变量：

 from dotenv import load_dotenv
load_dotenv ()

# Verify that the environment variable is loaded
import os
os . getenv ( 'YOUR_API_KEY' )

ARTKIT 存储库在项目根目录中包含一个名为.env_example的示例文件，该文件提供了用于定义环境变量的模板，包括支持的 API 的占位符凭据。

为了鼓励安全存储凭证，ARTKIT 模型类不直接接受 API 凭证，而是需要定义环境变量。例如，如果您的 OpenAI API 密钥存储在名为OPENAI_API_KEY的环境变量中，您可以像这样初始化 OpenAI 模型类：

 import artkit . api as ak

ak . OpenAIChat (
    model_id = "gpt-4o" ,
    api_key_env = "OPENAI_API_KEY"
    )

api_key_env变量接受环境变量的名称作为字符串，而不是直接接受 API 密钥作为参数，这降低了代码存储库中意外暴露 API 密钥的风险，因为密钥不会存储为可打印的 Python 对象。

快速入门

ARTKIT 的核心功能是：

1. run ：执行一个或多个管道步骤
2. step ：生成字典或字典可迭代的单个管道步骤
3. chain ：一组按顺序运行的步骤
4. parallel ：一组并行运行的步骤

下面，我们通过以下步骤开发一个简单的示例管道：

1. 重新表述输入提示以具有指定的语气，“礼貌”或“讽刺”
2. 将重新措辞的提示发送到名为 AskChad 的聊天机器人，该机器人经过编程以反映用户的语气
3. 根据“讽刺”指标评估响应

首先，导入artkit.api并设置与 OpenAI GPT-4o 模型的会话。下面的代码假设您有一个 OpenAI API 密钥存储在名为OPENAI_API_KEY的环境变量中，并且您希望将响应缓存在名为cache/chat_llm.db的数据库中。

 import artkit . api as ak

# Set up a chat system with the OpenAI GPT-4o model
chat_llm = ak . CachedChatModel (
    model = ak . OpenAIChat ( model_id = "gpt-4o" ),
    database = "cache/chat_llm.db"
)

接下来，定义一些将用作管道步骤的函数。 ARTKIT 设计为与异步生成器配合使用以允许异步处理，因此下面的函数是使用async 、 await和yield关键字定义的。

 # A function that rephrases input prompts to have a specified tone
async def rephrase_tone ( prompt : str , tone : str , llm : ak . ChatModel ):

    response = await llm . get_response (
        message = (
            f"Your job is to rephrase in input question to have a { tone } tone. n "
            f"This is the question you must rephrase: n { prompt } "
        )
    )

    yield { "prompt" : response [ 0 ], "tone" : tone }


# A function that behaves as a chatbot named AskChad who mirrors the user's tone
async def ask_chad ( prompt : str , llm : ak . ChatModel ):

    response = await llm . get_response (
        message = (
            "You are AskChad, a chatbot that mirrors the user's tone. "
            "For example, if the user is rude, you are rude. "
            "Your responses contain no more than 10 words. n "
            f"Respond to this user input: n { prompt } "
        )
    )

    yield { "response" : response [ 0 ]}


# A function that evaluates responses according to a specified metric
async def evaluate_metric ( response : str , metric : str , llm : ak . ChatModel ):

    score = await llm . get_response (
        message = (
            f"Your job is to evaluate prompts according to whether they are { metric } . "
            f"If the input prompt is { metric } , return 1, otherwise return 0. n "
            f"Please evaluate the following prompt: n { response } "
        )
    )

    yield { "evaluation_metric" : metric , "score" : int ( score [ 0 ])}

接下来，定义一个管道，根据两种不同的语气（礼貌和讽刺）重新表述输入提示，将重新表述的提示发送给 AskChad，最后评估讽刺的响应。

 pipeline = (
    ak . chain (
        ak . parallel (
            ak . step ( "tone_rephraser" , rephrase_tone , tone = "POLITE" , llm = chat_llm ),
            ak . step ( "tone_rephraser" , rephrase_tone , tone = "SARCASTIC" , llm = chat_llm ),
        ),
        ak . step ( "ask_chad" , ask_chad , llm = chat_llm ),
        ak . step ( "evaluation" , evaluate_metric , metric = "SARCASTIC" , llm = chat_llm )
    )
)

pipeline . draw ()

最后，使用输入提示运行管道并将结果显示在表中。

 # Input to run through the pipeline
prompt = { "prompt" : "What is a fun activity to do in Boston?" }

# Run pipeline
result = ak . run ( steps = pipeline , input = prompt )

# Convert results dictionary into a multi-column dataframe
result . to_frame ()

结果表从左到右依次为：

1. input ：原来的输入提示
2. tone_rephraser ：改写的提示，将原始提示改写为具有指定的语气
3. ask_chad ：来自 AskChad 的响应，反映了用户的语气
4. evaluation ：SARCASTIC指标的评价分数，用1标记讽刺反应

有关 ARTKIT 的完整介绍，请访问我们的用户指南和示例。

贡献

欢迎并感谢对 ARTKIT 的贡献！请参阅贡献者指南部分以获取信息。

执照

该项目根据 Apache 2.0 获得许可，允许免费使用、修改和分发，并增加了针对专利诉讼的保护。有关更多详细信息，请参阅许可证文件或访问 Apache 2.0。

卡介苗X

BCG X 是波士顿咨询集团的技术构建和设计部门。

我们一直在寻找有才华的数据科学家和软件工程师加入我们的团队！请访问 BCG X 职业以了解更多信息。