PromptoLab

促进

PromptOlab是用于编目，评估，测试和改进LLM提示的跨平台桌面应用程序。它为交互式提示开发和测试集管理器提供了一个操场，用于系统提示测试。

关键功能

• 提示目录：使用三个不同的提示类别无缝定义和组织提示。该集中式中心可确保您的提示始终可访问和结构良好，以便于重复使用。

• LLM操场：通过两种动态选项进行实验。选择使用三种已验证的提示模式之一，从目录中提交选定的提示或请求对给定提示的改进。通过选择首选的LLM型号并调整三个关键LLM控制参数来进一步自定义您的体验。支持在提示中对{{variable}}语法进行支持，可以通过交互式变量表快速测试提示变化。

• 提示测试集管理器：简化生成AI应用程序中复杂系统提示的测试。定义和管理测试用例，以确保您的系统及时指导LLM在各种用户提示之间有效地响应。

• 评估游乐场：轻松评估及时调整的影响。该功能强大的工具可帮助您评估对系统提示的修改是否增强或阻碍各种用户场景中的LLM响应，从而使您有信心优化精确。

借助Pressolab，导航及时设计的复杂性从未如此直观或令人兴奋。准备优化提示的性能了吗？

先决条件

• Python 3.10或更高
• 以下LLM后端之一：
  • LLM命令行工具

    pip install llm

  • Litellm图书馆

    pip install litellm (NOTE: not needed because it is already defined inside requirements.txt)

• 用于存储LLM后端首选项的QSETTINGS配置

安装

1. 克隆存储库：

   git clone https://github.com/crjaensch/PromptoLab.git
   cd PromptoLab

2. 创建并激活虚拟环境：

   python3 -m venv venv
   source venv/bin/activate  # On Windows: venvScriptsactivate

3. 安装依赖项：

   python3 -m pip install -r requirements.txt

配置

PromptOlab使用QT的本机配置系统（QSETTINGS）来坚持LLM后端首选项。设置将自动保存并在应用程序启动之间恢复，并针对每个平台进行了优化的存储位置：

• Windows：注册表
• macos：.plist文件
• Linux：INI风格的文件

您可以通过应用程序接口配置首选的LLM后端和API设置。可用以下选项：

• LLM后端：在llm命令行工具或LITELLM库之间进行选择

• API配置：使用LITELLM时为您首选的LLM型号提供API键，例如：

  • OpenAI API键
  • GROQ API键
  • Google Gemini API密钥

• 请注意，本地安装的LLM，例如通过Ollama，支持Litellm。

运行应用程序

1. 确保激活您的虚拟环境：

    source venv/bin/activate  # On Windows: venvScriptsactivate

2. 运行应用程序：

    # If inside PromptoLab, then move to the parent directory
   cd ..
   python3 -m PromptoLab

应用程序屏幕截图

这是启示录的主要特征的快速视觉概述：

提示目录

LLM操场 - 提交提示

LLM操场 - 提交提示与变量

LLM操场 - 改进提示

测试集管理器

评估游乐场

评估结果报告

发展

该项目使用：

• Pyside6用于GUI启用跨平台使用
• 西蒙·威利森（Simon Willison）的llm互动工具
• Berriai的litellm图书馆
• Python的内置venv用于环境管理

执照

该项目已根据MIT许可获得许可。请参阅存储库中的许可证文件以获取完整的许可文本。