PromptoLab

促進

PromptOlab是用於編目，評估，測試和改進LLM提示的跨平台桌面應用程序。它為交互式提示開發和測試集管理器提供了一個操場，用於系統提示測試。

關鍵功能

• 提示目錄：使用三個不同的提示類別無縫定義和組織提示。該集中式中心可確保您的提示始終可訪問和結構良好，以便於重複使用。

• LLM操場：通過兩種動態選項進行實驗。選擇使用三種已驗證的提示模式之一，從目錄中提交選定的提示或請求對給定提示的改進。通過選擇首選的LLM型號並調整三個關鍵LLM控制參數來進一步自定義您的體驗。支持在提示中對{{variable}}語法進行支持，可以通過交互式變量表快速測試提示變化。

• 提示測試集管理器：簡化生成AI應用程序中復雜系統提示的測試。定義和管理測試用例，以確保您的系統及時指導LLM在各種用戶提示之間有效地響應。

• 評估遊樂場：輕鬆評估及時調整的影響。該功能強大的工具可幫助您評估對系統提示的修改是否增強或阻礙各種用戶場景中的LLM響應，從而使您有信心優化精確。

借助Pressolab，導航及時設計的複雜性從未如此直觀或令人興奮。準備優化提示的性能了嗎？

先決條件

• Python 3.10或更高
• 以下LLM後端之一：
  • LLM命令行工具

    pip install llm

  • Litellm圖書館

    pip install litellm (NOTE: not needed because it is already defined inside requirements.txt)

• 用於存儲LLM後端首選項的QSETTINGS配置

安裝

1. 克隆存儲庫：

   git clone https://github.com/crjaensch/PromptoLab.git
   cd PromptoLab

2. 創建並激活虛擬環境：

   python3 -m venv venv
   source venv/bin/activate  # On Windows: venvScriptsactivate

3. 安裝依賴項：

   python3 -m pip install -r requirements.txt

配置

PromptOlab使用QT的本機配置系統（QSETTINGS）來堅持LLM後端首選項。設置將自動保存並在應用程序啟動之間恢復，並針對每個平台進行了優化的存儲位置：

• Windows：註冊表
• macos：.plist文件
• Linux：INI風格的文件

您可以通過應用程序接口配置首選的LLM後端和API設置。可用以下選項：

• LLM後端：在llm命令行工具或LITELLM庫之間進行選擇

• API配置：使用LITELLM時為您首選的LLM型號提供API鍵，例如：

  • OpenAI API鍵
  • GROQ API鍵
  • Google Gemini API密鑰

• 請注意，本地安裝的LLM，例如通過Ollama，支持Litellm。

運行應用程序

1. 確保激活您的虛擬環境：

    source venv/bin/activate  # On Windows: venvScriptsactivate

2. 運行應用程序：

    # If inside PromptoLab, then move to the parent directory
   cd ..
   python3 -m PromptoLab

應用程序屏幕截圖

這是啟示錄的主要特徵的快速視覺概述：

提示目錄

LLM操場 - 提交提示

LLM操場 - 提交提示與變量

LLM操場 - 改進提示

測試集管理器

評估遊樂場

評估結果報告

發展

該項目使用：

• Pyside6用於GUI啟用跨平台使用
• 西蒙·威利森（Simon Willison）的llm互動工具
• Berriai的litellm圖書館
• Python的內置venv用於環境管理

執照

該項目已根據MIT許可獲得許可。請參閱存儲庫中的許可證文件以獲取完整的許可文本。