PromptoLab

prompledolab

PromptoLab เป็นแอปพลิเคชันเดสก์ท็อปข้ามแพลตฟอร์มสำหรับการจัดทำแคตตาล็อกการประเมินการทดสอบและการปรับปรุงการแจ้งเตือน LLM มันมีสนามเด็กเล่นสำหรับการพัฒนาพรอมต์แบบโต้ตอบและตัวจัดการชุดทดสอบสำหรับการทดสอบพรอมต์อย่างเป็นระบบ

คุณสมบัติที่สำคัญ

• Prompts Catalog : กำหนดและจัดระเบียบพรอมต์อย่างราบรื่นโดยใช้สามหมวดหมู่ที่แตกต่างกัน ฮับส่วนกลางนี้ช่วยให้มั่นใจได้ว่าพรอมต์ของคุณสามารถเข้าถึงได้และมีโครงสร้างที่ดีเพื่อนำกลับมาใช้ใหม่ได้ง่าย

• สนามเด็กเล่น LLM : ดำดิ่งสู่การทดลองด้วยสองตัวเลือกแบบไดนามิก เลือกที่จะส่งพรอมต์ที่เลือกจากแคตตาล็อกของคุณหรือการปรับปรุงการร้องขอสำหรับพรอมต์ที่กำหนดโดยใช้หนึ่งในสามรูปแบบพรอมต์ที่พิสูจน์แล้ว ปรับแต่งประสบการณ์ของคุณต่อไปโดยเลือกรุ่น LLM ที่คุณต้องการและปรับเปลี่ยนพารามิเตอร์การควบคุม LLM ที่สำคัญสามพารามิเตอร์ การสนับสนุนสำหรับ {{ตัวแปร}} ไวยากรณ์ในพรอมต์ช่วยให้การทดสอบการเปลี่ยนแปลงที่รวดเร็วผ่านตารางตัวแปรแบบโต้ตอบ

• Prompts Test Set Manager : ทำให้การทดสอบระบบที่ซับซ้อนแจ้งง่ายขึ้นในแอพพลิเคชั่น AI แบบกำเนิด กำหนดและจัดการกรณีทดสอบเพื่อให้แน่ใจว่าระบบของคุณพร้อมท์คำแนะนำการตอบสนอง LLM อย่างมีประสิทธิภาพในการแจ้งเตือนผู้ใช้ต่างๆ

• สนามเด็กเล่นประเมินผล : ประเมินผลกระทบของการปรับเปลี่ยนได้อย่างง่ายดาย เครื่องมือที่ทรงพลังนี้ช่วยให้คุณประเมินว่าการปรับเปลี่ยนระบบการปรับปรุงระบบเพิ่มประสิทธิภาพหรือขัดขวางการตอบสนอง LLM ในสถานการณ์ผู้ใช้ที่หลากหลายทำให้คุณมั่นใจในการปรับให้เหมาะสมด้วยความแม่นยำ

ด้วย Promptolab การนำทางความซับซ้อนของการออกแบบที่รวดเร็วไม่เคยใช้งานง่ายหรือน่าตื่นเต้น พร้อมที่จะเพิ่มประสิทธิภาพประสิทธิภาพของพรอมต์ของคุณหรือไม่?

ข้อกำหนดเบื้องต้น

• Python 3.10 หรือสูงกว่า
• หนึ่งในแบ็กเอนด์ LLM ต่อไปนี้:
  • เครื่องมือบรรทัดคำสั่ง LLM

    pip install llm

  • Litellm Library

    pip install litellm (NOTE: not needed because it is already defined inside requirements.txt)

• การกำหนดค่า QSettings สำหรับการจัดเก็บการตั้งค่าแบ็กเอนด์ LLM

การติดตั้ง

1. โคลนที่เก็บ:

   git clone https://github.com/crjaensch/PromptoLab.git
   cd PromptoLab

2. สร้างและเปิดใช้งานสภาพแวดล้อมเสมือนจริง:

   python3 -m venv venv
   source venv/bin/activate  # On Windows: venvScriptsactivate

3. ติดตั้งการพึ่งพา:

   python3 -m pip install -r requirements.txt

การกำหนดค่า

PromptoLab ใช้ระบบการกำหนดค่าดั้งเดิมของ QT (QSettings) เพื่อคงไว้ซึ่งการตั้งค่าแบ็กเอนด์ LLM ของคุณ การตั้งค่าจะถูกบันทึกและกู้คืนโดยอัตโนมัติระหว่างการเปิดใช้งานแอปพลิเคชันพร้อมตำแหน่งที่เก็บข้อมูลที่ได้รับการปรับให้เหมาะสมสำหรับแต่ละแพลตฟอร์ม:

• Windows: รีจิสทรี
• macOS: .plist ไฟล์
• Linux: ไฟล์สไตล์ ini

คุณสามารถกำหนดค่าแบ็กเอนด์ LLM ที่คุณต้องการและการตั้งค่า API ผ่านส่วนต่อประสานของแอปพลิเคชัน มีตัวเลือกต่อไปนี้:

• LLM Backend : เลือกระหว่างเครื่องมือบรรทัดคำสั่ง llm หรือไลบรารี Litellm

• การกำหนดค่า API : ให้คีย์ API สำหรับรุ่น LLM ที่คุณต้องการเมื่อใช้ Litellm เช่น:

  • คีย์ Openai API
  • คีย์ groq api
  • คีย์ Google Gemini API

• โปรดทราบว่า LLM ที่ติดตั้งในเครื่อง เช่นผ่าน Ollama ได้รับการสนับสนุนสำหรับ Litellm

การรันแอปพลิเคชัน

1. ตรวจสอบให้แน่ใจว่าสภาพแวดล้อมเสมือนจริงของคุณเปิดใช้งาน:

    source venv/bin/activate  # On Windows: venvScriptsactivate

2. เรียกใช้แอปพลิเคชัน:

    # If inside PromptoLab, then move to the parent directory
   cd ..
   python3 -m PromptoLab

ภาพหน้าจอแอปพลิเคชัน

นี่คือภาพรวมภาพที่รวดเร็วของคุณสมบัติหลักของ Promptolab:

พร้อมท์แคตตาล็อก

สนามเด็กเล่น LLM - ส่งพรอมต์

สนามเด็กเล่น LLM - ส่งพรอมต์พร้อมตัวแปร

สนามเด็กเล่น LLM - ปรับปรุงพรอมต์

ผู้จัดการชุดทดสอบ

สนามเด็กเล่น

รายงานผลการประเมินผล

การพัฒนา

โครงการใช้:

• Pyside6 สำหรับ GUI เพื่อเปิดใช้งานการใช้งานข้ามแพลตฟอร์ม
• เครื่องมือ llm ของ Simon Willison สำหรับการโต้ตอบ LLM
• ห้องสมุด litellm ของ Berriai
• venv ในตัวของ Python สำหรับการจัดการสภาพแวดล้อม

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT ดูไฟล์ใบอนุญาตในที่เก็บสำหรับข้อความใบอนุญาตเต็มรูปแบบ