qevals

qการประเมิน

สารบัญ

• อีวัลคืออะไร?
• เริ่มต้นใช้งาน
• ข้อกำหนดเบื้องต้น
• ความเข้ากันได้
• การทดสอบการทำงาน
• มีส่วนร่วม
• บันทึกประจำรุ่น

อีวัลคืออะไร?

Evals คือเฟรมเวิร์กการสร้างและประเมินผลข้อมูลสังเคราะห์สำหรับแอปพลิเคชัน LLM และ RAG

มี 2 ​​โมดูลหลัก:

• ข้อมูล
• ประเมินผล

แผนภาพสถาปัตยกรรมระดับสูงของ eval มีดังต่อไปนี้:

แผนภาพสถาปัตยกรรม

เริ่มต้นใช้งาน

หากต้องการเริ่มต้นใช้งาน eval ให้ทำตามขั้นตอนเหล่านี้:

1. โคลนพื้นที่เก็บข้อมูลไปยังเครื่องภายในของคุณ
2. ติดตั้งการขึ้นต่อกันที่จำเป็นโดยการรัน pip install -r requirements.txt ในไดเร็กทอรีโปรเจ็กต์
3. สร้างสำเนาของ config/config.toml.template และตั้งชื่อเป็น config/config.toml
4. อัปเดต 2 ส่วนในไฟล์ config.toml :
   1. MISC
      • กำหนดค่าตำแหน่งไฟล์ใบรับรอง SSL ของคุณ
   2. DATAGEN
      • ตั้งค่าตัวแปร DATA_DIR เพื่อควบคุมตำแหน่งของคลังข้อมูลเพื่อสร้างข้อมูลสังเคราะห์ โดยสัมพันธ์กับไดเร็กทอรี datagen/data/ กล่าวอีกนัยหนึ่ง ให้เพิ่มไดเร็กทอรีข้อมูลของคุณลงในนั้นและระบุชื่อในตัวแปร
      • ตัวแปร GEN_PROVIDER อนุญาตให้เลือกระหว่าง azure หรือ vertex
      • เพิ่มตัวแปรที่เหลือที่ต้องการเพื่อวัตถุประสงค์ในการสร้าง
   3. DATAEVAL
      • EVAL_TESTS เสนอรายการการทดสอบประเมินผลที่สนับสนุนโดยเฟรมเวิร์ก ตัวเลือกที่เป็นไปได้ ได้แก่ AnswerRelevancy , Hallucination , Faithfulness , Bias , Toxicity , Correctness , Coherence , PromptInjection , PromptBreaking , PromptLeakage
      • ตัวแปร EVAL_RPVODER ช่วยให้สามารถเลือกระหว่าง azure หรือ vertex
      • เพิ่มตัวแปรที่เหลือที่จำเป็นสำหรับแบบจำลองที่ต้องการใช้เป็นตัวตัดสินในการประเมิน

ในการรันโมดูลการสร้างข้อมูลสังเคราะห์:

1. แก้ไข / ปรับไคลเอนต์ตัวอย่างที่ให้มา ( datagen/client.py )

2. เรียกใช้ python -m datagen.client

3. ข้อมูลที่สร้างขึ้นแบบสังเคราะห์จะถูกจัดเก็บไว้ในไดเร็กทอรี datagen/qa_out/ เป็นไฟล์ CSV ที่มีรูปแบบ:

    ```csv
    question,context,ground_truth
    ```
   

ในการรันโมดูล eval:

1. แก้ไข/ปรับไคลเอนต์ตัวอย่างที่ให้มา ( eval/client.py )
   1. ข้อมูลอินพุตจะต้องตรงกับรูปแบบของข้อมูลที่ผลิตโดยการสร้างข้อมูลสังเคราะห์ ( question context ground_truth )
   2. ground_truth อาจใช้หรือไม่ก็ได้ ขึ้นอยู่กับการตั้งค่า use_answers_from_dataset เมื่อตั้งค่าเป็น False ระบบจะเพิกเฉยต่อคอลัมน์ข้อมูลนั้นและสร้างเอาต์พุตใหม่โดยใช้โมเดลกำเนิดที่กำหนดค่าไว้
2. เริ่ม MlFlow ด้วยการรัน:

   mlflow ui --port 5000

3. เรียกใช้ python -m eval.client
4. ติดตามและวิเคราะห์ผลลัพธ์การประเมินบนอินเทอร์เฟซ MlFlow ภายในเครื่องของคุณที่นี่: http://localhost:5000