ดาวน์โหลด LLM Attributor - ดาวน์โหลดซอร์สโค้ด LLM Attributor

LLM Attributor

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

LLM Attributor: ระบุแอตทริบิวต์ข้อความที่สร้างของ LLM ไปยังข้อมูลการฝึกอบรม

LLM Attributor ช่วยให้คุณเห็นภาพข้อมูลการฝึกอบรมของการสร้างข้อความของโมเดลภาษาขนาดใหญ่ (LLM) เลือกวลีข้อความแบบโต้ตอบและแสดงภาพจุดข้อมูลการฝึกอบรมที่รับผิดชอบในการสร้างวลีที่เลือก แก้ไขข้อความที่สร้างโดยโมเดลได้อย่างง่ายดาย และสังเกตว่าการเปลี่ยนแปลงของคุณส่งผลต่อการระบุแหล่งที่มาอย่างไรด้วยการเปรียบเทียบแบบแสดงภาพเคียงข้างกัน


- สาธิตวิดีโอ YouTube	✍️รายงานทางเทคนิค

จุดเด่นของคุณสมบัติ

llm-attributor.mp4

เริ่มต้นใช้งาน

การติดตั้ง

LLM Attributor ได้รับการเผยแพร่ในพื้นที่เก็บข้อมูล Python Package Index (PyPI) หากต้องการติดตั้ง LLM Attributor คุณสามารถใช้ pip :

pip install llm-attributor

การเริ่มต้น

คุณสามารถนำเข้า LLM Attributor ไปยังสมุดบันทึกการคำนวณของคุณ (เช่น Jupyter Notebook/Lab) และเริ่มต้นโมเดลและการกำหนดค่าข้อมูลของคุณ

 from LLMAttributor import LLMAttributor
attributor = LLMAttributor (
    llama2_dir = LLAMA2_DIR ,
    tokenizer_dir = TOKENIZER_DIR ,
    model_save_dir = MODEL_SAVE_DIR ,
    train_dataset = TRAIN_DATASET
)

สำหรับ LLAMA2_DIR และ TOKENIZER_DIR คุณสามารถป้อนเส้นทางไปยังโมเดล LLaMA2 พื้นฐานได้ สิ่งเหล่านี้จำเป็นเมื่อโมเดลของคุณยังไม่ได้รับการปรับแต่งอย่างละเอียด MODEL_SAVE_DIR คือไดเร็กทอรีที่โมเดลที่คุณปรับแต่งอย่างละเอียด (หรือจะถูกบันทึก)