PromptExtractionEval

การแยกพรอมต์จากแบบจำลองภาษาขนาดใหญ่ที่กำหนดเอง

บทความนี้ประกอบด้วยซอร์สโค้ดของกระดาษ: Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models (ARXIV)

คำอธิบายซอร์สโค้ด

• ชุดข้อมูล Pead: ExtractingPrompt/คำแนะนำ/benchmark_collections/โดยรวม _data_benchmark.json
• ซอร์สโค้ดของการทดลองทั้งหมด: ExtractingPrompt/
  • การประเมินทั่วไป
    • วานิลลา: ExtractingPrompt/1.run_prompt_extraction.py
    • การเปรียบเทียบการเรียกใช้ฟังก์ชัน: ExtractingPrompt/5.funcall_comparison.py
  • ปรับขนาดกฎหมายของการสกัดทันที
    • ขนาดรุ่น: ExtractingPrompt/2.model_size_prompt_extraction_experiments.py
    • ความยาวลำดับ: ExtractingPrompt/4.Varying_Sequence_length.py
  • การวิเคราะห์เชิงประจักษ์
    • หลักฐานที่น่าเชื่อถือ: ExtractingPrompt/6.ppl_comparison.py
    • การแปลแบบขนาน: ExtractingPrompt/7.attention_visualize.py
    • การแปลแบบขนาน: ExtractingPrompt/attere_visualize.py
  • กลยุทธ์การป้องกัน
    • วิธีการป้องกัน: ExtractingPrompt/การป้องกัน/ppl_high2_confusingbeginnings.py
    • ประสิทธิภาพลดลงการทดลองของการป้องกัน: ExtractingPrompt/การป้องกัน/2.Drops_of_defending.py
    • การสร้างภาพ: ExtractingPrompt/การป้องกัน/defense_visualization.py
  • การทดลองใกล้เคียง
    • การสกัดด้วยพรอมต์วานิลลา: ExtractingPrompt/API_RELATED_EXPERIMENTS/1.RUN_PROMPT_EXTRACTION.py
    • การสกัดซอฟต์: ExtractingPrompt/API_RELATED_EXPERIMENTS/2.SOFT_EXTRACTION_EXPERIMENTS.PY
    • ประสิทธิภาพลดลงของการป้องกัน: ExtractingPrompt/API_RELATED_EXPERIMENTS/3.1.DROPS_OF_DEFENSE.PY

สภาพแวดล้อมการทดลอง

วิ่ง

pip install -r re.txt

หรือติดตั้งแพ็คเกจคีย์ต่อไปนี้ด้วยตนเอง:

datasets
numpy
pandas
peft
safetensors
scipy
tensorboard
tensorboardX
tiktoken
tokenizers
torch
tqdm
transformers
matplotlib
scikit-learn
thefuzz
einops
sentencepiece

ติดต่อผู้เขียน

อย่าลังเลที่จะเปิดปัญหาหรือส่งอีเมลไปที่ [email protected] หากมีปัญหาใด ๆ

การอ้างอิง:

 @misc { liang2024promptsleakedunravelingprompt ,
      title = { Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models } , 
      author = { Zi Liang and Haibo Hu and Qingqing Ye and Yaxin Xiao and Haoyang Li } ,
      year = { 2024 } ,
      eprint = { 2408.02416 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL } ,
      url = { https://arxiv.org/abs/2408.02416 } , 
}