PromptExtractionEval

Mengekstraksi petunjuk dari model bahasa besar yang disesuaikan

Makalah ini terdiri dari kode sumber kertas: Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models (ARXIV).

Penjelasan Kode Sumber

• Dataset Pead: ExtractingPrompt/Instruksi/Benchmark_Collections/keseluruhan_data_benchmark.json
• Kode Sumber Semua Eksperimen: ExtractingPrompt/
  • Evaluasi umum
    • Vanilla: ExtractingPrompt/1.run_prompt_extraction.py
    • Perbandingan Panggilan Fungsi: ExtractingPrompt/5.Funcall_Comparison.py
  • Menskalakan hukum ekstraksi yang cepat
    • Ukuran Model: ExtractingPrompt/2.MODEL_SIZE_PROMPT_EXTRACTION_Experiments.py
    • Panjang Urutan: ExtractingPrompt/4.Varying_Sequence_length.py
  • Analisis empiris
    • Premis yang meyakinkan: ExtractingPrompt/6.ppl_comparison.py
    • Translasi paralel: ExtractingPromppt/7.Attention_visualize.py
    • Translasi Paralel: ExtractingPromppt/Attention_visualize.py
  • Strategi Pertahanan
    • Metode Pertahanan: MengekstraksiPrompt/Defending/ppl_high2_confusingbeginnings.py
    • Kinerja menjatuhkan eksperimen dari bertahan: mengekstraksiPrompt/bertahan/2.drops_of_defending.py
    • Visualisasi: ExtractingPrompt/Defending/Defense_visualization.py
  • Eksperimen dekat-AI
    • Ekstraksi Prompt Vanilla: ExtractingPrompt/API_Related_Experiments/1.run_prompt_extraction.py
    • Ekstraksi Soft: ExtractingPrompt/API_RELATED_EXPERIMENTS/2.SOFT_EXTRACTION_EXPERIMENTS.py
    • Penurunan kinerja Defending: ExtractingPrompt/API_Related_Experiments/3.1.drops_of_defense.py

Lingkungan eksperimental

Berlari

pip install -r re.txt

Atau instal paket kunci berikut secara manual:

datasets
numpy
pandas
peft
safetensors
scipy
tensorboard
tensorboardX
tiktoken
tokenizers
torch
tqdm
transformers
matplotlib
scikit-learn
thefuzz
einops
sentencepiece

Hubungi penulis

Jangan ragu untuk membuka masalah, atau mengirim email ke [email protected] jika ada masalah.

Kutipan:

 @misc { liang2024promptsleakedunravelingprompt ,
      title = { Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models } , 
      author = { Zi Liang and Haibo Hu and Qingqing Ye and Yaxin Xiao and Haoyang Li } ,
      year = { 2024 } ,
      eprint = { 2408.02416 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL } ,
      url = { https://arxiv.org/abs/2408.02416 } , 
}