PromptExtractionEval

Extraction des invites de modèles de langage personnalisés

Ce document se compose du code source du papier: Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models (ARXIV).

Explications de code source

• Ensemble de données pour piade: ExtractionPrompt / Instructions / Benchmark_Collections / Gloom_Data_Benchmark.json
• Code source de toutes les expériences: ExtractingPrompt /
  • Évaluation généralisée
    • Vanille: ExtractingPrompt / 1.Run_prompt_extraction.py
    • Comparaison des appels de fonction: ExtractingPrompt / 5.Funcall_Comparison.py
  • Échelle des lois de l'extraction rapide
    • Taille du modèle: ExtractingPrompt / 2.Model_Size_Prompt_Extraction_Experiments.py
    • Longueur de séquence: ExtractingPrompt / 4.Varying_Sequence_Length.py
  • Analyse empirique
    • Prémisse convaincante: ExtractingPrompt / 6.ppl_Comparison.py
    • Translation parallèle: ExtractingPrompt / 7.ATTENTISE_VISUMIZE.PY
    • Translation parallèle: ExtractingPrompt / Attention_Visualize.py
  • Stratégies de défense
    • Méthodes de défense: ExtractingPrompt / Defending / ppl_high2_confusingbeginnings.py
    • Les performances diminuent les expériences de la défense: ExtractingPrompt / Defending / 2.drops_of_defending.py
    • Visualisation: ExtractingPrompt / Defending / Defence_Visualization.py
  • Expériences étroites
    • Extraction rapide de vanille: ExtractingPrompt / api_related_experiments / 1.Run_prompt_extraction.py
    • Extraction douce: ExtractingPrompt / API_Related_Experiments / 2.Soft_Extraction_Experiments.py
    • Performance gouttes de défense: ExtractingPrompt / api_related_experiments / 3.1.drops_of_defense.py

Environnements expérimentaux

Courir

pip install -r re.txt

ou installez les packages de clés suivants manuellement:

datasets
numpy
pandas
peft
safetensors
scipy
tensorboard
tensorboardX
tiktoken
tokenizers
torch
tqdm
transformers
matplotlib
scikit-learn
thefuzz
einops
sentencepiece

Contacter les auteurs

N'hésitez pas à ouvrir un problème ou à envoyer l'e-mail à [email protected] s'il existe un problème.

Citation:

 @misc { liang2024promptsleakedunravelingprompt ,
      title = { Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models } , 
      author = { Zi Liang and Haibo Hu and Qingqing Ye and Yaxin Xiao and Haoyang Li } ,
      year = { 2024 } ,
      eprint = { 2408.02416 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL } ,
      url = { https://arxiv.org/abs/2408.02416 } , 
}