PromptExtractionEval

Extraindo solicitações de grandes modelos de linguagem personalizados

Este artigo consiste no código -fonte do papel: Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models (ARXIV).

Explicações do código -fonte

• DataSet do PEAD: ExtractingPrompt/Instruções/Benchmark_Collections/GOLPAL_DATA_BENCHMARK.JSON
• Código -fonte de todas as experiências: ExtrairpingPrompt/
  • Avaliação generalizada
    • Vanilla: ExtractingPrompt/1.run_prompt_extraction.py
    • Função Callings Comparação: ExtractingPrompt/5.funcall_comparison.py
  • Escala de leis de extração imediata
    • Tamanho do modelo: ExtractingPrompt/2.model_size_prompt_extraction_experiments.py
    • Comprimento da sequência: ExtractingPrompt/4.Varying_Sequence_Length.py
  • Análise empírica
    • Premissa convincente: ExtractingPrompt/6.ppl_comparison.py
    • Translação paralela: ExtractingPrompt/7.AttEntion_Visualize.Py
    • Translação paralela: ExtractingPrompt/attion_visualize.py
  • Estratégias de defesa
    • Métodos de defesa: ExtractingPrompt/Defending/PPL_High2_ConfusingBeginnings.py
    • O desempenho cai experimentos da defesa: ExtractingPrompt/Defending/2.drops_of_defending.py
    • Visualização: ExtractingPrompt/Defending/Defense_visualization.py
  • Experimentos próximos
    • Vanilla Prompt Extração: ExtractingPrompt/api_related_experiments/1.run_prompt_extraction.py
    • Extração soft: ExtractingPrompt/api_related_experiments/2.soft_extraction_experiments.py
    • Gotas de desempenho da defesa: ExtractingPrompt/api_related_experiments/3.1.drops_of_defense.py

Ambientes experimentais

Correr

pip install -r re.txt

ou instale os seguintes pacotes de teclas manualmente:

datasets
numpy
pandas
peft
safetensors
scipy
tensorboard
tensorboardX
tiktoken
tokenizers
torch
tqdm
transformers
matplotlib
scikit-learn
thefuzz
einops
sentencepiece

Entre em contato com os autores

Sinta -se à vontade para abrir um problema ou enviar o email para [email protected] se houver algum problema.

Citação:

 @misc { liang2024promptsleakedunravelingprompt ,
      title = { Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models } , 
      author = { Zi Liang and Haibo Hu and Qingqing Ye and Yaxin Xiao and Haoyang Li } ,
      year = { 2024 } ,
      eprint = { 2408.02416 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL } ,
      url = { https://arxiv.org/abs/2408.02416 } , 
}