PromptExtractionEval

맞춤형 대형 언어 모델에서 프롬프트 추출

이 백서는 소스 용지로 구성됩니다. Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models .

소스 코드 설명

• PEAD DATASET : 추출 PROMPT/명령/Benchmark_Collections/Ellight_Data_Benchmark.json
• 모든 실험의 소스 코드 : 추출 prompt/
  • 일반화 된 평가
    • 바닐라 : 추출 프롬프트/1.RUN_PROMPT_EXTRACTION.PY
    • 함수 호출 비교 : 추출 Prompt/5.Funcall_comparison.py
  • 신속 추출의 스케일링 법률
    • 모델 크기 : ExtractingPrompt/2.model_size_prompt_extraction_experiments.py
    • 시퀀스 길이 : 추출 프롬프트/4. varying_sequence_length.py
  • 경험적 분석
    • 설득력있는 전제 : 추출 prompt/6.ppl_comparison.py
    • 병렬 변환 : 추출 prompt/7. attention_visualize.py
    • 병렬 트랜지션 : 추출 ProxingPrompt/Arective_visualize.py
  • 방어 전략
    • 방어 방법 : 추출 prompt/defending/ppl_high2_confusingbeginnings.py
    • 성능은 방어 실험을 떨어 뜨립니다 : 추출prompt/defending/2.drops_of_defending.py
    • 시각화 : ProxtingPrompt/Defending/Defense_visualization.py
  • 근접 실험
    • 바닐라 프롬프트 추출 : 추출 프롬프트/API_RELATED_EXPERIMENTS/1.RUN_PROMPT_EXTRACTION.py
    • 소프트 추출 : 추출 프롬프트/API_RELATED_EXPERIMENTS/2.SOFT_EXTRACTION_EXPERIMENTS.py
    • 방어의 성능 낙하 : 추출 prompt/api_related_experiments/3.1.drops_of_defense.py

실험 환경

달리다

pip install -r re.txt

또는 다음 주요 패키지를 수동으로 설치하십시오.

datasets
numpy
pandas
peft
safetensors
scipy
tensorboard
tensorboardX
tiktoken
tokenizers
torch
tqdm
transformers
matplotlib
scikit-learn
thefuzz
einops
sentencepiece

저자에게 연락하십시오

문제가 있거나 문제가있는 경우 문제를 열거나 이메일을 [email protected] 로 보내십시오.

소환:

 @misc { liang2024promptsleakedunravelingprompt ,
      title = { Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models } , 
      author = { Zi Liang and Haibo Hu and Qingqing Ye and Yaxin Xiao and Haoyang Li } ,
      year = { 2024 } ,
      eprint = { 2408.02416 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL } ,
      url = { https://arxiv.org/abs/2408.02416 } , 
}