OUTFOX

¿SER MÁS LISTO QUE?

Este es el código y los datos oficiales de nuestro artículo AAAI 2024, "OUTFOX: Detección de ensayos generados por LLM mediante el aprendizaje en contexto con ejemplos generados de forma adversaria".

Introducción

Los detectores de texto actuales generados por LLM carecen de solidez contra los ataques: degradan la precisión de la detección simplemente parafraseando los textos generados por LLM. Además, existe el riesgo inexplorado de que usuarios malintencionados puedan aprovechar los LLM para crear textos diseñados específicamente para evadir la detección.

En este artículo, proponemos OUTFOX , un marco que mejora la solidez de los detectores LLM al permitir que tanto el detector como el atacante consideren la salida de cada uno . En este marco, el atacante usa las etiquetas de predicción del detector como ejemplos de aprendizaje en contexto y genera ensayos que son más difíciles de detectar, mientras que el detector usa los ensayos generados de manera adversa como ejemplos de aprendizaje en contexto para aprender a detectar ensayos de un atacante fuerte.

Los experimentos en el ámbito de los ensayos de los estudiantes muestran que...

• El detector propuesto mejora el rendimiento de detección de los textos generados por el atacante en hasta +41,3 puntos de puntuación F1.
• El detector propuesto muestra un rendimiento de detección de última generación : hasta 96,9 puntos de puntuación F1, superando a los detectores existentes en textos no atacados.
• El atacante propuesto degrada drásticamente el rendimiento de los detectores en hasta -57,0 puntos de puntuación F1, superando enormemente el método de paráfrasis básico para evadir la detección.

? Actualizaciones

• Febrero de 2024 : ¡Presentado en AAAI 2024, Vancouver! [póster]
• Agosto de 2023 : ¡Nuestro código y conjunto de datos de ensayos ya están disponibles!

? Configuración

• pitón==3.9.2

 $ python -m venv env
$ source env/bin/activate
$ pip install -r requirements.txt

Ejecute cualquier script en el directorio scripts .

scripts/detection.sh es un script para nuestra detección OUTFOX y detecciones de referencia.

scripts/attacking.sh es un script para nuestro ataque OUTFOX y ataque de paráfrasis básica.

? Información del conjunto de datos

Creamos nuestro conjunto de datos basado en el Premio Kaggle FeedBack, y nuestro conjunto de datos contiene 15,400 tripletes de enunciados de problemas de ensayo, ensayos escritos por humanos (estudiantes nativos) y ensayos generados por LLM. Los estudiantes nativos van del 6º al 12º grado en EE.UU.

Instruimos a tres LM para que generen ensayos: ChatGPT ( gpt-3.5-turbo-0613 ), GPT-3.5 ( text-davinci-003 ) y FLAN-T5-XXL . Dividimos el conjunto de datos en tres partes: entrenamiento/validación/prueba con 14400/500/500 ejemplos, respectivamente.

Esta es información complementaria sobre los nombres de archivos que componen nuestro conjunto de datos.

Nombre del archivo	Contenido
(train|valid|test)_problem_statements.pkl	Enunciados de problemas de ensayo en cada conjunto.
(train|valid|test)_humans.pkl	Ensayos escritos por humanos en cada conjunto.
(train|valid|test)_lms.pkl	Ensayos generados por LLM en cada conjunto.

Además, (train|valid|test)_contexts.pkl incluye las indicaciones utilizadas para generar ensayos en cada conjunto. Los utilizamos para calcular la probabilidad en detectores de valores atípicos estadísticos.

También proporcionamos los ensayos atacados por nuestro atacante OUTFOX en data/chatgpt/test/test_outfox_attacks.pkl y los ensayos atacados por DIPPER en data/dipper/(chatgpt|text_davinci_003|flan_t5_xxl)/test_attacks.pkl .

Citación

Si encuentra nuestro código/datos/modelos o ideas útiles en su investigación, considere citar nuestro trabajo de la siguiente manera:

 @InProceedings{Koike:OUTFOX:2024,
  author    = {Ryuto Koike and Masahiro Kaneko and Naoaki Okazaki},
  title     = {OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples},
  booktitle = {Proceedings of the 38th AAAI Conference on Artificial Intelligence},
  year      = {2024},
  month     = {February},
  address   = {Vancouver, Canada}
}