cocktail DyG prompting

Readme

Preparación de datos

Asegúrese de que los parámetros N, P y T sean consistentes a través de graph_data/graph_generator.py , text_data/text_generator.py , y text_data/text_filter.py . Actualice las rutas en estos archivos a sus propias rutas de almacenamiento.

Paso 1: Generador de gráficos

Ejecute python graph_data/graph_generator.py para generar gráficos.

Paso 2: Generador de texto

Ejecute python text_data/text_generator.py para generar tareas basadas en gráficos del paso 1.

Paso 3: Filtro de texto

Ejecute python text_data/text_filter.py para filtrar datos usando el texto del paso 2 y obtener un número igual de tareas con y sin respuestas.

Incitación

Paso 1: Implemente su propia clase LLM

Implemente su propia clase LLM similar a la de api_LLM.py y api.py Asegúrese de que la implementación permita usar llm() para conversación y clear_history() para borrar el historial de conversación.

Paso 2: inferir

Ejecute el comando a continuación para usar una plantilla de solicitud diferente. El parámetro COT corresponde a diferentes indicaciones.

python infer.py --model_name Llama3.1 --COT NO --api_key your_api_key

Paso 3: evaluar

Ejecute el comando a continuación para obtener la tasa de precisión.

python acc.py --model_name Llama3.1 --COT NO