cocktail DyG prompting

Réadmettre

Préparation des données

Assurez-vous que les paramètres N, P et T sont cohérents sur le graph_data/graph_generator.py , text_data/text_generator.py et text_data/text_filter.py . Veuillez mettre à jour les chemins dans ces fichiers vers vos propres chemins de stockage.

Étape 1: Générateur de graphiques

Exécutez python graph_data/graph_generator.py pour générer des graphiques.

Étape 2: générateur de texte

Exécutez python text_data/text_generator.py pour générer des tâches en fonction des graphiques de l'étape 1.

Étape 3: filtre de texte

Exécutez python text_data/text_filter.py pour filtrer les données à l'aide du texte de l'étape 2 et obtenir un nombre égal de tâches avec et sans réponses.

Incitation

Étape 1: Implémentez votre propre classe LLM

Implémentez votre propre classe LLM similaire à celle de api_LLM.py et api.py Assurez-vous que l'implémentation permet d'utiliser llm() pour la conversation et clear_history() pour effacer l'historique de conversation.

Étape 2: Inférer

Exécutez la commande ci-dessous pour utiliser différents modèles d'incitation. Le paramètre COT correspond à différentes invites.

python infer.py --model_name Llama3.1 --COT NO --api_key your_api_key

Étape 3: évaluer

Exécutez la commande ci-dessous pour obtenir le taux de précision.

python acc.py --model_name Llama3.1 --COT NO