Saut de calque

Cette base de code est l'implémentation de LayerSkip : Activation de l'inférence de sortie anticipée et du décodage auto-spéculatif.

Commencer

Cloner le dépôt :

$ git clone [email protected]:facebookresearch/LayerSkip.git
$ cd LayerSkip

Environnement d'installation :

$ conda create --name layer_skip python=3.10
$ conda activate layer_skip

$ pip install -r requirements.txt

Modèles d'accès : afin d'observer l'accélération, vous devez accéder aux LLM qui ont été formés à l'aide de la recette LayerSkip. Nous fournissons 6 points de contrôle sur HuggingFace de différents modèles de Lama continuellement pré-entraînés à l'aide de la recette LayerSkip :
- facebook/layerskip-llama2-7B
- facebook/layerskip-llama2-13B
- facebook/layerskip-codellama-7B
- facebook/layerskip-codellama-34B
- facebook/layerskip-llama3-8B
- facebook/layerskip-llama3.2-1B

Pour accéder à chaque modèle :

Visitez le lien correspondant au modèle ci-dessus, assurez-vous que vous êtes connecté sur le site Web HuggingFace avec votre compte.
Remplissez le formulaire de demande et soumettez-le. L'approbation peut prendre un certain temps et vous devriez recevoir une notification par e-mail pour vous informer que l'autorisation du modèle est accordée.
Suivez les étapes ici pour obtenir un jeton d'accès utilisateur.
Dans la ligne de commande, exécutez huggingface-cli login et vous serez invité à fournir le jeton que vous avez obtenu à l'étape 3.

Une fois que vous avez exécuté ces étapes, les commandes ci-dessous pour exécuter les points de contrôle LayerSkip devraient fonctionner.

Générer

Pour exécuter un de nos modèles en mode interactif en utilisant le décodage autorégressif régulier :

$ torchrun generate.py --model facebook/layerskip-llama2-7B 
    --sample True 
    --max_steps 512

Afin d'observer l'accélération, vous devez utiliser le décodage auto-spéculatif pour générer des jetons et spécifier --exit_layer , la couche à laquelle l'étape de brouillon doit quitter, et --num_speculations , le nombre de brouillons de jetons :

$ torchrun generate.py --model facebook/layerskip-llama2-7B 
    --sample True 
    --max_steps 512 
    --generation_strategy self_speculative 
    --exit_layer 8 
    --num_speculations 6

Conseils:

Vous pouvez remplacer --model par n'importe quel modèle HuggingFace, mais afin d'observer l'accélération avec le décodage auto-spéculatif, utilisez un modèle formé à l'aide de la recette LayerSkip, comme ceux que nous avons en open source sur HuggingFace.
Par défaut, nous activons l'échantillonnage. Vous pouvez modifier le comportement d'échantillonnage à l'aide des arguments --sample , --temperature , --top_p et --top_k .
Vous pouvez exécuter python generate.py --help pour plus de détails sur les différents arguments de ligne de commande.

Référence

Pour comparer sur un ensemble de données :

$ torchrun benchmark.py --model facebook/layerskip-llama2-7B 
    --dataset cnn_dm_summarization 
    --num_samples 100 
    --generation_strategy self_speculative 
    --exit_layer 8 
    --num_speculations 6 
    --output_dir ./logs

Conseils:

Vous pouvez spécifier différentes tâches en modifiant l'argument --dataset :
- cnn_dm_summarization : Résumé CNN/DM
- xsum_summarization : Résumé XSUM
- cnn_dm_lm : Modélisation du langage CNN/DM (à partir des premiers mots d'un article, générer l'article restant)
- human_eval : Codage HumanEval
Par défaut, les tâches s'exécutent en 0-shot. Vous pouvez passer à n'importe quel n -shot spécifié en spécifiant l'argument --n_shot .
Par défaut, nous activons l'échantillonnage, alors que les résultats rapportés dans l'article étaient un décodage gourmand sans échantillonnage. Vous pouvez modifier le comportement d'échantillonnage à l'aide des arguments --sample , --temperature , --top_p et --top_k .
Vous pouvez exécuter python benchmark.py --help pour plus de détails sur les différents arguments de ligne de commande.

Évaluer

Nous avons intégré nos scripts de génération avec Eleuther Language Model Evaluation Harness pour permettre un grand nombre de tâches et post-traiter correctement le texte généré.

$ torchrun eval.py --model facebook/layerskip-llama2-7B 
    --tasks gsm8k 
    --limit 10 
    --generation_strategy self_speculative 
    --exit_layer 8 
    --num_speculations 6 
    --output_dir ./logs

Conseils:

Notez qu'avec le décodage spéculatif, nous ne pouvons obtenir des accélérations que des tâches de génération (par exemple, gsm8k ou cnn_dailymail ), tandis que les tâches de classification, c'est-à-dire les tâches de questions à choix multiples (par exemple, piqa , social_iqa ) ou les tâches de questions Vrai/Faux (par exemple, boolq ) ne conduit pas à une accélération.
Vous pouvez spécifier un nombre arbitraire de tâches prises en charge par Eleuther Evaluation Harness à l'aide de l'argument --tasks . Pour obtenir une liste de toutes les tâches possibles, consultez ce lien.
Semblable aux scripts generate.py et benchmark.py , vous pouvez spécifier différents modèles, ensembles de données et paramètres d'échantillonnage
Vous pouvez exécuter python benchmark.py --help pour plus de détails sur les différents arguments de ligne de commande.

Balayer

Nos hyperparamètres d'inférence, exit_layer et num_speculations déterminent l'accélération lors de l'inférence :

exit_layer :
- plus petit signifie une étape de brouillon plus rapide mais moins précise
- plus grand signifie une étape de tirage plus précise mais plus lente
num_speculations :
- plus petit signifie un taux d'acceptation plus élevé, mais l'étape de vérification amortira moins l'étape de rédaction
- plus grand signifie que l'étape de vérification amortira mieux l'étape de rédaction mais que le taux d'acceptation diminue

La combinaison optimale de exit_layer et num_speculations peut changer en fonction des paramètres du modèle, de l'ensemble de données et de l'échantillonnage. Par conséquent, nous avons fourni un script pour parcourir une grille de différents exit_layer et num_speculations :

$ torchrun sweep.py --model facebook/layerskip-llama2-7B 
    --dataset human_eval 
    --generation_strategy self_speculative 
    --num_samples 150 
    --max_steps 256 
    --output_dir ./logs/ 
    --sample False

Cela créera un fichier CSV dans le répertoire spécifié dans l'argument --outpu_dir .

Conseils:

Semblable aux scripts generate.py et benchmark.py , vous pouvez spécifier différents modèles, ensembles de données et paramètres d'échantillonnage
Vous pouvez exécuter python sweep.py --help pour plus de détails sur les différents arguments de ligne de commande.

Exactitude

Afin de vérifier que les jetons générés par notre algorithme de décodage auto-spéculatif sont corrects, nous avons créé un script pour comparer les sorties du décodage autorégressif avec le décodage auto-spéculatif. Notez que les sorties dont nous pouvons garantir l'équivalence ne peuvent être garanties que lorsqu'il n'y a pas d'échantillonnage (c'est-à-dire --sample False ) :

$ torchrun correctness.py --model facebook/layerskip-llama2-7B 
    --dataset human_eval 
    --generation_strategy self_speculative 
    --num_speculations 6 
    --exit_layer 4 
    --num_samples 10 
    --sample False 
    --output_dir ./logs

Utiliser Docker

Veuillez vérifier DOCKER.md pour configurer le projet à l'aide de Docker

Autres implémentations

Nous avons également d'autres implémentations de l'inférence LayerSkip :

gpt-fast : gpt-fast est une génération de texte de transformateur natif pytorch simple et efficace. Nous avons implémenté LayerSkip dans la base de code gpt-fast pour permettre de la combiner avec d'autres optimisations telles que torch.compile() , la quantification et le parallélisme tensoriel.
HuggingFace natif : dans la fiche modèle de chacun de nos modèles HuggingFace, nous avons fourni des extraits de code simples qui exploitent les capacités de décodage spéculatif de HuggingFace en utilisant une astuce simple pour cloner les couches antérieures du modèle principal sans cloner ses poids. Bien que cette implémentation soit simple et ne nécessite pas l'implémentation d'autres fonctions ou l'importation d'autres bibliothèques, elle ne partage pas le cache KV ni l'exécution entre les étapes de brouillon et de vérification.

Entraînement

La mise en œuvre de notre formation est en cours. Vous pouvez consulter cette pull request pour plus de détails et de discussions.

Licence

LayerSkip est sous licence CC-by-NC. Reportez-vous au fichier LICENSE dans le répertoire de niveau supérieur.

Contribuer

Nous apprécions les contributions à LayerSkip. Si vous souhaitez contribuer, veuillez consulter ce document.

Citation

Si vous utilisez LayerSkip dans votre recherche, veuillez utiliser l'entrée BibTex suivante :

 @misc { layerskip ,
    title = { LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding } ,
    author = { Mostafa Elhoushi and Akshat Shrivastava and Diana Liskovich and Basil Hosmer and Bram Wasti and Liangzhen Lai and Anas Mahmoud and Bilge Acun and Saurabh Agarwal and Ahmed Roman and Ahmed A Aly and Beidi Chen and Carole-Jean Wu } ,
    booktitle = " Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) " ,
    month = aug,
    year = " 2024 " ,
    address = " Bangkok, Thailand " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2024.acl-long.681 " ,
    doi = " 10.18653/v1/2024.acl-long.681 " ,
    pages = " 12622--12642 " ,
}