gpt j

GPT-J et GPT-J-6B sur les IPU

GPT-J est une alternative open source d'EleutherAI au GPT-3 d'OpenAI. Disponible en téléchargement pour tous, GPT-J peut être optimisé avec succès pour fonctionner aussi bien que de grands modèles sur une gamme de tâches de PNL, notamment la réponse aux questions, l'analyse des sentiments et la reconnaissance d'entités nommées.

Essayez d'exécuter GPT-J vous-même sur Paperspace avec l'IPU (Intelligence Processing Unit) de Graphcore, un tout nouveau type de processeur massivement parallèle pour accélérer l'intelligence machine. Accédez à un calcul IPU avancé et rentable à la demande dans le cloud sur Paperspace pour créer, affiner et déployer des modèles d'IA tels que GPT-J.

Ordinateurs portables GPT-J alimentés par des IPU

Carnet de notes	Cadre	Taper	Essayez gratuitement
Implication textuelle sur IPU à l'aide de GPT-J - Mise au point	Visage câlin	Réglage fin
Génération de texte avec GPT-J 6B	Visage câlin	Inférence
Génération de texte plus rapide avec GPT-J utilisant la quantification de poids 4 bits sur les IPU	Visage câlin	Inférence

Dans l' implication textuelle sur IPU à l'aide de GPT-J - Bloc-notes de réglage fin , nous montrons comment affiner un modèle GPT-J pré-entraîné s'exécutant sur un système 16-IPU sur Paperspace. Nous expliquerons comment vous pouvez affiner GPT-J pour l'implication de texte sur l'ensemble de données GLUE MNLI afin d'atteindre les performances SOTA, tout en étant beaucoup plus rentable que ses cousins ​​​​plus grands.

Dans le notebook Génération de texte avec GPT-J 6B , nous démontrons à quel point il est facile d'exécuter GPT-J sur l'IPU Graphcore en utilisant cette implémentation du modèle et ? Points de contrôle du moyeu des poids du modèle.

Dans la génération de texte plus rapide avec GPT-J utilisant la quantification de poids 4 bits sur les ordinateurs portables IPU , nous montrons comment utiliser la quantification de groupe pour compresser les paramètres du modèle à 4 bits sans réglage fin, en utilisant 4 fois moins de mémoire et en accélérant l'inférence sur GPT-J. J d’environ 1,5x.

Ressources GPT-J

• Modèle de visage câlin
• Blogue
• Blog de procédure pas à pas
• Papier original

Pour approfondir votre utilisation de GPT-J sur les IPU ou parler à un expert, n'hésitez pas à nous contacter.

Communauté UIP

Rejoignez notre communauté grandissante et interagissez avec des experts en IA, des développeurs IPU et des chercheurs. Écoutez les dernières nouvelles de l'UIP et accédez à nos nouveaux modèles.

Licence

Le contenu de ce référentiel est mis à disposition selon les termes de la licence MIT. Voir le fichier LICENSE inclus pour plus de détails.