gpt3 poc tutorial with braindump

Décharge cérébrale

Mise à jour (novembre 2023) : nouvelle version GPT-3.5-Turbo à privilégier. J'ai ajouté une nouvelle version prenant en charge l'API Chat Completion (testée avec GPT-3.5-Turbo). Les sous-dossiers appropriés ( gpt-3 , gpt-35-turbo ) contiennent désormais l'original et la nouvelle version. Hormis le changement de modèle et les ajustements correspondants, ce sont les mêmes, mais gpt-35-turbo est à privilégier, car l'achèvement de GPT-3 est obsolète.

Braindump est un prototype d'application permettant de prendre des notes et de les convertir en une base de données pouvant être plus facilement interrogée. Tapez simplement ce que vous avez en tête et l'application le classe, le découpe et le stocke correctement pour une utilisation ultérieure. Il a été conçu sous forme de démonstration pour montrer comment exploiter GPT-3 pour créer des applications commençant par des preuves de concept, comme décrit dans mon didacticiel Data Science @ Microsoft, "Création d'applications GPT-3 - au-delà de l'invite". Vous pouvez l'utiliser à la fois pour suivre le didacticiel et comme point de départ pour vos propres études et applications (par exemple, en réutilisant les fonctions utilitaires et les structures globales du programme dans vos propres problèmes différents).

Il s'agit d'une simple application Python qui exploite Streamlit pour fournir une interface Web. Pour appeler réellement le modèle GPT-3, vous devez disposer d’une clé API OpenAI fonctionnelle. Au moment de la rédaction de cet article, une fois votre compte créé, vous obtenez des crédits gratuits qui devraient suffire pour suivre le tutoriel et démarrer avec l'application. L'application devrait également fonctionner avec Azure OpenAI Service au lieu de l'offre OpenAI d'origine, même si je ne l'ai pas encore testée là-bas.

Outre l’application elle-même, ce référentiel regroupe les études, sous forme de notebooks Jupyter, qui y ont conduit.

L'interface utilisateur de recherche ressemble à ceci :

Pour ajouter des faits, l'interface utilisateur est la suivante, y compris une inspection manuelle facultative de l'interprétation du modèle :

Lancer l'application ou les études

L'application a été testée sur Python 3.8 (GPT-3) et 3.10 (GPT-3.5-Turbo). Les principales bibliothèques dont vous aurez besoin sont : openai , streamlit , pandas , notebook , pytest . Vous pouvez les installer manuellement ou suivre la procédure ci-dessous pour créer un nouvel environnement et les installer automatiquement. Notez que pour l’ancienne base de code, vous aurez besoin d’une ancienne version de la bibliothèque openai .

Pour exécuter l'application :

1. Il est recommandé d'exécuter Python 3.10+, à partir de la distribution Anaconda, qui peut être obtenue ici.
2. Pour vous assurer que les dépendances sont correctement installées, vous pouvez d'abord créer un nouvel environnement uniquement pour cette application en utilisant conda create -n braindump_py310 python=3.10
3. Activez le nouvel environnement en utilisant conda activate braindump_py310
4. Pour GPT-3.5-Turbo (recommandé), installez les dépendances répertoriées dans requirements.txt . Vous pouvez le faire en exécutant pip install -r requirements.txt à partir de la racine du projet. Pour la version originale de GPT-3 (obsolète), utilisez plutôt le requirements.gpt3.txt pour obtenir les anciennes dépendances nécessaires à son fonctionnement.
5. Pour obtenir, vous devez disposer d'une clé API OpenAI fonctionnelle et la rendre disponible en tant que variable d'environnement appelée OPENAI_API_KEY .
6. Enfin, lancez l'application depuis la racine du projet. Sous Windows : run.gpt3.bat (version GPT-3) ou run.gpt35turbo.bat (version GPT-3.5-Turbo) ; sous Linux : run.gpt3.sh (version GPT-3) ou run.gpt35turbo.sh (version GPT-3.5-Turbo).

Pour exécuter les études :

1. Suivez les étapes ci-dessus, sauf la dernière.
2. Ouvrez le notebook Jupyter souhaité sous notebooks/ avec votre client Jupyter préféré (personnellement, j'utilise beaucoup VS Code pour ça).

Structure du projet

Le projet est structuré comme suit :

• notebooks/ : notebooks Jupyter utilisés pour l’ingénierie rapide.
• src/ : code source de l'application finale.
  • src/gpt-3 : sources de la version originale GPT-3 (obsolète).
  • src/gpt-3.5-turbo : sources de la version GPT-3.5-Turbo ( recommandée depuis novembre 2023).
• data/ : données stockées par l'application.
• tests/ : tests unitaires pour l'application.
  • tests/gpt-3/ : tests pour la version originale GPT-3 (obsolète).
  • tests/gpt-3.5-turbo/ : tests pour la version GPT-3.5-Turbo ( recommandé depuis novembre 2023).
• docs/ : documentation et actifs associés.

Approche

L'approche est présentée en détail dans mon didacticiel Data Science @ Microsoft, "Créer des applications GPT-3 - au-delà de l'invite". Néanmoins, permettez-moi de souligner ici quelques points clés :

• Les grands modèles de langage, notamment GPT-3, GPT-3.5-Turbo et GPT-4, offrent un moyen relativement simple et très flexible de créer certains types de logiciels. Cependant, des aspects supplémentaires considérables du génie logiciel sont nécessaires pour créer une application robuste et utilisable.
• Les preuves de concept (PoC) sont idéales pour explorer les capacités des nouvelles technologies et démontrer leur valeur rapidement et à faible coût. Ils constituent ainsi un moyen d’attirer d’autres investisseurs si cela est justifié. Étant donné que l’application des LLM comme GPT-3 reste un domaine très nouveau, les PoC sont un excellent moyen d’explorer l’espace et d’apprendre.
• Un processus progressif et itératif est le meilleur moyen de créer de tels PoC et applications. Commencez par un cas d’utilisation simple et ajoutez des fonctionnalités et de la complexité au fur et à mesure.
• De cette manière, il est désormais possible d’obtenir des résultats impressionnants avec relativement peu d’effort. Des choses qui étaient trop coûteuses, voire impossibles à réaliser auparavant, sont désormais réalisables. Il s'agit donc d'un excellent moyen d'améliorer la productivité, tant pour les individus que pour les organisations. Il est temps d’explorer et d’expérimenter des projets autrefois impensables !

En termes de phases spécifiques, ce qui suit est conseillé

• Essayez OpenAI Playground avec quelques cas très simples pour voir si l'idée mérite plus de travail.
• Une fois que vous décidez de continuer, rédigez une spécification simple composée des structures de données de base que vous manipulerez et de quelques exemples d'entrées et de sorties.
• Divisez le problème en sous-problèmes et déterminez lesquels peuvent être traités par GPT-3 ou des modèles similaires.
• Concevez progressivement et de manière itérative vos invites, de préférence à l'aide de notebooks Jupyter.
• Une fois satisfait de la qualité des invites, encapsulez-les ainsi que les mécanismes auxiliaires dans un moteur.
• Créez une interface utilisateur pour votre moteur, de préférence avec quelque chose comme Streamlit ou Gradio, qui produisent tous deux de bons résultats très rapidement.
• Montrez le PoC aux parties prenantes et répétez si nécessaire.

Licence

Licence MIT

Copyright (c) 2023 Paulo Salem da Silva

L'autorisation est accordée par la présente, gratuitement, à toute personne obtenant une copie de ce logiciel et des fichiers de documentation associés (le « Logiciel »), d'utiliser le Logiciel sans restriction, y compris, sans limitation, les droits d'utilisation, de copie, de modification, de fusion. , publier, distribuer, accorder des sous-licences et/ou vendre des copies du Logiciel, et permettre aux personnes à qui le Logiciel est fourni de le faire, sous réserve des conditions suivantes :

L'avis de droit d'auteur ci-dessus et cet avis d'autorisation doivent être inclus dans toutes les copies ou parties substantielles du logiciel.

LE LOGICIEL EST FOURNI « TEL QUEL », SANS GARANTIE D'AUCUNE SORTE, EXPRESSE OU IMPLICITE, Y COMPRIS MAIS SANS LIMITATION LES GARANTIES DE QUALITÉ MARCHANDE, D'ADAPTATION À UN USAGE PARTICULIER ET DE NON-VIOLATION. EN AUCUN CAS LES AUTEURS OU LES TITULAIRES DES DROITS D'AUTEUR NE SERONT RESPONSABLES DE TOUTE RÉCLAMATION, DOMMAGES OU AUTRE RESPONSABILITÉ, QUE CE SOIT DANS UNE ACTION CONTRACTUELLE, DÉLIT OU AUTRE, DÉCOULANT DE, DE OU EN RELATION AVEC LE LOGICIEL OU L'UTILISATION OU D'AUTRES TRANSACTIONS DANS LE LOGICIEL.