PromptAlchemy DataDistillation
v0.1.1
Image générée via DALL-E 3
Bienvenue dans le premier guide pratique de ma série Prompt Alchemy ! Il s'agit de ma première tentative de partager certaines de mes techniques, trucs et astuces d'« ingénierie », donc si vous aimez ce dépôt, pensez à lui donner une étoile ou à lui donner une contribution. Vous pouvez également le partager au sein de votre réseau pour aider d'autres le trouvent ! Je suis plus qu'heureux de partager davantage si les gens sont intéressés.
Ce guide devrait vous permettre d'avoir des interactions plus personnalisées avec ChatGPT en tirant parti des conversations réussies que vous avez eues avec lui auparavant pour créer des invites spécialisées dans les paramètres « instructions personnalisées » de ChatGPT. J'appelle ces données « distillation » et non quelque chose comme « résumé » ou « optimisation », car la clé ici n'est pas de conserver le même contexte ou la même structure, mais de condenser et de transformer les données en quelque chose de plus adapté à ce cas d'utilisation.
Gardez à l’esprit que cela vise à utiliser vos propres données pour travailler avec ce processus avec GPT. L'intention est de produire une sortie personnalisée pour un usage personnel. Si vous n'êtes pas à l'aise de laisser GPT fonctionner avec un tel ensemble de données et son contenu, alors cette technique n'est probablement pas pour vous. L'adaptation de ce cadre pour gérer des utilisations alternatives à partir d'autres données (que vous possédez) devra être effectuée par vous-même.
J'espère que vous trouverez ce guide utile !
| Cette technique nécessite l’accès au plugin « Advanced Data Analysis ». |
|---|
| Cette technique est conçue uniquement pour l'interface utilisateur Web ChatGPT. Les fichiers ne peuvent pas (encore) être transmis directement aux modèles GPT via CLI. |
|---|
Cette technique vise à distiller les données de conversation personnelles en quelque chose qui correspond au paramètre « instructions personnalisées » de l'interface ChatGPT. Il est probablement également possible d'utiliser cette méthode pour les appels d'API, mais gardez à l'esprit que vous devez toujours accéder au plugin Advanced Data Analysis sur l'interface ChatGPT pour utiliser cette technique. Pour les besoins de cette démonstration, je suppose que vous utiliserez ce qui est exporté depuis le site Web de ChatGPT.
Il ne s’agira pas d’une invite unique. Considérez cela comme une démonstration de « guidage » rapide, ressemblant davantage au raisonnement CoT, bien que légèrement différent. Le regroupement et le traitement de ces informations en étapes raisonnables et réalisables sont essentiels pour atteindre les résultats souhaités de manière efficace et efficiente. Si vous vous attendez à ce qu'il fasse tout en même temps, il va devenir confus et oublier tous les détails qu'il était censé inclure et faire.
Vous pouvez rassembler et formater vos données personnelles à partir de cette liste étape par étape.
“Could you pretty-print or reformat the entire json file to a more human-readable format and allow me to download the reformatted file?” Enregistrez ce fichier là où vous avez enregistré le fichier de conversations d'origine. GPT a plus de mal à interpréter comment gérer le fichier json et reste bloqué s'il n'est pas joliment imprimé. Lorsqu'il est reformaté de cette manière, GPT peut évaluer rapidement et facilement le fichier et son contenu.Vous pouvez aborder cela de deux manières : vous pouvez d'abord expliquer les objectifs et les intentions de ce que vous essayez d'accomplir et permettre à GPT de générer lui-même les étapes d'analyse (c'est ce que j'ai fait, avec des références croisées), ou vous pouvez spécifiquement demander l’analyse dans les étapes que je propose ci-dessous. Gardez à l'esprit que ma formation est en linguistique, je peux donc vérifier les analyses qu'il tente de mener et affiner ce qu'il essaie de faire en fonction de mes connaissances s'il fait quelque chose de bizarre. Pour réduire les frictions et la confusion, je vous recommande d'utiliser les invites fournies, mais si vous êtes explorateur et curieux comme moi, voir quelles approches cela suggère pourrait être une expérience amusante.
Avant de continuer, sachez que GPT essaiera probablement de vérifier avec vous si ce qu'il fait est correct et passera en revue ses étapes. Comme de nombreuses personnes le soulignent à juste titre, vous ne pouvez pas vous attendre à ce que les résultats soient identiques à chaque fois que vous l'essayez. Restez flexible pendant ce processus et fournissez autant de commentaires constructifs que possible. Les invites fournies guident le modèle pour accomplir la tâche, je ne le commande pas. Utilisez les invites, mais comprenez que ce sera à vous de le guider dans la bonne direction pour atteindre l'objectif. Ce n'est pas aussi difficile qu'il y paraît, car transformer le processus d'analyse en étapes claires permet au modèle de répondre étape par étape, réponse par réponse, permettant des périodes de clarification et de retour d'information pour s'ajuster si nécessaire. Vous devrez peut-être lui rappeler la dernière étape si la conversation s'étend loin, mais encore une fois, une référence rapide à « tu te souviens de X ? redirige son attention vers le but visé.
C'est une bonne idée de décrire d'abord vos intentions avant de réfléchir à quoi et comment demander. Voyons cela maintenant. Vous trouverez ci-dessous un aperçu général de ce que nous essayons de faire et de la manière de le faire.
Mesures:
Maintenant, construisons l'invite pour exprimer notre objectif en matière de GPT et ce que nous attendons d'elle :
«Cet ensemble de données avec lequel nous travaillons correspond à mes données d'interaction personnelle accumulées en tant qu'utilisateur. Mon objectif primordial pour cette conversation est de concocter un ensemble d’instructions personnalisées en utilisant cet ensemble de données pour personnaliser les interactions futures et simplifier simultanément les instructions supplémentaires.
Si vous souhaitez que GPT génère ses propres instructions pour atteindre l'objectif, ajoutez simplement ceci :
« Pourriez-vous m'aider à y parvenir et à analyser mes données ?
Demander une vérification de confirmation comme celle-ci permet à l'IA de répondre à la fois en vérifiant sa compréhension de votre invite et en prouvant qu'elle a compris ce que vous avez demandé en expliquant comment elle accomplirait cette tâche, qui se produit généralement sous forme de liste facile à suivre. Vous n'avez pas besoin d'indiquer explicitement à GPT de construire les étapes d'analyse, car il le fera tout seul ici.
| L'ajout à l'invite ici n'a pas besoin d'être reproduit textuellement, mais la clause finale DOIT être une clause interrogative, et elle DOIT terminer sa ponctuation par un « ? pour que le comportement soit reproduit. |
|---|
Si vous souhaitez utiliser le processus prédéfini, il peut être répliqué comme suit. Ajoutez ceci à l'invite d'origine :
« Pour y parvenir, décomposons cela en un processus étape par étape. Nous pouvons suivre cette méthode comme suit :
- Statistiques de base : nous commencerons par analyser le nombre de conversations, la longueur moyenne des messages, la fréquence des interactions, etc.
- Analyse du contenu : nous examinerons le contenu des messages dans ces données d'interaction pour comprendre les sujets d'intérêt, les expressions fréquemment utilisées, les sentiments, etc.
- Modèles d'interaction : nous examinerons la manière dont vous interagissez avec l'assistant, comme les types de questions que vous posez, les commentaires fournis, les formats et le moment des interactions.
- Développement d'instructions personnalisées : sur la base des informations fournies ci-dessus, nous formulerons des instructions personnalisées qui pourront être utilisées pour rationaliser les interactions futures.
Comprenez-vous les instructions ?
Ce sont des mesures que GPT semble valoriser favorablement. Même si cela peut nous sembler insignifiant ou non pertinent, rappelez-vous que nous ne construisons pas ces instructions pour que nous les interprétions, nous les construisons pour que l'IA les interprète.
Une fois cette invite envoyée, le processus commencera étape par étape à travers une série de réponses, d'essais et d'erreurs. Il est probable que chaque étape d'instruction soit précédée d'un sous-processus d'étapes pour atteindre l'objectif de l'étape spécifique. Le nombre de réponses nécessaires pour terminer les sous-étapes d'une super-étape donnée varie, mais il devrait atteindre les bons résultats avec peu ou pas d'interférence autre que “let's proceed!” .
Pour recouper et vérifier les étapes réussies que mon itération a utilisées pour accomplir ces tâches, je les ai fournies ci-dessous. Ne vous inquiétez pas, je ne m'attends pas à ce que tous ceux qui utilisent cette technique connaissent toutes ces analyses sophistiquées et comment elles sont censées fonctionner. Vous pouvez l'utiliser comme référence pour savoir ce qui fonctionne et ce qu'il faut rechercher. Si l'IA suggère qu'elle veut faire quelque chose que vous ne connaissez pas ou ne comprenez pas, dites-lui de suivre les étapes ci-dessous. Vous pouvez également utiliser le plan pour faire correspondre les sous-étapes afin de vous assurer que tout est sur la bonne voie. N'oubliez pas qu'il s'agit d'un aperçu pour guider le modèle ; Je ne recommanderais pas d'envoyer ceci sous forme d'invite textuelle au modèle.
N'oubliez pas que GPT n'est pas Dieu, vous devrez peut-être le rappeler une ou deux fois pour garder le cap et suivre le processus. Il voudra peut-être sauter une étape ou deux. Une fois que vous avez réussi à convaincre le modèle de répondre avec tous les résultats d'analyse ci-dessus et que vous pouvez voir son travail, il est temps de passer à la phase finale. Ne vous éloignez pas longtemps ; s'il expire, GPT oubliera toutes les données acquises en raison de son inactivité. Vous pouvez essayer de lui demander de revenir sur la conversation, mais en fonction de la durée de la conversation, cela s'avérera probablement peu fiable.
Les résultats de l'analyse ont été acquis et, s'ils étaient guidés correctement, ils auraient dû produire tous les résultats obtenus jusqu'à présent. Vous pouvez en tirer parti pour la mémorisation, la récupération et la vérification en recoupant les instructions distillées avec les résultats fournis précédemment. Puisque ces données ont été acquises à l’aide de Advanced Data Analysis, vous pouvez revenir en arrière et observer comment ces résultats ont été calculés. Les chiffres devraient tous avoir été calculés par programme via des techniques d'analyse légitimes si vous avez suivi les grandes lignes, ce qui signifie qu'ils sont très probablement précis et non triviaux. GPT est également capable de résumer des éléments clés et des évaluations de données, de sorte que tout ce qui n'est pas une valeur numérique est le résultat direct du résumé des critères d'analyse des données. Ceci est important, car lorsqu'il distille les résultats finaux que nous voulons et que les chiffres ne correspondent pas (cela arrive), rappelez-le et faites-lui référence aux points de données clés qu'il a fournis plus tôt (ou, alternativement, copiez-les directement comme correction d'erreur) . Une fois que vous êtes prêt, il est temps de référer le modèle à l'objectif global et de fournir à GPT les instructions claires et explicites sur ce que nous voulons en utilisant les résultats que nous avons acquis (que GPT aurait dû charger à chaud pour référence contextuelle si c'était le cas). pas de délai d'attente).
Si vous l'avez remarqué plus tôt, nous n'avons pas fourni d'instructions détaillées et claires sur ce que sont précisément ces instructions personnalisées et comment nous voulons qu'elles soient construites et distillées. Cela était intentionnel afin de ne pas submerger et/ou détourner l'attention de GPT. Ce que nous avons fait jusqu'à présent a été d'affiner le contexte des informations avec lesquelles GPT peut travailler jusqu'à un ensemble de parties gérables. Au lieu de condenser le contexte de la fenêtre en résumant les données, nous extrayons les parties les plus pertinentes des données qui comptent pour une IA. Maintenant que nous avons extrait ces détails, nous pouvons les utiliser comme contexte pour créer notre jeu d'instructions distillé.
« Maintenant, rappelez-vous notre objectif primordial pour cette conversation. L'objectif de la création de ces instructions personnalisées est de permettre à l'IA de comprendre rapidement le type d'utilisateur que je suis et de créer un ensemble d'instructions personnalisées personnalisées basées sur l'ensemble des données d'interaction que nous avons analysées jusqu'à présent. Cette IA en question, c’est vous, spécifiquement, sur cette plateforme. Il y a deux boîtes présentes. Ils sont les suivants :
- Que souhaiteriez-vous que ChatGPT sache sur vous pour fournir de meilleures réponses ?
- Comment souhaiteriez-vous que ChatGPT réponde ?
Les deux cases ont une limite de caractères de 1 500. Le défi est que je souhaite que les futures interactions avec GPT connaissent des informations précises sur nos interactions antérieures et sur la façon dont j'utilise cette plate-forme. Vous disposez désormais à la fois de résultats statistiques et de mes données brutes de conversation avec lesquelles travailler. Je veux les instructions les plus précises et les mieux adaptées possibles qui résument au mieux tout ce que j'ai fait avec vous jusqu'à présent de manière efficace et efficiente. Je veux également être clair : les meilleurs résultats n’ont pas besoin d’être interprétables pour moi en tant qu’humain. S'il est préférable de le résumer comme un fouillis de mots apparemment absurdes ou d'autres données de ce type, c'est bien tant que c'est le moyen le meilleur et le plus précis de condenser autant d'informations et d'intentions que possible pour que l'assistant les interprète. Est-ce que cela fonctionnera pour vous ?
Cette invite devrait être tout ce dont vous avez besoin pour qu'elle fournisse les résultats souhaités. À partir de là, il devrait vous fournir un résumé analytique détaillé des éléments clés de vos données. Vérifiez les valeurs numériques avec les résultats précédents à des fins de vérification et affinez si nécessaire, en demandant d'ajouter toute information pertinente qui, selon vous, a manqué. Dans mon cas, il a fourni un processus de réponse en deux étapes ; un pour chaque boîte d’instructions.
Désormais, l’élément clé pour que cela soit réussi et efficace est le deuxième paragraphe de la dernière invite. C’est ce qui distingue une technique de récapitulation de cette technique de distillation. Lorsque vous résumez, l’intention est de maintenir un récit et une structure relatifs du matériel source global. Idéalement, un résumé devrait être une version condensée de la même chose. Ici, notre objectif est légèrement différent. Nous voulions les parties les plus importantes des données qui aideraient une IA à mieux se préparer aux interactions futures avec le moins d'explications contextuelles possible tout en minimisant les questions ou les phrases répétitives (c'est-à-dire “provide the output in a 5th-grade reading level” ), condensées. en 1500 caractères. L'astuce consiste à tirer parti de GPT en le laissant fournir lui-même ces informations précieuses, quelle que soit notre capacité à comprendre ce que cela signifie ou pourquoi cela est pertinent. Vous devez insister sur GPT pour autoriser ce comportement et donner la priorité à l'interprétabilité de l'IA plutôt qu'à l'interprétabilité humaine. Par conséquent, cela peut être considéré comme une forme de « distillation » des données, car nous transformons le résultat en quelque chose qui est structuré et utilisé différemment de son matériel source, mais qui ne peut pas être créé sans le matériel source lui-même.
Félicitations, vous venez d'effectuer une distillation de données ! Profitez de conversations beaucoup plus faciles et fluides avec votre assistant, avec beaucoup moins de frictions et beaucoup moins d'instructions répétitives.
Vous pouvez voir le résultat de la première instruction ci-dessous. Ce n’était pas la dernière instruction ; J'ai affiné cela davantage et ajouté d'autres optimiseurs personnels, je suis donc à l'aise de partager ceci, car c'était la réponse immédiate. Quelques valeurs ont été expurgées, mais cela donne une idée du résultat. À partir de ces données, vous pouvez déjà voir comment j'utilise cette plateforme et ce que l'IA considère comme pertinent pour elle-même. Remarquez la durée de mes conversations. Reconnaissez que l'incitation de qualité ne consiste pas nécessairement à transformer tout en une seule invite, mais plutôt à obtenir des conseils rapides de qualité pour obtenir des résultats significatifs et intéressants. Voyez comment cela se compare à votre résultat !
"L'utilisateur a participé à des conversations [de valeur] d'une durée moyenne d'environ 47 messages. L'utilisateur pose en moyenne 1,21 questions par message. Les interactions de l'utilisateur sont pour la plupart positives, avec des commentaires constructifs occasionnels et des rapports d'erreurs. L'utilisateur demande fréquemment "Quoi", " Les questions de type Comment », « Faire » et « Est » et préfèrent des réponses détaillées et complètes. La longueur moyenne des questions de l'utilisateur est d'environ [valeur] mots, ce qui indique que les sujets d'interaction approfondis de l'utilisateur incluent le développement et l'IA. discussions, linguistique, opérations de données, interactions personnelles et scripts.
Ce guide constitue une ressource complète pour toute personne souhaitant améliorer ses interactions avec ChatGPT grâce à la distillation des données. En suivant les étapes décrites, vous personnalisez non seulement votre expérience, mais vous vous engagez également dans une expérience amusante et interactive pour adapter un assistant IA à vos besoins individuels sans affiner le modèle.
N'oubliez pas que ce processus est itératif et séquentiel et peut nécessiter quelques essais et erreurs en fonction des réponses spécifiques fournies par l'assistant. Cependant, le résultat – un agent conversationnel plus intuitif et plus réactif – en vaut la peine. Que vous soyez un débutant curieux du potentiel de l'IA ou un expert cherchant à dynamiser vos capacités d'incitation, ce guide propose une approche flexible et exploratoire pour vous lancer. Pour ceux qui souhaitent approfondir leurs connaissances, la porte de l’analyse avancée des données et de la théorie linguistique est désormais ouverte, et les possibilités sont infinies.
Pour ma prochaine technique, je rédigerai une approche utile pour une invite d'image simple et exploitable avec DALL-E 3.
Je ferai de mon mieux pour répondre à toutes les questions et aider les autres lorsque je le peux. N'hésitez pas à me dire ce que vous en pensez ! J’apprécie tous les commentaires !
