Le projet magique Prompt ?♂️
Ce référentiel contient une ressource d'ingénierie Prompt sélectionnée à la main, axée sur Generative Pretrained Transformer (GPT), ChatGPT, PaLM, etc.
Table des matières
- papier
- Outils et code
- API
- Ensemble de données
- Modèle
- Détecteur de contenu IA
- éduquer
- vidéo
- livres
- communauté
- Comment contribuer
papier
?
Technologie d'ingénierie rapide :
- Méthode pour améliorer le projet ChatGPT Prompt à l'aide du répertoire Prompt Pattern [2023] (Arxiv)
- Optimisation discrète basée sur le gradient pour un réglage fin et une découverte rapides [2023] (Arxiv). - Conseil général : Démo de génération de chaînes de pensée pour les grands modèles de langage [2023] (Arxiv)
- Invites progressives : apprentissage continu des modèles de langage [2023] (Arxiv)
- Conseils pour le traitement par lots : inférence efficace avec l'API LLM [2023] (Arxiv)
- Invites continues pour résoudre des problèmes complexes [2022] (Arxiv)
- Conseils structurels : étendre l'apprentissage contextuel à 1 000 exemples [2022] (Arxiv)
- Les grands modèles de langage sont des ingénieurs d'invites au niveau humain [2022] (Arxiv)
- Demandez-moi n'importe quoi : stratégies simples pour inciter des modèles de langage [2022] (Arxiv)
- Conseils pour que GPT-3 soit fiable [2022] (Arxiv)
- Conseils de rupture : approches modulaires pour résoudre des tâches complexes [2022] (Arxiv)
- PromptChainer : Chaînage d'invites de grands modèles de langage via la programmation visuelle [2022] (Arxiv)
- Enquête sur l'ingénierie des indices dans les modèles de diffusion [2022] (Arxiv)
- Montrez votre travail : un brouillon de calculs intermédiaires utilisant des modèles de langage [2021] (Arxiv)
- Conseils pédagogiques pour réimaginer GPTk [2021] (Arxiv)
- Indices merveilleusement ordonnés et leur découverte : surmonter la sensibilité de l'ordre des indices sur les petits échantillons [2021] (Arxiv)
- La puissance de l'échelle pour un réglage rapide et efficace des paramètres [2021] (Arxiv)
- Programmation de grands modèles de langage : au-delà du paradigme de quelques tirs [2021] (Arxiv) - Prefix-Tuning : Optimisation des astuces continues pour la génération [2021] (Arxiv)
Raisonnement et apprentissage contextuel :
- Raisonnement en chaîne de pensée multimodale dans les modèles de langage [2023] (Arxiv)
- À bien y réfléchir, nous n’empruntons pas la voie de la réflexion en une seule étape ! Biais et nocivité dans l'inférence Zero-shot [2022] (Arxiv)
- ReAct : Synergie de raisonnement et d'action dans les modèles de langage [2022] (Arxiv)
- Les modèles de langage sont des raisonneurs gourmands : une analyse formelle systématique des chaînes de pensée [2022] (Arxiv)
- Progrès réalisés pour améliorer les modèles de langage pour l'inférence [2022] (Arxiv)
- Les grands modèles de langage sont des raisonneurs sans tir [2022] (Arxiv)
- Raisonner comme un exécuteur de programme [2022] (Arxiv)
- L'autocohérence améliore le raisonnement en chaîne de pensée dans les modèles de langage [2022] (Arxiv)
- Repenser le rôle de la démonstration : qu'est-ce qui fait que l'apprentissage contextuel fonctionne ? [2022] (Arxiv)
- Apprendre à expliquer : Raisonnement multimodal pour les questions-réponses scientifiques à travers les chaînes de pensée [2022] (Arxiv)
- La chaîne de pensée invite à susciter des inférences dans de grands modèles de langage [2021] (Arxiv)
- Générer des connaissances incite à un raisonnement de bon sens [2021] (Arxiv)
- BERTese : Apprenez à communiquer avec BERT [2021] (Acl)
Évaluer et améliorer les modèles de langage :
- Les grands modèles de langage sont sujets aux interférences d'un contexte non pertinent [2023] (Arxiv)
- Explorer la base de connaissances interne des modèles de langage [2023] (Arxiv) - Méthodes de découverte du comportement des modèles de langage : Évaluation de l'écriture de modèles [2022] (Arxiv) Lien original
- Calibrer avant utilisation : améliorer les performances en quelques tirs des modèles de langage [2021] (Arxiv) Lien d'origine
Application du modèle de langage :
- Conseils pour classer les mèmes malveillants multimodaux [2023] (Arxiv) Lien original
- Modèle de langage rapide pour la synthèse de conversations sociales [2023] (Arxiv) Lien original
- Invites fondées sur le bon sens pour la génération de conversations empathiques contrôlées [2023] (Arxiv) Lien original
- Modèle de langage assisté par programme [2023] (Arxiv) Lien original
- Rédaction d'invites juridiques pour la prédiction de jugements juridiques multilingues [2023] (Arxiv) Lien original
- Recherche sur l'ingénierie rapide pour résoudre les problèmes CS1 en utilisant le langage naturel [2022] (Arxiv) Lien original
- Création de tracés à l'aide de modèles linguistiques pré-entraînés [2022] (Acl) Lien original
- AutoPrompt : Utilisation d'invites générées automatiquement pour obtenir des connaissances à partir de modèles de langage [2020] (Arxiv) Lien original
Exemples de détection des menaces et de contre-mesures :
- Intelligence artificielle constitutionnelle : inoffensive via les commentaires sur l'IA [2022] (Arxiv) Lien original
- Ignorez le conseil précédent : Techniques d'attaque pour les modèles de langage [2022] (Arxiv) Lien original
- Texte généré automatiquement : une étude complète des modèles de menaces et des méthodes de détection [2022] (Arxiv) Lien original
- Évaluation de la susceptibilité des modèles de langage pré-entraînés via des exemples contradictoires fabriqués à la main [2022] (Arxiv) Lien original
- Détection de la toxicité à l'aide d'indices générés [2022] (Arxiv) Lien original. - Comment savons-nous ce que sait le modèle de langage ? [2020] (Mit)
Apprentissage en quelques étapes et optimisation des performances :
- Promptagator : récupération dense en quelques plans à partir de 8 exemples [2022] (Arxiv)
- Few-Shot incite à un manque de fiabilité interprétative dans le raisonnement textuel [2022] (Arxiv)
- Améliorer les modèles linguistiques pré-entraînés pour les apprenants débutants [2021] (Acl)
- Les modèles linguistiques sont des apprenants rares [2020] (Arxiv)
Génération de texte en image :
- Une classification de modificateur d'indice pour la génération de texte en image [2022] (Arxiv)
- Lignes directrices de conception pour les modèles génératifs texte-image d'ingénierie rapide [2021] (Arxiv)
- Synthèse d'images haute résolution à l'aide de modèles de diffusion latente [2021] (Arxiv)
- DALL·E : Créer des images à partir de texte [2021] (Arxiv)
Texte en musique/génération de son :
- MusicLM : Générer de la musique à partir de texte [2023] (Arxiv)
- ERNIE-Music : Génération de musique texte-onde à l'aide de modèles de diffusion [2023] (Arxiv)
- Noise2Music : Génération de musique modulée en texte à l'aide de modèles de diffusion [2023) (Arxiv)
- AudioLM : Une méthode de génération audio basée sur la modélisation du langage [2023] (Arxiv)
- Make-An-Audio : génération de texte en audio à l'aide de modèles de diffusion de signaux améliorés [2023] (Arxiv)
Génération de texte en vidéo :
- Dreamix : Un modèle de diffusion vidéo pour un éditeur vidéo universel [2023] (Arxiv). - Tuning Video : réglage unique des modèles de diffusion d'images pour la génération de texte en vidéo [2022] (Arxiv)
- Du bruit en musique : génération de musique conditionnelle au texte basée sur un modèle de diffusion [2023] (Arxiv)
- Audio LM : une méthode de génération de modèles de langage audio [2023] (Arxiv)
Aperçu :
- Pilotage du Copilot et du Codex : température chaude, invites froides ou magie noire [2022] (Arxiv)
Outils et code
?
| nom | décrire | Lien |
|---|
| Indice GPT | GPT Index est un projet composé d'un ensemble de structures de données conçues pour faciliter le travail avec de grandes bases de connaissances externes avec LLM. | [GitHub] |
| Inviter | Utilisez LLM pour résoudre les problèmes de PNL et utilisez Promptify pour générer facilement différentes invites de tâches PNL pour les modèles génératifs populaires tels que GPT et PaLM. | [GitHub] |
| Meilleure invite | Testez la suite de tests avant de transmettre les invites LLM en production | [GitHub] |
| Explorateur de composition interactifx | ICE est un visualiseur de traces pour les bibliothèques Python et les programmes de modèles de langage. | [GitHub] |
| LangChainx | Créer des applications en utilisant LLM en combinaison | [GitHub] |
| Invite ouverte | Un framework open source pour un apprentissage rapide | [GitHub] |
| Moteur d'invite | Ce référentiel contient une bibliothèque d'utilitaires NPM pour créer et gérer des invites de modèle de langage étendu (LLM). | [GitHub] |
| Invite l'IA | Lieu de travail avancé pour GPT-3 | [GitHub] |
| Source d'invite | PromptSource est une boîte à outils permettant de créer, de partager et d'utiliser des invites en langage naturel. | [GitHub] |
| Source de Pensée | Un cadre permettant aux machines de réfléchir à la science | [GitHub] |
API
| nom | décrire | URL | Payant ou open source |
|---|
| OpenAI | GPT-n pour les tâches en langage naturel, Codex pour traduire le langage naturel en code et DALL·E pour créer et éditer des images brutes. | [OpenAI] | Payer |
| CohereAI | Cohere donne accès à des modèles de langage avancés à grande échelle et à des outils de traitement du langage naturel via une API. | [CohereAI] | Payer |
| Anthropique | à venir | [Anthropique] | Payer |
| FLAN-T5XXL | à venir | [CâlinVisage] | Source ouverte |
Ensemble de données
?
| nom | décrire | URL |
|---|
| P3 (pool public d'invites) | P3 (Public Pool of Prompts) est une collection d'ensembles de données en anglais contenant diverses tâches PNL. | [Visage câlin] |
| Invites ChatGPT impressionnantes | Ce référentiel comprend une curation d'invite ChatGPT pour une meilleure utilisation de ChatGPT. | [GitHub] |
?
| nom | décrire | Lien |
|---|
| ChatGPT | ChatGPT | [OpenAI] |
| Manuscrit | Le modèle Codex est un descendant de notre modèle GPT-3 et peut comprendre et générer du code. Ses données de formation incluent le langage naturel et des milliards de lignes de code public sur GitHub | [GitHub] |
| Floraison | BigScience Grand modèle de langage multilingue en libre accès pour la science ouverte | [Visage câlin] |
| LLM sur Facebook | OPT-175B est un modèle équivalent au GPT-3 méta-entraîné. Il s'agit du plus grand modèle de langage pré-entraîné actuellement disponible, avec 175 milliards de paramètres | [Alpa] |
| GPT-NeoX | GPT-NeoX-20B, un modèle de langage autorégressif formé de 20 milliards de paramètres | [Visage câlin] |
| FLAN-T5XXL | Flan-T5 est un modèle optimisé pour les commandes, ce qui signifie qu'il ne présente aucun comportement de tir lorsque les commandes sont données dans le cadre d'un signal. | [HuggingFace/Google] |
| XLM-RoBERTa-XL | Le modèle XLM-RoBERTa-XL est pré-entraîné sur 2,5 To de données CommonCrawl filtrées, contenant 100 langues | [Visage câlin] |
| GPT-J | Il s'agit d'un modèle de langage causal similaire à GPT-2 formé sur l'ensemble de données Pile | [Visage câlin] |
| Invites d'écriture | Un grand ensemble de données de 300 000 histoires écrites individuellement et d'invites d'écriture extraites des forums en ligne (reddit) | [Kaggle] | Invites de texte et URL d'images extraites du serveur Discord public de MidJourney | rlhf-pytorch | Implémentation du RLHF (Reinforcement Learning with Human Feedback) dans l'architecture PaLM. Fondamentalement, ChatGPT, mais avec l'ajout de PaLM | [Github] | Une implémentation de modèles de type GPT-2 et GPT - 3 utilisant la bibliothèque de tenseurs de grille pour le parallélisme des modèles. | [Github] | LaMDA-rlhf-pytorch | Implémentation open source pré-entraînée de LaMDA, à l'aide de PyTorch. Ajout de RLHF similaire à ChatGPT. | [Github] | RLHF | Une mise en œuvre de l'apprentissage par renforcement par retour humain | [Github] |
Détecteur de contenu IA
?
| nom | décrire | URL |
|---|
| Classificateur de texte IA | L'AI Text Classifier est un modèle GPT finement réglé qui peut prédire la probabilité qu'un morceau de texte soit généré par l'IA à partir de diverses sources telles que ChatGPT. | [OpenAI] |
| Détecteur de sortie GPT-2 | Il s'agit d'une démonstration en ligne de RoBERTa implémentée sur la base de ?/Transformers | [Visage câlin] |
| Détecteur d'ouverture | Classificateur AI pour indiquer le texte écrit par l'IA (wrapper OpenAI Detector Python) | [GitHub] |
Tutoriel
Introduction au projet Prompt
- Prompt Engineering 101 - Introduction et ressources
- Prompt Engineering 101". - Guide d'ingénierie rapide par SudalaiRajkumar
Guide du débutant sur les modèles de langage génératifs
- Un guide convivial pour les débutants sur les modèles de langage génératifs - Guide LaMBDA
- IA générative basée sur Cohere : Partie 1 - Conseils pour les modèles
Meilleures pratiques pour une ingénierie rapide
- Meilleures pratiques pour l’ingénierie des invites de l’API OpenAI
- Comment rédiger de bonnes invites
Guide de projet complet
- Une introduction complète au grand projet Prompt de modèle de langage
- Guide d'ingénierie des invites : comment concevoir les meilleures invites
Aspects techniques de l'ingénierie
- 3 grands principes de l'ingénierie GPT-3 Prompt
- Cadre commun pour les projets ChatGPT Prompt
- Méthode de programmation rapide
Ressources de projet rapides
- Astuces ChatGPT géniales
- Meilleure invite de diffusion stable de 100+
- LIVRES D'INFORMATIONS DALLE
- Livre de recettes OpenAI
- Le projet Prompt de Microsoft
vidéo
?- Version avancée du projet ChatGPT Prompt
- ChatGPT : 5 conseils d'ingénierie rapides pour les débutants
- Traitement avancé du langage naturel CMU 2022 : invite
- Prompt Engineering - une nouvelle carrière ?
- Guide ChatGPT : utilisez de meilleures invites pour multiplier par 10 vos résultats
- Modèles de langage et ingénierie d'invite : une étude systématique des méthodes d'invite en PNL
- Prompt Engineering 101 : invites à saisie semi-automatique, à échantillon nul, à échantillon unique et à quelques échantillons
Communauté
?
- Discorde OpenAI
- Discorde de PromptsLab
- Apprendre l'invite
- Discord r/ChatGPT
- Discorde à mi-parcours
Comment contribuer
Nous apprécions les contributions à cette liste ! En fait, c'est la principale raison pour laquelle je l'ai créé : pour encourager les contributions et encourager les gens à s'abonner aux modifications afin de rester au courant des développements nouveaux et passionnants dans le domaine des grands modèles de langage (LLM) et de l'ingénierie Prompt.
Avant de contribuer, veuillez prendre un moment pour consulter nos directives de contribution. Ces lignes directrices contribueront à garantir que vos contributions sont conformes à nos objectifs et répondent à nos normes de qualité et de pertinence. Merci de votre intérêt à contribuer à ce projet !
Source de l’image : docs.cohere.ai
