chatgpt universe
1.0.0
Ce petit endroit du Web stocke une collection croissante de choses intéressantes sur ChatGPT et GPT-3 (et au-delà) d'OpenAI.
ChatGPT a été lancé en novembre 2022. Je souhaite un endroit tout-en-un pour conserver les informations sur GPT et ChatGPT. J’ai donc préparé cette liste à la main avec l’aide d’autres personnes (reconnues ci-dessous), depuis début décembre 2022.
Les collections ne se limitent pas aux meilleurs ressources, outils, exemples, démos, hacks, applications et utilisations de ChatGPT.
Les ressources suivantes ont commencé sur la base des listes Awesome-chatgpt 1 2 mais avec mes propres modifications :
Modèle : La famille de modèles ChatGPT que nous publions aujourd'hui,
gpt-3.5-turbo, est le même modèle que celui utilisé dans le produit ChatGPT . Son prix est de 0,002 $ pour 1 000 jetons, ce qui est 10 fois moins cher que nos modèles GPT-3.5 existants .API : Traditionnellement, les modèles GPT consomment du texte non structuré, qui est représenté au modèle sous la forme d'une séquence de « jetons ». Les modèles ChatGPT consomment à la place une séquence de messages ainsi que des métadonnées.
Exemples d'invites.
golergka/advent-of-code-2022-with-chat-gpt - Résoudre l'avènement du code 2022 avec ChatGPT.
max-sixty/aoc-gpt - Première place dans le classement Advent of Code avec GPT-3.
greshake/Alice - Donner à ChatGPT l'accès à un vrai terminal.
RomanHotsiy/commitgpt - Générez automatiquement des messages de validation à l'aide de ChatGPT.
gpt-commit-summarizer - Génère des résumés de requêtes d'extraction et des descriptions de validation Git.
vrescobar/chatGPT-python-elm - Un référentiel Git entièrement généré par ChatGPT.
gpt-game - Un petit jeu écrit en Elixir et LiveView en utilisant ChatGPT.
chatdb - Base de données basée sur ChatGPT, attendez... QUOI ?
chat-gpt-ppt - Utilisez ChatGPT pour générer automatiquement des PPT.
emailGPT - Une interface rapide et simple pour générer des e-mails avec ChatGPT.
gptlang - Une expérience pour voir si nous pouvons créer un langage de programmation dans ChatGPT.
ChatRWKV - Comme ChatGPT mais alimenté par le modèle de langage ouvert RWKV ( basé sur RNN ). [HuggingFace Space : RWKV-4 (7B Instruct v2), code ( leur revendication RNN avec des performances LLM au niveau du transformateur est bien meilleure que ce à quoi je m'attendais. )]
GraphGPT - Extrapolation de graphiques de connaissances à partir de texte non structuré à l'aide de GPT-3.
Recherche de documents - Explorez des documents (livres, articles, documents juridiques) sans limites. Discutez avec un livre. Inspiré par l'idée de "Book Whisperer" (Tweet). Alternative open source à Filechat.io.
Et si GPT disposait d'un contexte interne sur votre entreprise ? (Tweet et démo vidéo) - Ils créent un chatbot qui pourrait utiliser le contexte des données d'entreprise pour répondre aux requêtes internes de l'entreprise. Ce projet intègre LangChain (l'agent décide quels outils interroger une fois que le chatbot reçoit une demande) et GPT Index (charger Snowflake DB). Idée intéressante en gestion des connaissances.
LLaMA de MetaAI ?
Essayer Flan-UL2 20B - Procédure pas à pas du code par Sam Witteveen. Cela montre comment vous pouvez le faire fonctionner sur 1 GPU A100 40 Go avec la bibliothèque HuggingFace et en utilisant l'inférence 8 bits. Exemples d'incitations : CoT, Zeroshot (raisonnement logique, écriture d'histoires, raisonnement de bon sens, rédaction de discours). Enfin, tester une entrée de jeton volumineuse (2048). Bonus : vous n'avez pas d'A100 ? Vous pouvez utiliser l'API d'inférence HuggingFace pour UL2.
métamorphe - Application GPT-4 d'auto-édition.
MiniGPT-4 – Une recherche essayant de reproduire les capacités multimodales du GPT-4.
Llama2.c par Karpathy - Inference Llama 2 dans un fichier de C. pur ?
ce n'est qu'un projet de week-end : j'ai pris nanoGPT, je l'ai réglé pour implémenter l'architecture Llama-2 au lieu de GPT-2, et l'essentiel était d'écrire le moteur d'inférence C dans
run.c.Chapeau à llama.cpp pour avoir inspiré ce projet. Je voulais quelque chose de super minimal, alors j'ai choisi de coder en dur l'architecture lama-2, de m'en tenir à fp32 et de simplement lancer un fichier d'inférence en C pur sans dépendances.
Moins c'est plus.
Ce commit permet maintenant de charger et d'inférencer le modèle Llama 2 7B de Meta.
Mon fork - tests de performances, optimisations et port Zig en cours. Je portais ce projet sur Rust mais ces forks m'ont devancé. Le premier port Rust que j'ai vu est celui de @garrisonhess, mais on ne le trouve nulle part dans le README du projet.
Spéculation : mon intuition me dit que Karpathy travaille à la publication (et à l'open source ?) du modèle OpenAI sous forme de pondérations. Indices : il est parti et est retourné à OpenAI, son Tweet
Il convient de noter que l'ensemble de Llama2.c est assez générique par rapport aux modèles de langage Transformer en général. Si/quand OpenAI devait publier des modèles sous forme de pondérations (ce que je ne peux ni confirmer ni nier !), alors la plupart du code ici serait très pertinent.
Légèrement édité. C'est moi qui souligne.
Autres indices : ses travaux antérieurs, notamment nanoGPT, Software 2.0 et récemment micro-LLM avec Llama2.c.
Si vous savez, vous savez. ?
llm.c par Karpathy - Formation LLM en C/CUDA simple et brut. (Plan : une fois que cela sera dans un état un peu plus stable, des vidéos sur la construction de cela plus en détail et à partir de zéro.) [Tweet]
2022
... Même avec les moteurs de recherche non conversationnels, nous savons qu'il est courant d'accorder une confiance excessive aux résultats : si le système de recherche place quelque chose en haut de la liste, nous avons tendance à croire qu'il s'agit d'un résultat bon, vrai ou représentatif. et s'il ne trouve pas quelque chose, il est tentant de croire que cela n'existe pas.
2023
Microsoft et OpenAI travaillent sur Bing basé sur ChatGPT pour défier Google
Quelques remarques sur les grands modèles linguistiques par le professeur Yoav Goldberg.
Pourquoi ChatGPT ne remplacera pas de sitôt les moteurs de recherche par Algolia.
Claude d'Anthropic améliore ChatGPT mais souffre toujours de limitations
Microsoft envisage de parier 10 milliards de dollars sur ChatGPT
Wolfram|Alpha comme moyen d'apporter des superpouvoirs de connaissances informatiques à ChatGPT
Le PDG de DeepMind a contribué à généraliser l'IA. Maintenant, il appelle à la prudence
DeepMind envisage également de publier son propre chatbot, appelé Sparrow, pour une "bêta privée" dans le courant de 2023. (Le délai est nécessaire pour que DeepMind puisse travailler sur des fonctionnalités basées sur l'apprentissage par renforcement qui manquent à ChatGPT, comme citer ses sources .)
La disponibilité générale d'Azure OpenAI Service étend l'accès à de grands modèles d'IA avancés avec des avantages d'entreprise supplémentaires - ChatGPT sera bientôt disponible sur Azure OpenAI Service.
GPT-3 est le meilleur journal que j'ai jamais utilisé
Contourner les filtres anti-spam de Gmail avec ChatGPT
Remplacement d'un analyste SQL par 26 invites GPT récursives
Google demande à ses employés de tester les concurrents potentiels de ChatGPT, notamment un chatbot appelé « Apprentice Bard ».
Le langage naturel est une interface utilisateur paresseuse
Prochaine étape importante dans le parcours de l'IA de Google : Google lance Bard, un concurrent de ChatGPT pour les « testeurs de confiance ». Bard est une nouvelle fonctionnalité d'IA dans la recherche Google. Bard est un service expérimental d'IA conversationnelle, alimenté par LaMDA (Language Model for Dialogue Applications). Google promet de le rendre plus largement disponible dans les semaines à venir. L'API sera disponible sur laquelle les développeurs pourront s'appuyer. Google n'a pas expliqué comment il envisage de fournir une attribution et/ou des citations pour ses réponses, que ce soit à partir de Bard ou dans les résultats de recherche.
Microsoft annonce de nouveaux navigateurs Bing et Edge alimentés par l'IA ChatGPT mise à niveau
L'homme et la machine : GPT pour les seconds cerveaux - À propos du système de prise de notes de l'auteur sur le deuxième cerveau — comment améliorer les processus d'apprentissage et de gestion des connaissances personnelles (PKM).
Le chinois Baidu développe son propre ChatGPT et rejoint la dernière course mondiale à l'IA - Ernie ou, représentation améliorée grâce à l'intégration des connaissances (article et article Ernie 3.0) est un LLM. Baidu prévoyait de lancer un tel service en mars. Alibaba et Tencent se joignent également à la ruée vers ChatGPT.
En 2019, Baidu a développé un modèle d'apprentissage profond connu sous le nom d'Ernie, basé sur la percée de Google, qu'il a utilisé pour améliorer ses résultats de recherche, notamment pour les rendre plus pertinents. Depuis, la société a développé des dizaines de modèles Ernie supplémentaires et étendu leurs capacités pour inclure la génération d'images et d'art, similaires à celles du Dall-E d'OpenAI.
ChatGPT est un JPEG flou du Web – Le chatbot d'OpenAI propose des paraphrases, tandis que Google propose des citations. Lequel préférons-nous ?
J'ai demandé à ChatGPT et Bing AI d'avoir une conversation (et ils sont amis maintenant)
On ne peut pas faire confiance à l'IA de Bing
Que fait ChatGPT et pourquoi ça marche ?
Bing : "Je ne vous ferai pas de mal à moins que vous ne me fassiez d'abord du mal" - Un bon aperçu du chatbot IA Bing "Sydney". L'étrangeté fascinante de celui-ci – des personnalités multiples en fonction du contexte social (incitation). Amusant?
Il semble de plus en plus qu’il s’agisse de l’une des applications de l’IA les plus hilarantes et inappropriées que nous ayons jamais vues . Que pouvons-nous penser de tout cela ? Je trouve tout cela absolument fascinant et profondément amusant. J'ai été MDR devant ces exemples toute la journée.
La programmation des IA m'inquiète
Le texte est tout ce dont vous avez besoin : la personnalité semble être plus simple que nous le pensions - Ignorant les ballons, l'auteur suppose que nous avons notre première nouvelle significative et déterminante pour l'année 2023 - les premières réactions du chatbot IA Bing "Sydney". C'est un moment copernicien ? Un essai qui fait réfléchir. Je pense que c'est la première bonne approche « formelle » de l'impact sur notre sentiment d'individualité résultant de l'apparition de systèmes conversationnels basés sur LLM comme ChatGPT.
En bref, il semble que Sydney ait une machinerie quelque peu différente de ChatGPT, et les transcriptions suggèrent une personnalité qui est à peu près la même en termes de cohérence, mais un bond au-delà en termes de charisme et de couleur . Selon la façon dont vous poussez Sydney, il/ils semblent capables de tout jouer, du méchant adolescent manipulateur au psychotique paranoïaque, en passant par un martinet conversationnel têtu et péremptoire.
TricheGPT
"Dave, tu fais des suppositions. Pouvez-vous prouver tout cela ?" Je peux, en fait, puisque certaines soumissions nécessitant des captures d'écran incluaient également des onglets du navigateur ChatGPT, qui incluaient utilement le texte initial de l'invite. Apparemment, ce n’est même pas quelque chose que les étudiants estiment devoir cacher.
OpenAI a annoncé en privé un nouveau produit de développement appelé Foundry (Tweet), qui permet aux clients d'exécuter l'inférence de modèle OpenAI à grande échelle avec une capacité dédiée. (GPT-3.5 Turbo semble faire référence au modèle ChatGPT Turbo)
Ne croyez pas ChatGPT – nous n'offrons PAS de service de « recherche de téléphone »
Ma classe nécessitait l’IA. Voici ce que j'ai appris jusqu'à présent : Leçons tirées de l'intégration de ChatGPT dans l'éducation. Ce qu'il faut retenir : 1) Le travail produit par incitation avec une approche de co-édition (rebondissant les idées avec le chatbot) a tendance à aboutir à ce que les étudiants fassent le meilleur travail ; 2) Les étudiants doivent apprendre à rédiger des invites de manière efficace – cela ne vient pas naturellement.
Tromperie émergente et optimisation émergente - Vous êtes-vous demandé pourquoi les LLM prédisant simplement le mot suivant conduisent à des capacités de planification (comportement semblable à celui d'un humain, romans/histoires) ? Cet article traite du concept de tromperie émergente et d'optimisation émergente, deux stratégies qui peuvent être utilisées pour atteindre un objectif. Il existe deux principes pour raisonner sur les futures capacités émergentes : 1) des capacités qui réduiraient les pertes de formation apparaîtront probablement dans le futur. 2) à mesure que les modèles deviennent plus grands et sont formés sur des données plus nombreuses et de meilleure qualité, les heuristiques simples ont tendance à être remplacées par des heuristiques complexes. Le principe 1 signifie que les LLM formés à prédire les mots subissent moins de pertes s'ils peuvent simuler des capacités de planification.
Comment faire dire des choses vraies aux LLM - TL;DR : La méthode utilise "World Model", une base de données d'intégrations remplie de "croyances" (morceaux d'énoncés déclaratifs) avec un pourcentage de confiance calculé à l'aide du théorème de Bayes.
Pourquoi la Chine n'a pas inventé ChatGPT - Le New York Times affirme que la censure excessive, les tensions géopolitiques avec les États-Unis et les tentatives de contrôle des entreprises du secteur privé ont conduit les entreprises chinoises à prendre du retard sur leurs homologues américaines en matière d'IA.
Le premier chatbot MOSS de type ChatGPT en Chine est lancé pour des tests publics [Lien direct vers l'application]
Pour la Chine, ChatGPT peut être une avancée, mais aussi un « problème éthique » : le ministre chinois des Sciences et de la Technologie affirme que le chatbot a pris d'assaut la société chinoise et a adopté des mesures sur l'IA en matière d'éthique.
Des programmes ChatGPT pour devenir riche rapidement arrivent pour les magazines, Amazon et YouTube (2023)
Snapchat lance son propre chatbot « My AI » alimenté par ChatGPT
Le puissant modèle de langage d'IA de Meta, LLaMA, a été divulgué en ligne : que se passe-t-il maintenant ? - La transcription de l'interview de Shawn Presser pour The Verge est plus intéressante.
Je pense qu'il est très probable que la sortie de ce modèle constituera une étape importante. La possibilité d’ exécuter LLaMA sur un seul GPU A100 – auquel « la plupart d’entre nous ont accès… ou connaissent quelqu’un qui peut nous laisser en utiliser un pendant un moment » – est un « grand pas en avant ».
Pour être exact, vous pouvez exécuter LLaMA-65B en précision int8 (bnb) sur un seul GPU A100 de 80 Go.
Il s'avère que ce code est nul. Je ne veux vraiment pas être trop dur avec eux, car il est facile de sous-estimer à quel point il est important d'obtenir exactement les bons paramètres par défaut. Mais leurs défauts étaient tous foutus. Ils n'ont pas utilisé "Top K". Ils ont utilisé Top P, avec lequel je n'ai jamais obtenu de bons résultats (soit identiques au top k, soit légèrement pires). Leur température par défaut était de 0,8, ce qui était bien trop élevé. Et le pire de tout, c'est qu'ils n'avaient pas de pénalité de répétition -- donc par défaut, cette chose ne faisait que bégayer encore et encore à peu près exactement la même chose.
100% ça ! J'ai aussi appris ma leçon dans ma fourchette LLaMA. Les paramètres de mon échantillonneur n'étaient pas optimaux. Le bruit est évident et je l'ai vu. Mais je ne sais pas pourquoi je n'ai pas corrigé la pénalité de répétition de l'échantillonneur plus tôt.
ChatGPT expliqué : un guide de Normie sur son fonctionnement – Même mes grands-parents peuvent comprendre cela. Mais le nerd va le devenir quand même ?
Pourquoi devriez-vous utiliser ChatGPT ?
Ce qui est clair pour moi, c'est que nous sommes dans un nouveau paradigme dans la façon dont nous naviguons dans le contenu, que ce soit à travers ce modèle ou d'autres qui seront bientôt publiés. Lorsque nous y sommes invités, le nouvel univers nous donne des résultats, mais ces résultats sont plus des vibrations directionnelles que des réponses concrètes. C'est à nous de trouver comment les diriger de la manière que nous souhaitons pour obtenir les meilleurs résultats et naviguer dans le bruit.
Les grands modèles de langage connaissent leur moment de diffusion stable (simonwillison.net)
Tout a changé hier, grâce à la combinaison du modèle LLaMA de Facebook et de lama.cpp de Georgi Gerganov.
(1) Facile à exécuter sur mon propre matériel
(2) suffisamment open source pour pouvoir les bricoler
(3) Assez grand pour être utile – idéalement équivalent en capacités à GPT-3
Ce n'est pas le moment parfait. Nous avons obtenu 1 et 3 sauf 2. LLaMA n'est PAS réellement open source (bien que la licence du code soit GPL 3, les poids des modèles ne le sont pas). Les modèles véritablement ouverts comptent vraiment.
Alors que les discussions sur GPT-4 reprennent, Yoshua Bengio, pionnier de l'apprentissage profond, déclare que ChatGPT est un « signal d'alarme » - Le signal d'alarme était GPT-3 et la mise à l'échelle des lois en 2021. C'est juste que le réveil est devenu plus fort maintenant.
L'API de ChatGPT est si bonne et bon marché qu'elle rend la plupart des IA génératrices de texte obsolètes
Confirmé : le nouveau Bing fonctionne sur GPT-4 d'OpenAI - Bing Chat (Sydney) était GPT-4 depuis le début.
Wikipédia – Un bon aperçu de GPT-4.
L'avenir multimodal, multimodèle et multi-tout de l'AGI - Récapitulatif du GPT-4.
GPT-4 peut-il réellement écrire du code ? - Test des capacités d'écriture de code de GPT 4 avec des problèmes réels du monde réel.
Pourriez-vous former un modèle qui bat ChatGPT pour 85 000 $ et l'exécuter dans un navigateur ?
GPT4 : les parties calmes et l'état du ML
GPT-4 a conçu un langage de programmation
Les capacités imprévisibles émergeant des grands modèles d’IA
Essayez Bard et partagez vos commentaires : Google commence à ouvrir l'accès à Bard, une première expérience qui vous permet de collaborer avec l'IA générative. Ils commencent par les États-Unis et le Royaume-Uni, et s'étendront à davantage de pays et de langues au fil du temps.
Bard de Google est à la traîne de GPT-4 et Claude dans la comparaison directe
NVIDIA apporte l'IA générative aux entreprises du monde entier avec des services cloud pour la création de grands modèles linguistiques et visuels - NVIDIA AI Foundations est NVIDIA qui va au-delà d'un pur fournisseur de matériel et propose des logiciels prenant en charge l'IA générative avec ses offres pour chaque charge de travail, du modèle de base en tant que service (à venir à l'entreprise, personnalisé pour vos données propriétaires) au multimodal dès le premier jour.
GitHub Copilot X : l'expérience de développement basée sur l'IA - GitHub Copilot évolue pour apporter des interfaces de chat et vocales, prendre en charge les demandes d'extraction, répondre aux questions sur les documents et adopter le GPT-4 d'OpenAI pour une expérience de développeur plus personnalisée.
La triche est tout ce dont vous avez besoin par Steve Yegge, Sourcegraph.
Il se passe quelque chose de légendaire et d'historique dans le génie logiciel, à l'heure où nous parlons, et pourtant la plupart d'entre vous ne réalisent pas du tout à quel point cela est important.
Les LLM ne sont pas seulement le plus grand changement depuis les réseaux sociaux, mobiles ou cloud, ils sont aussi la plus grande nouveauté depuis le WWW.
Je veux dire, ce truc est incroyablement puissant. Et pourtant, je suis constamment confronté à un mélange d’incrédulité et de désir de perles.
... cinq fois plus productif. ?
Une brève mini-histoire des LLM
La conclusion, et c'est honnêtement l'une des choses les plus difficiles à expliquer, c'est pourquoi je m'oriente aujourd'hui vers la voie religieuse, c'est que tous les gagnants dans le domaine de l'IA auront des fossés de données . ... Pourquoi? Parce que le fossé des données est la façon dont vous remplissez la fenêtre contextuelle (« aide-mémoire ») .
Les LLM ne sont pas une mode stupide, comme la cryptographie. Oui, la crypto était une mode stupide. Ce n'est pas ça.
Google "Nous n'avons pas de fossé, et OpenAI non plus" - Une fuite d'un document interne de Google affirme que l'IA open source surpassera Google et OpenAI.
L’approche de l’IA selon laquelle le plus grand est le mieux est en train de s’épuiser
Comprendre les tokeniseurs GPT par Simon Willison.
Canon IA
Cela commence à devenir étrange – Parlons de ChatGPT avec Code Interpreter et Microsoft Copilot.
Donald Knuth joue avec ChatGPT - Knuth est informaticien. Connu comme le « père » de l’analyse des algorithmes.
Google I/O 2023 et les prochaines batailles d'IA
Modèles non censurés - WizardLM non censuré. Comme il y avait déjà du travail pour décensurer Vicuna, j'ai pu réécrire leur script afin qu'il fonctionne sur l'ensemble de données WizardLM.
Architecture du modèle GPT-4 (Tweets) - Dérivé de la source originale (article de blog) : architecture GPT-4, infrastructure, ensemble de données de formation, coûts, vision, MoE
Llama 2 : un LLM ouvert incroyable - Le meilleur résumé de l'article Llama 2.
Llama 2 - Toutes les ressources dont vous avez besoin par Philipp Schmid.
Grands modèles de langage, expliqués avec un minimum de mathématiques et de jargon - Cela semblait être un bon explicateur sur le fonctionnement des LLM. Je ne sais pas comment apprécier la dernière section qui aborde un peu la philosophie et les théories sur la façon dont les humains apprennent. (la dernière section manque d'affirmation fondée sur des preuves)
Vous souhaitez donc créer votre propre chatbot open source de style ChatGPT (hacks.mozilla.org)
Comment LLaMa.cpp est-il possible ? (finbarr.ca) - Bien avant que le LLM ne se généralise, tout le monde disait que les grands modèles nécessitent beaucoup de GPU coûteux. Comme l’auteur, nous voulons leur prouver qu’ils ont tort. L'auteur de cet article a pris conscience de sa confusion et s'est plongé dans les mathématiques entourant les exigences d'inférence pour comprendre les contraintes auxquelles nous sommes confrontés. Étonnamment, il n’y a pas de magie ici, seulement des choses qui dépassent notre compréhension au début. La compression du modèle ou plus précisément la quantification le rend possible. Cependant, il n'y a pas de « repas gratuit » : le coût du modèle quantifié est essentiellement une perte de précision. Cela signifie que pour les modèles de très grande taille, les différences peuvent être négligeables. Curieux? Cet article semi-lié a fait une comparaison entre différentes perplexités/précisions quantifiées des transformateurs.
Battre GPT-4 sur HumanEval avec un CodeLlama-34B affiné (www.phind.com) - Bons progrès et pas de grande surprise. J'ai réalisé que des critères de référence comme ceux-ci pour les modèles sont susceptibles d'être de mauvais indicateurs pour mesurer les performances des modèles dans le monde réel. C'est mon expérience avec les modèles ouverts.
2024
Nous avons besoin de repères ou d'une sorte d'évaluation indépendante et humaine des tâches du monde réel .
Selon Gwern :
Un nouveau paradigme de programmation ? Vous interagissez avec lui, en exprimant n'importe quelle tâche en termes de descriptions, de demandes et d'exemples en langage naturel, en peaufinant l'invite jusqu'à ce qu'elle « comprenne » et qu'elle méta-apprenne la nouvelle tâche. Il s'agit d'une manière assez différente d'utiliser un modèle, et il est préférable de le considérer comme un nouveau type de programmation, la programmation rapide , où l'invite est désormais un langage de codage qui programme GPT-3 pour faire de nouvelles choses.
Le « prompting » en tant que discipline d'ingénierie n'est pas là pour rester. Il s'agit d'une béquille temporaire sur la voie des interfaces en langage naturel. ChatGPT résout une grande partie du problème d'invite. Ajouter l’ingénierie à un terme pour amplifier son importance ou sa difficulté perçue peut s’avérer inutile. Nous pourrions probablement appeler cela « test rapide/piratage » sans perdre aucun sens.
Articles connexes :
Pourquoi "Prompt Engineering" et "Generative AI" sont surfaits
Tweets associés :
L’ingénierie rapide est morte, vive l’ingénierie du dialogue. — Vice-président produit, OpenAI
Recherché : Ingénieur rapide. Minimum 10 ans d'expérience en ingénierie rapide. #embauche #blague
Pourquoi ChatGPT fonctionne-t-il si bien ? Est-ce « juste une mise à l’échelle de GPT-3 » sous le capot ? Dans ce ?, discutons du paradigme « Instruct », de ses connaissances techniques approfondies et d'une implication importante : « l'ingénierie rapide » telle que nous la connaissons pourrait probablement bientôt disparaître . Source : https://archive.is/dqHI8
Apparemment, en 2023, la programmation rapide n’est pas morte. Le nouveau langage de programmation le plus en vogue est l'anglais ~ Karpathy :))
Simon Willison a publié Pour défendre l'ingénierie rapide, pour contrer l'argument selon lequel « l'ingénierie rapide deviendra obsolète à mesure que les IA s'amélioreront » qu'il continue de voir.
Le journal affirme que le chuchoteur d'IA (« ingénieurs Prompt ») est le nouveau travail le plus en vogue dans le secteur de la technologie (2023).
Le meilleur guide d'ingénierie rapide pour les développeurs travaillant avec des modèles de langage étendus tels que GPT-4, ChatGPT et des modèles ouverts comme LLaMA serait une combinaison de plusieurs ressources. Voici quelques ressources d'apprentissage, outils, bibliothèques et cadres pour vous aider à apprendre et à maîtriser l'ingénierie rapide :
En utilisant ces ressources, vous pouvez acquérir une solide compréhension de l'ingénierie rapide et développer les compétences nécessaires pour travailler efficacement avec les LLM.
( * Le terme d'ingénierie d'invite a été renommé invite. Le terme est surchargé et peut être inutile. )
Plus: Vidéos YouTube de Garated.tivul.com (je n'ai pas organisé cela, donc la qualité n'est pas garantie)
Développement des applications natives. Intégration de Chatgpt. Applications d'IA de prochaine génération. Couche "App Store" pour les modèles de langage (y compris les étreintes "App Store").
Agents autonomes de Powered LLM (article de blog) par Lilian Weng, 2023.
La potentialité de LLM s'étend au-delà de la génération de copies, d'histoires, d'essais et de programmes bien écrits; Il peut être présenté comme un puissant solveur de problèmes général.
Dans un système d'agent autonome alimenté par LLM, LLM fonctionne comme le cerveau de l'agent, complété par plusieurs composants clés: planification, mémoire et outils.
Défis: planification à long terme et décomposition des tâches, fiabilité de l'interface du langage naturel.
SMOL Developer - Incorporez un agent de développeur dans votre propre application.
Systèmes de récupération pour accéder aux sources d'informations personnelles ou organisationnelles. Intégres. Base de données et magasin de données conçu pour les modèles d'apprentissage automatique et la PNL.
Bases de données vectorielles pour l'indexation et la recherche de documents
Nous voulons une alternative Chatgpt comme une diffusion stable.
Frustré par tous les portes autour de l'IA? En attente ou ne peut pas avoir accès à Llama?
Objectifs
Objectif ultime: version auto-hébergée de Chatgpt.
Leçons
À emporter d'Eleutherai un an rétro (2021):
Flan-T5 xxl aka. Chatgpt @ home est un modèle public qui a subi des instructions de finetuning. XXL est un modèle 11b. Il s'agit actuellement du modèle le plus comparable par rapport à ChatGPT (les modèles InstructGpt sont initialisés à partir de la série GPT-3.x (carte modèle)). Il y a des tentatives réussies pour déployer Flan-T5 sur GPU avec 24 Go de RAM avec BitsandBytes-Int8 inférence pour les modèles de visage étreintes. Vous pouvez exécuter le modèle facilement sur une seule machine, sans dégradation des performances. Cela pourrait changer la donne pour permettre aux personnes en dehors des grandes entreprises de technologie de pouvoir utiliser ces LLM. Des efforts sont déjà en cours pour créer un meilleur Flan-T5. La communauté (c'est-à-dire, laion) travaille sur l'architecture Flant5-Atlas et une collection d'ensembles de données invités / d'instructions.
Assistant ouvert - Replication de Chatgpt open source par LAION, Yannic Kilcher et al. Ce projet est destiné à donner à chacun accès à un excellent modèle de langue basé sur un chat. (Open Assistant Live Coding avec Yannic Kilcher (vidéo)) Plans de niveau:
Phase 1: Collection invite pour les finetuning supervisés (SFT) et pour obtenir les invites pour les compléments / réponses générés par le modèle.
Phase 2: Rétroaction humaine (par exemple le classement) de plusieurs sorties générées par le modèle. Exemple cinq sorties du modèle sont affichées et l'utilisateur doit les classer du meilleur au pire.
Phase 3: Optimisation avec RLHF que nous prévoyons de faire via TRLX. Et puis le WE ITERATER avec ce nouveau modèle au cours de la phase 2 et de la phase 3, espérons-le plusieurs fois.
Les modèles seront formés sur Summit Supercomputer (~ 6 millions NVIDIA V100 HRS par an) [Source]
Plus d'informations, consultez la proposition LAION LLM (Google Doc) ci-dessus.
Progrès:
Février 2023: JOI-20B-INSTRUCT est un modèle 20B affiné sur un ensemble diversifié d'ensembles de données d'instructions et basé sur NEOX-20B.
Non officiel: il s'agit d'un modèle précoce préalable (partie du développement de MVP, phase 1), non directement ouverts (OA). Ce sont des expériences de l'équipe ML pour apprendre quelles données, le modèle de fondation, les méthodes fonctionneront bien pour l'OA. Comme indiqué dans la FAQ du site Web, pas encore de démo. C'est pour les développeurs de tester la version de développement précoce du réglage des instructions pour le modèle. Peut-être que les premiers modèles OA en seront tirés. Ils ont formé de bons modèles sur une base roulante à mesure que de nouveaux ensembles de données sont terminés. Il existe une variété de tailles de modèles de 1,4b à 20b de paramètres disponibles sur le centre HF.
Catty-LMS Build par l'équipe HuggingFace H4 - une interface utilisateur pour tester le modèle JOI-20B-Istruct. Vous pouvez discuter avec. L'agent répondra sous le nom de Joi (le surnom du bot).
Exemple d'extrait de code pour exécuter le modèle sur vos propres gpus: https://gist.github.com/cedrickchee/236e53ed2dca95bd96e5baa35cdd7be2
MAR 2023: Ils traitent actuellement les données collectées à partir des contributions. Les données ont plus de 100 000 messages, ce qui signifie des millions de contributions. La qualité des données dépasse ce à quoi ils s'attendaient - la plupart des contributions sont de très haute qualité. Maintenant, ils exportent le V1 de l'ensemble de données. Comme dit, ils forment actuellement le lot initial de modèles.
11 mars 2023: L'ensemble de données Generalist (OIG Generalist (OIG) sera publié. OIG est un ensemble de données d'instructions Open Source qui contient actuellement ~ 43 M instructions.
L'OIG est l'un des nombreux ensembles de données de chatbot que LAION, ainsi que ses bénévoles, Ontocord, ensemble et d'autres membres de la communauté open source, seront publiés et seront destinés à créer un accès égal à la technologie Chatbot. Tout le monde est invité à utiliser l'ensemble de données et à y contribuer des améliorations.
L'ensemble de données OIG est lié au projet d'assistant ouvert de LAION.
9 mars 2023: Modèle SFT-1 12B à ouverture - Prototype précoce du modèle anglais supervisé-fine (SFT) du projet d'assistance ouverte. Il est basé sur une Pythie 12b qui a été affinée sur ~ 22 000 démonstrations humaines de conversations assistantes collectées avant le 7 mars 2023. Bien que le modèle ne soit qu'une étape importante, il est utilisable pour quelques tâches créatives. Essayez: HuggingFace Space (UI de chatbot facile et rapide et non officiel), Google Collab. Voici un guide sur la façon d'exécuter le modèle localement sur votre propre ordinateur avec un GPU.
23 mars 2023: Ce projet commence à se façonner bien. Le modèle arrive.
/r/ask_open_assistant . Code15 avril 2023: Openassistant est officiellement sorti! La version comprend des modèles, des ensembles de données et une interface de chat. [Vidéo d'annonce, Try, Modèles]
Sous-reddit
Remarque: veuillez consulter le dépôt GitHub pour des informations à jour.
Carperai / trlx
NOUVELLES (2023-01-13): Ils ont reproduit l'apprentissage d'Openai pour résumer le papier à l'aide de la bibliothèque Trlx. [rapport]
LuCIDRAIN / PALM-RLHF-PYTORCH - (WIP) Implémentation de RLHF au-dessus de l'architecture Palm. Fondamentalement, Chatgpt mais avec Palm. Le développeur prévoit également d'ajouter des fonctionnalités de récupération, à la rétro. [Tweet]
2023: Quelque chose de drôle dans leur FAQ:
Il n'y a pas de modèle formé. Ce n'est que le navire et la carte globale. Nous avons encore besoin de millions de dollars de données de calcul + pour naviguer vers le bon point dans un espace de paramètres de grande dimension. Même alors, vous avez besoin de marins professionnels (comme Robin Rombach de la renommée de diffusion stable) pour guider le navire à travers des temps turbulents jusqu'à ce point.
NOUVELLES (2022-12-31): Il y a maintenant une alternative open source à Chatgpt, mais bonne chance en le faisant fonctionner - Mes commentaires: Non, ce n'est pas le cas. Ce n'est pas un modèle qualifié réel (pas de poids) que vous pouvez utiliser. Ce n'est que du code pour la formation d'un modèle de type Chatgpt. De plus, les données de formation (Enwik8) sont petites.
Le train de modèle (TRLX) à grande échelle de Carperai à grande échelle RLHF (TRLX) avec les données de Laion sortira au début de l'année prochaine. (Source: Tweet)
Allenai / RL4LMS - RL pour les modèles de langue (RL4LMS) par Allen AI. Il s'agit d'une bibliothèque RL modulaire pour affiner les modèles de langage aux préférences humaines.
GPT-JT par ensemble de l'ordinateur de recherche est un exemple qui distribue la formation des modèles sur la géo-distribution de divers ordinateurs (et GPU). GPT-JT (6B) est une variante fourchue hors GPT-J d'Eleutherai, et fonctionne exceptionnellement bien sur la classification du texte et d'autres tâches. Sur les références de classification telles que le radeau, il s'approche de modèles de pointe qui sont beaucoup plus grands (par exemple, instructgpt davinci v2)! [Document: formation décentralisée des modèles de fondation dans des environnements hétérogènes (2022)]
Leam (grands modèles d'IA européens) - L'UE prévoyait de financer le développement d'un modèle de type Chatgpt à grande échelle. [Site Web, Documents de projet (anglais, PDF), Papier conceptuel (allemand, PDF)]
/ R / AICROWDDFUND - Un endroit qui vient de commencer (2023) où les gens peuvent trouver un moyen de fonder le fonds (avec des GPU) une grande IA. Je ne sais pas s'ils ont vu des pétales où vous pouvez exécuter des LLM à la maison, de style bittorrent (apprentissage fédéré?). Il semble se diriger dans cette direction.
La solution open source reproduit le processus de formation de ChatGPT - ils présentent un processus d'implémentation équivalent à faible coût à faible coût, y compris:
J'ai eu l'impression que le point de l'article était de brancher leur cadre et leur produit colossaux-AI, une collection de composants, outils et rides parallèles pour les grands modèles. Franchement, leurs chiffres me semblent suspects, sauf si j'ai manqué quelque chose. Ce qui rend Chatgpt intéressant (sur GPT-3), c'est le processus RLHF. Ils prétendent reproduire complètement le processus RLHF. Mais, l'article touche à la légère sur leur implémentation RLHF. Ils forment RLHF en utilisant un petit impressionnant-chatppt-vapt comme exemple de données. Leurs détails d'implémentation RLHF sont cachés ici: https://github.com/hpcaitech/colossalai/blob/main/applications/chatgpt. Le manque de démo n'inspire pas trop de confiance.
FLEXGEN - LLMS RUNE comme OPT-175B / GPT-3 sur un seul GPU (par exemple, un T4 T4 de 16 Go ou une carte de jeu RTX3090 de 24 Go). Caractéristiques clés: 1) jusqu'à 100x plus rapidement que les autres systèmes de déchargement. 2) Comprimer à la fois les paramètres et le cache d'attention des modèles jusqu'à 4 bits avec une perte de précision négligeable. 3) Parallélisme de pipeline distribué. Ils fournissent également un script Python et des instructions que vous pouvez exécuter un chatbot avec des modèles OPT. Cela devrait résoudre les défis des exigences élevées de calcul et de mémoire de l'inférence LLM. Le chatbot qu'ils construisent avec les modèles FlexGen et OPT ne sont pas réglés par l'instruction (RLHF). Donc, ce chatbot ne ressemble pas à un chatpt. [Inférence générative à haut débit de LLMS avec un seul GPU (papier), Stanford et al., 2023]
