ai vinyl specialist

Le spécialiste du vinyle de David

David est un spécialiste des disques vinyles. Vous pouvez lui demander une recommandation ou des informations supplémentaires sur l'un des disques de votre collection Discogs. David se fera un plaisir de vous aider.

Détails techniques

Cette application LLM est un exemple simple d'agent conversationnel qui utilise l'API Discogs pour fournir des informations sur les disques vinyles. Il se compose de 4 éléments de base principaux :

1. Client API Discogs : Étant donné un nom d'utilisateur, il récupère la collection de disques vinyles depuis l'API Discogs.
2. Moteur d'assistant IA (David) : étant donné une collection d'enregistrements, il fournit une interface conversationnelle sur les enregistrements.
3. Serveur Websockets : Il fournit un serveur websockets pour interagir avec l'assistant AI.
4. Interface utilisateur : Il fournit une interface utilisateur simple pour interagir avec l'assistant IA via des websockets.

Il utilise actuellement LangChain4j comme framework avec GPT-4o comme moteur d'assistant d'IA, mais il peut être facilement adapté pour utiliser d'autres moteurs.

L'architecture d'application du diagramme ci-dessous est appliquée par le framework ArchUnit via des tests dans la classe ArchitectureTest.

Leçons apprises

L'interface utilisateur de ce projet a été développée à l'aide de l'invite suivante :

 I need the code for an HTML 5 page that contains an input field for a Discogs username 
and a text area for inserting prompts for the application to send to AI agents. 
Above the text area there should be the space in which the AI responses are displayed, in the ChatGPT style

Le code HTML5 généré par GitHub Copilot a donné les visuels initiaux de l'interface utilisateur que j'ai ensuite modifié pour ajouter la connexion websocket et la logique pour envoyer et recevoir des messages de l'assistant IA. J'ai trouvé que c'était une approche très rapide du prototypage. Ensuite, je suis passé à des composants plus robustes d'ant-design, notamment pro-chat.

Je voulais au départ utiliser lama3. Le modèle llama3 ne prend actuellement pas en charge les outils (juin 2024). Cela signifie que l'assistant IA ne peut pas collecter le nom d'utilisateur Discogs et récupérer lui-même la collection de disques. Nous sommes passés à GPT-4o afin que David puisse demander des informations Discogs et supprimer le besoin de formulaires.

Certains LLM ne sont pas aussi intelligents que d’autres. Même si le modèle Mistral 7b prend en charge les outils, je n'ai pas pu en obtenir de bonnes réponses. Il ne passerait même pas mes tests d'intégration. Avec cela, je n'ai pas pu réaliser un LLM avec des outils gratuitement.

Les hallucinations sont pénibles. Je commence mon voyage dans RAG pour le minimiser. Puisque David opère dans le domaine de la musique, Wikipédia est la première base de connaissances qui vient à l’esprit de RAG. Peut-être que je peux exploiter l'API MediaWiki pour rechercher des pages musicales pertinentes pour la conversation. Pour l'instant, j'utilise uniquement la recherche Google et cela aide parfois mais certainement pas assez pour le coût que cela ajoute avec les jetons.

Tester l'application LLM était un défi. J'ai fait plus de tests d'intégration que d'habitude. Cela a conduit à un cycle de développement plus lent. De plus, la nature probabiliste de l’assistant IA rend difficile le test de l’application de manière déterministe.

Dans le monde LLM, les tests unitaires impliquent d'inviter un modèle d'IA au lieu de simplement appeler une unité de code. Lorsque vous utilisez un modèle basé sur le cloud, l'exécution de tests unitaires a un coût. J'ai également expérimenté l'utilisation d'un deuxième agent d'IA pour m'aider à affirmer les résultats de l'IA principale. C'est une approche prometteuse puisque nous pouvons faire des assertions sémantiques, et pas seulement du traitement de chaînes. Le compromis ici est que cela génère également des coûts et augmente le risque d'erreurs de probabilité introduites par les LLM.

Aller à droite/à tort

1. Allez à droite : invite à quelques tirs. Les résultats du recommandateur se sont considérablement améliorés lorsque j'ai appliqué cette technique à l'invite de mon système. J'ai ajouté le personnage, le ton, un peu de contexte derrière la conversation et quelques exemples de ce que l'on attend de l'IA.
2. Allez à droite : examinateur de tests d'IA. Les assertions des tests d'intégration d'IA impliquaient souvent le traitement de chaînes. Je pensais que l’utilisation d’une autre IA spécialisée dans l’examen des résultats des tests faciliterait le processus. Je lui donnerais une déclaration et la réponse de l'IA principale, et le réviseur de test reviendrait si c'est une réussite ou un échec. Cela a conduit à des tests irréguliers avec l'utilisation de Llama3 en raison de l'accumulation d'erreurs probabilistes des deux IA travaillant ensemble. Lors du passage à GPT-4o, cela s’est avéré être un très bon outil. Cela a permis des assertions sémantiques. Utilisez votre LLM le plus puissant pour les assertions de test.
3. Allez à droite : Outils. J'ai d'abord récupéré la collection de disques vinyles sur Discogs à l'aide du code d'application et je l'ai ajoutée à l'invite système du LLM. Cette approche nécessitait un champ de saisie sur l'interface utilisateur pour collecter ces données. Lors du passage aux outils, l'IA serait capable de collecter elle-même le nom d'utilisateur Discogs de l'utilisateur et de rendre le tout plus conversationnel. Cela élimine le besoin de formulaires d’assurance-chômage.
4. Vous vous trompez : le coût. L'ajout de fonctionnalités à l'agent IA implique d'augmenter le nombre de jetons entrant dans chaque discussion. Cela augmente encore plus lorsqu’on utilise un modèle affiné. Plus nous augmentons le nombre d'exemples dans l'invite à quelques tirs, plus nous paierons cher pour les messages d'invite du système. L'utilisation de GPT-4o a un coût élevé à l'heure actuelle, et le choix du LLM à utiliser doit être soigneusement réfléchi. LangChain aide avec une couche d'abstraction qui facilite la modification du LLM sous-jacent.
5. Vous vous trompez : utilisez Ollama et Llama3. J'ai initialement utilisé llama3 exécuté dans Ollama pour prototyper gratuitement une application gen AI. Cela a fonctionné au début, mais cela a rapidement conduit à des cycles de développement très lents. Ma suite de tests prendrait 5 minutes pour s'exécuter avec 20 tests tout en exécutant un conteneur de tests réutilisable. L'exécution de l'application avait un délai de démarrage à froid d'environ 1 minute pour démarrer la conversation. J'ai dû le remplacer par un LLM basé sur le cloud comme ChatGPT 3.5.

Comment courir

Vous devez disposer d'une clé API OpenAI valide pour exécuter cette application.

1. Clonez le référentiel.
2. Exécutez ./gradlew bootRun pour démarrer l'application.
3. Visitez http://localhost:8080 dans votre navigateur pour interagir avec l'assistant IA.