ai vinyl specialist

El especialista en vinilos de David.

David es especialista en discos de vinilo. Puedes pedirle una recomendación o información adicional sobre cualquiera de los discos de tu colección de Discogs. David estará encantado de ayudarte.

Detalles técnicos

Esta aplicación LLM es un ejemplo sencillo de un agente conversacional que utiliza la API de Discogs para proporcionar información sobre discos de vinilo. Consta de 4 bloques de construcción principales:

1. Cliente API de Discogs : dado un nombre de usuario, recupera la colección de discos de vinilo de la API de Discogs.
2. Motor asistente de IA (David) : dada una colección de registros, proporciona una interfaz conversacional sobre los registros.
3. Servidor Websockets : proporciona un servidor websockets para interactuar con el asistente de IA.
4. Interfaz de usuario : proporciona una interfaz de usuario sencilla para interactuar con el asistente de IA a través de websockets.

Actualmente utiliza LangChain4j como marco con GPT-4o como motor asistente de IA, pero se puede adaptar fácilmente para usar otros motores.

La arquitectura de la aplicación del siguiente diagrama es aplicada por el marco ArchUnit a través de pruebas en la clase ArchitectureTest.

Lecciones aprendidas

La interfaz de usuario para este proyecto se desarrolló utilizando el siguiente mensaje:

 I need the code for an HTML 5 page that contains an input field for a Discogs username 
and a text area for inserting prompts for the application to send to AI agents. 
Above the text area there should be the space in which the AI responses are displayed, in the ChatGPT style

El código HTML5 generado por GitHub Copilot proporcionó las imágenes iniciales para la interfaz de usuario que luego modifiqué para agregar la conexión websocket y la lógica para enviar y recibir mensajes del asistente de IA. Descubrí que este es un enfoque muy rápido para la creación de prototipos. Luego, pasé a componentes más robustos de ant-design, incluido pro-chat.

Inicialmente quería usar llama3. El modelo llama3 actualmente no tiene soporte para herramientas (junio de 2024). Esto significa que el asistente de IA no puede recopilar el nombre de usuario de Discogs y recuperar la colección de registros por sí solo. Pasamos a GPT-4o para que David pueda solicitar información de Discogs y eliminar la necesidad de formularios.

Algunos LLM no son tan inteligentes como otros. Aunque el modelo Mistral 7b admite herramientas, no pude obtener buenas respuestas. Ni siquiera pasaría mis pruebas de integración. Con eso, no pude realizar un LLM con herramientas de forma gratuita.

Las alucinaciones son un dolor. Estoy comenzando mi viaje hacia RAG como una forma de minimizarlo. Dado que David opera en el ámbito de la música, Wikipedia es la primera base de conocimientos que le viene a la mente a RAG. Tal vez pueda aprovechar la API de MediaWiki para buscar páginas de música que sean relevantes para la conversación. Por ahora, estoy usando solo la Búsqueda de Google y a veces ayuda, pero definitivamente no es suficiente para el costo que agrega con los tokens.

Probar la aplicación LLM fue un desafío. Hice más pruebas de integración de lo habitual. Esto condujo a un ciclo de desarrollo más lento. Además, la naturaleza probabilística del asistente de IA dificulta probar la aplicación de forma determinista.

En el mundo del LLM, las pruebas unitarias implican generar un modelo de IA en lugar de simplemente llamar a una unidad de código. Cuando se utiliza un modelo basado en la nube, ejecutar pruebas unitarias tiene un costo. También experimenté con el uso de un segundo agente de IA para ayudarme a afirmar los resultados de la IA principal. Es un enfoque prometedor ya que podemos hacer afirmaciones semánticas y no sólo procesamiento de cadenas. La desventaja aquí es que también genera costos y acumula el riesgo de errores de probabilidad introducidos por los LLM.

Ir bien/mal

1. Vaya a la derecha: indicaciones de pocos disparos. Los resultados del recomendador mejoraron significativamente cuando apliqué esta técnica al indicador del sistema. Agregué la personalidad, el tono, algo de contexto detrás de la conversación y algunos ejemplos sobre lo que se esperaría que hiciera la IA.
2. Vaya a la derecha: revisor de pruebas de IA. Las afirmaciones de las pruebas de integración de IA a menudo implicaban el procesamiento de cadenas. Pensé que usar otra IA especializada en revisar los resultados de las pruebas facilitaría el proceso. Le daría una declaración y la respuesta de la IA principal, y el revisor de la prueba regresaría si fue aprobado o reprobado. Esto llevó a pruebas inestables con el uso de llama3 debido a la acumulación de errores probabilísticos de ambas IA trabajando juntas. Al pasar a GPT-4o, resultó ser una herramienta muy buena. Permitió afirmaciones semánticas. Utilice su LLM más potente para afirmaciones de prueba.
3. Ir a la derecha: Herramientas. Inicialmente obtuve la colección de discos de vinilo de Discogs usando el código de la aplicación y la agregué al indicador del sistema del LLM. Este enfoque requería un campo de entrada en la interfaz de usuario para recopilar estos datos. Al cambiar a herramientas, la IA podría recopilar el nombre de usuario de Discogs del usuario por sí sola y hacerlo todo más conversacional. Elimina la necesidad de formularios de UI.
4. Ir mal: costo. Agregar funciones al agente de IA implica aumentar la cantidad de tokens que entran en cada chat. Aumenta aún más cuando se utiliza un modelo ajustado. Cuanto más aumentemos el número de ejemplos en el mensaje de pocas tomas, más pagaremos por los mensajes del sistema. El uso de GPT-4o tiene un alto costo en este momento y se debe considerar cuidadosamente la elección del LLM a utilizar. LangChain ayuda con una capa de abstracción que facilita el cambio del LLM subyacente.
5. Salir mal: usar Ollama y llama3. Inicialmente utilicé llama3 ejecutándose dentro de Ollama como una forma de crear un prototipo de una aplicación de IA de generación gratuita. Funcionó inicialmente, pero rápidamente condujo a ciclos de desarrollo muy lentos. Mi conjunto de pruebas tardaría 5 minutos en ejecutarse con 20 pruebas mientras se ejecuta un contenedor de prueba reutilizable. La ejecución de la aplicación tuvo un retraso de inicio en frío de aproximadamente 1 minuto para iniciar la conversación. Tuve que sustituirlo por un LLM basado en la nube como ChatGPT 3.5.

como correr

Debe tener una clave API de OpenAI válida para ejecutar esta aplicación.

1. Clona el repositorio.
2. Ejecute ./gradlew bootRun para iniciar la aplicación.
3. Visite http://localhost:8080 en su navegador para interactuar con el asistente de IA.