dspy phi3

dspy-phi3

Recientemente probé DSPy con phi3, con el objetivo de usar COPRO para refinar las instrucciones y lograr la mejor puntuación. Intencionalmente no utilicé afirmaciones.

Esto es lo que me gustó:

Utilicé el conjunto de datos CoLA, que incluye oraciones de 23 publicaciones lingüísticas anotadas en cuanto a gramaticalidad; quería resultados con "solo la etiqueta" (sin explicaciones ni palabras adicionales). DSPy generó instrucciones que funcionaron bien, asegurando la corrección gramatical:

Instrucción Original: Comprueba si la frase es correcta(1) o no(0)

Instrucción optimizada: determine si la oración dada cumple con las reglas gramaticales estándar del inglés generando un '1' para gramaticalmente correcto y un '0' para incorrecto.

Tanto BootstrapFewShot como Signature Optimizer son excelentes puntos de partida.

Qué se podría mejorar:

DSPy afirma: "Una vez finalizada la capacitación, tendrá mejores instrucciones y prefijos para editar la firma manualmente". Sin embargo, creo que después de la compilación, la herramienta debería estar lista para predecir. El optimizador de instrucciones necesita más flexibilidad para realizar ajustes más fácilmente, como una mejor compatibilidad con otros idiomas. Alternativamente, sería beneficioso crear un programa para que el optimizador de firmas modifique las indicaciones según sea necesario.

Es un concepto genial, pero supongo que como marco aún necesita mejoras. Conéctese conmigo en LinkedIn si tiene un proyecto interesante/intereses comunes. https://www.linkedin.com/in/mayankladdha31/