dspy phi3

dspy-phi3

Ich habe DSPy kürzlich mit phi3 getestet, mit dem Ziel, COPRO zu verwenden, um die Eingabeaufforderungsanweisungen zu verfeinern und die beste Punktzahl zu erzielen. Ich habe bewusst auf Behauptungen verzichtet.

Folgendes hat mir gefallen:

Ich habe den CoLA-Datensatz verwendet, der Sätze aus 23 linguistischen Veröffentlichungen mit Anmerkungen zur Grammatik enthält. Ich wollte Ausgaben mit „nur der Bezeichnung“ (keine Erklärungen oder zusätzlichen Wörter). DSPy generierte Anweisungen, die gut funktionierten und die grammatikalische Korrektheit gewährleisteten:

Ursprüngliche Anweisung: Überprüfen Sie, ob der Satz korrekt ist (1) oder nicht (0).

Optimierte Anweisung: Stellen Sie fest, ob der gegebene Satz den Standardregeln der englischen Grammatik entspricht, indem Sie eine „1“ für grammatikalisch korrekt und eine „0“ für falsch ausgeben.

Sowohl BootstrapFewShot als auch Signature Optimizer sind gute Ausgangspunkte.

Was könnte verbessert werden:

DSPy erklärt: „Sobald das Training abgeschlossen ist, stehen Ihnen bessere Anweisungen und Präfixe zur Verfügung, die Sie manuell in der Signatur bearbeiten können.“ Ich glaube jedoch, dass das Tool nach der Kompilierung bereit sein sollte, Vorhersagen zu treffen. Der Befehlsoptimierer benötigt mehr Flexibilität für einfachere Optimierungen, beispielsweise eine bessere Kompatibilität mit anderen Sprachen. Alternativ wäre es von Vorteil, ein Programm für den Signaturoptimierer zu erstellen, um Eingabeaufforderungen nach Bedarf anzupassen.

Es ist ein cooles Konzept, aber ich denke, als Framework muss es noch verbessert werden. Kontaktieren Sie mich auf LinkedIn, wenn Sie ein interessantes Projekt/gemeinsame Interessen haben. https://www.linkedin.com/in/mayankladha31/