dspy phi3

dspy-phi3

Недавно я тестировал DSPy с phi3, намереваясь использовать COPRO для уточнения подсказок и достижения наилучшего результата. Я намеренно не использовал утверждения.

Вот что мне понравилось:

Я использовал набор данных CoLA, который включает в себя предложения из 23 лингвистических публикаций, аннотированных с точки зрения грамматики. Мне нужны были результаты с «только ярлыком» (без объяснений или дополнительных слов). DSPy сгенерировал инструкции, которые работали хорошо, обеспечивая грамматическую правильность:

Оригинальная инструкция: Проверьте, верно ли предложение(1) или нет(0).

Оптимизированная инструкция: определите, соответствует ли данное предложение стандартным правилам английской грамматики, выведя «1» для грамматически правильного и «0» для неправильного.

И BootstrapFewShot, и Signature Optimizer — отличные отправные точки.

Что можно улучшить:

DSPy заявляет: «После завершения обучения у вас появятся более качественные инструкции и префиксы, которые можно редактировать в подписи вручную». Однако я считаю, что после компиляции инструмент должен быть готов к прогнозированию. Оптимизатору инструкций требуется больше гибкости для облегчения настройки, например, для лучшей совместимости с другими языками. В качестве альтернативы было бы полезно создать программу для оптимизатора сигнатур, которая будет настраивать подсказки по мере необходимости.

Это классная концепция, но я думаю, что как основа она все еще нуждается в улучшении. Свяжитесь со мной на linkedin, если у вас есть интересный проект/общие интересы. https://www.linkedin.com/in/mayankladdha31/