dspy phi3

dspy-phi3

最近、COPRO を使用してプロンプト指示を改良し、最高のスコアを達成することを目的として、phi3 で DSPy をテストしました。意図的にアサーションを使用しませんでした。

私が気に入ったのは次のとおりです。

私は、文法性について注釈が付けられた 23 の言語学の出版物からの文を含む CoLA データセットを使用しました。「ラベルだけ」(説明や余分な単語は含まない) の出力が必要でした。 DSPy が生成した命令は適切に実行され、文法の正確性が保証されました。

元の指示: 文章が正しいかどうかを確認してください(1)、そうでない場合は(0)

最適化された指導: 文法的に正しい場合は「1」、間違っている場合は「0」を出力することで、指定された文が標準的な英語の文法規則に準拠しているかどうかを判断します。

BootstrapFewShot と Signature Optimizer はどちらも優れた出発点です。

改善できる点:

DSPy は、「トレーニングが完了すると、署名を手動で編集するためのより適切な指示とプレフィックスが得られるようになります。」と述べています。ただし、コンパイル後、ツールは予測できる状態になっているはずだと私は考えています。命令オプティマイザーには、他の言語との互換性の向上など、調整を容易にするためのさらなる柔軟性が必要です。あるいは、署名オプティマイザーが必要に応じてプロンプトを調整するためのプログラムを作成することも有益です。

素晴らしいコンセプトですが、フレームワークとしてはまだ改善の必要があると思います。興味深いプロジェクトや共通の興味がある場合は、linkedin で私と連絡を取ってください。 https://www.linkedin.com/in/mayankladdha31/