Microsoft AI 研究チームがリリースした最新のオープン ソース ツールである PromptWizard は、大規模言語モデル (LLM) プロンプト ワード最適化のための新しいソリューションを提供します。従来のプロンプト ワード最適化手法は時間がかかり、拡張が困難でした。PromptWizard は、フィードバック メカニズムを導入し、重要かつ包括的な反復最適化戦略を採用することにより、モデルのパフォーマンスと効率を大幅に向上させます。 LLM を使用して生成フェーズで複数のプロンプト単語バリアントを生成および評価し、テスト推論フェーズでの継続的なパフォーマンス向上を保証し、最終的には複数のデータセットで優れた結果を達成し、リソース消費を大幅に削減します。
最近、Microsoft AI 研究チームはオープン ソース ツール PromptWizard をリリースしました。これは、大規模言語モデル (LLM) のプロンプト設計を効率的に最適化するように設計されたフィードバック駆動型 AI フレームワークです。ヒントの品質はモデル出力の品質にとって重要ですが、高品質のヒントを作成するには、特に複雑なタスクやドメイン固有のタスクでは多くの時間と人的リソースが必要になることがよくあります。
従来の即時最適化手法は主に手動の経験に依存しており、時間がかかるだけでなく拡張も困難です。既存の最適化手法は、連続的と離散的の 2 つのタイプに分類されます。ソフト プロンプトなどの連続的手法には大規模なコンピューティング リソースが必要ですが、PromptBreeder や EvoPrompt などの離散的手法は複数のプロンプト バリアントを生成することによって評価されますが、これらの手法は場合によってはうまく機能しますが、効果的なフィードバック メカニズムが欠けているため、多くの場合、次のような結果が得られます。物足りない。
PromptWizard は、フィードバック メカニズムを導入し、重要かつ包括的なアプローチを使用してプロンプトの指示と例を繰り返し最適化することにより、タスクのパフォーマンスを大幅に向上させます。そのワークフローは主に、生成ステージとテスト推論ステージの 2 つのステージに分かれています。生成フェーズでは、システムは大規模な言語モデルを活用して、基礎となるキューの複数のバリアントを生成し、それらを評価してパフォーマンスの高い候補を見つけます。同時に、フレームワークに組み込まれた批判メカニズムが各プロンプトの長所と短所を分析し、その後の最適化を導くためのフィードバックを提供します。複数回の最適化を経て、システムはプロンプトの多様性と品質を向上させることができます。
テスト推論フェーズでは、最適化されたヒントと例が新しいタスクに適用され、継続的なパフォーマンスの向上が保証されます。このアプローチにより、PromptWizard は 45 のタスクについて広範な実験を実施し、教師なし設定と教師あり設定の両方で優れた結果を達成しました。たとえば、GSM8K データセットでは教師なし精度 90%、SVAMP では 82.3% を達成します。さらに、PromptBreeder などの個別のメソッドと比較して、PromptWizard は API 呼び出しとトークンの使用量を最大 60 分の 1 に削減し、リソースに制約のある環境における効率性を実証しています。
PromptWizard の成功の要因は、革新的なシーケンスの最適化、ガイド付きの批評、および専門家の役割の統合により、特定のタスクに効果的に適応し、優れた解釈可能性を実現できることにあります。この進歩は、自然言語処理ワークフローにおける自動化フレームワークの重要性を告げるものであり、高度な AI テクノロジーのより効果的かつ経済的な適用を促進することが期待されています。
ブログ: https://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-フィードバック-ドリブン-セルフ-進化-プロンプト/
プロジェクトコード: https://github.com/microsoft/PromptWizard?tab=readme-ov-file
論文: https://www.microsoft.com/en-us/research/publication/promptwizard-task-aware-agent-driven-prompt-optimization-framework/
ハイライト:
PromptWizard は、大規模な言語モデルのプロンプトを最適化し、モデルのパフォーマンスを向上させるために使用される新しい AI フレームワークです。
このフレームワークは、批評メカニズムとフィードバック ループを組み合わせて、複数のプロンプト バリアントを効率的に生成および評価します。
PromptWizard は複数のタスクで優れた精度を示し、リソースの消費とコストを大幅に削減します。
全体として、PromptWizard は、革新的なフィードバック主導のメカニズムと効率的な最適化戦略を通じて、大規模な言語モデルの即時単語最適化のための強力なツールを提供します。その効率と精度は、実際のアプリケーションで大きな利点をもたらし、AI の開発に貢献します。テクノロジーの。 興味のある読者は、提供されているリンクにアクセスして詳細をご覧ください。