Evoke

呼びかけ：レビュアー・オーサーを介してLLMSの批判的思考能力を呼び起こすプロンプトの編集

プロジェクトページ| arxiv

大規模な言語モデル（LLM）は、自然言語処理において印象的な進歩を遂げています。これらのモデルは、適切な応答を生成するために、適切な人間の指示（またはプロンプト）に依存しています。ただし、LLMの可能性は、一般的に使用されるプロンプトメソッドによって完全に活用されていません。

1. 多くの人間のループアルゴリズムは、迅速な選択のためにアドホック手順を採用しています。
2. 一方、自動プロンプト生成アプローチは、基本的に可能なすべてのプロンプトをランダムかつ非効率的に検索しています。

自動迅速な改良フレームワークであるEvokeを提案します。 evokeでは、同じLLMの2つのインスタンスがあります。a）レビュアー（LLM-Reviewer）として1つは、現在のプロンプトをスコアリングします。 b）著者（LLM-author）としてのもう1つは、編集履歴とレビュアーのフィードバックを考慮して、プロンプトを編集します。

このような著者レビューターフィードバックループにより、各反復でプロンプトが洗練されるようになります。さらに、データ選択アプローチを集計して、ハードサンプルのみがLLMにさらされるためにeveokeします。 LLMはタスクをより深く理解することができるため、ハードサンプルはより重要ですが、モデルは既に簡単なケースを解決する方法を知っている可能性があります。実験結果は、既存の方法を著しく上回ることを示しています。

遊び場を含む詳細が近日公開されます！

貢献

このプロジェクトは、貢献と提案を歓迎します。ほとんどの貢献では、貢献者ライセンス契約（CLA）に同意する必要があります。詳細については、https：//cla.opensource.microsoft.comをご覧ください。

プルリクエストを送信すると、CLAボットはCLAを提供し、PRを適切に飾る必要があるかどうかを自動的に決定します（たとえば、ステータスチェック、コメント）。ボットが提供する指示に従うだけです。 CLAを使用して、すべてのレポでこれを1回だけ行う必要があります。

このプロジェクトは、Microsoftのオープンソース行動規範を採用しています。詳細については、FAQのコードを参照するか、追加の質問やコメントについては[email protected]にお問い合わせください。

商標

このプロジェクトには、プロジェクト、製品、またはサービスの商標またはロゴが含まれる場合があります。 Microsoftの商標またはロゴの承認された使用は、Microsoftの商標およびブランドガイドラインに従うものであり、従わなければなりません。このプロジェクトの変更されたバージョンでのMicrosoft商標またはロゴの使用は、混乱を引き起こしたり、Microsoftのスポンサーシップを暗示したりしてはなりません。サードパーティの商標またはロゴの使用は、これらのサードパーティのポリシーの対象となります。