Evoke

Evoke：通過審閱者-Athor提示編輯在LLM中喚起LLM的批判性思維能力

項目頁面| arxiv

大型語言模型（LLM）在自然語言處理方面取得了令人印象深刻的進步。這些模型依靠適當的人類說明（或提示）來產生合適的響應。但是，LLM的潛力並未通過普遍使用的提示方法充分利用：

1. 許多人類在循環算法採用臨時程序進行迅速選擇；
2. 雖然自動及時生成方法實際上是在隨機且效率低下搜索所有可能的提示。

我們提出了Evoke，這是一個自動及時的改進框架。在Evoke中，有兩個相同LLM的實例：a）一個作為審閱者（LLM-REVIEWER），它得分當前提示； b）另一個作為作者（LLM-aTHOR），它通過考慮編輯歷史記錄和審閱者的反饋來編輯提示。

這樣的作者審查器反饋循環可確保在每次迭代中進行提示。我們進一步匯總了一種喚起數據選擇方法，其中只有硬樣品暴露於LLM。硬樣本更為重要，因為LLM可以對其完成任務的更深入了解，而模型可能已經知道如何解決更容易的情況。實驗結果表明，引起的表現明顯優於現有方法。

更多細節即將推出，包括操場！

貢獻

該項目歡迎貢獻和建議。大多數捐款要求您同意撰寫貢獻者許可協議（CLA），宣布您有權並實際上授予我們使用您的貢獻的權利。有關詳細信息，請訪問https://cla.opensource.microsoft.com。

當您提交拉動請求時，CLA機器人將自動確定您是否需要提供CLA並適當裝飾PR（例如狀態檢查，評論）。只需按照機器人提供的說明即可。您只需要使用我們的CLA在所有存儲庫中進行一次。

該項目採用了Microsoft開源的行為代碼。有關更多信息，請參見《行為守則常見問題守則》或與其他問題或評論聯繫[email protected]。

商標

該項目可能包含用於項目，產品或服務的商標或徽標。 Microsoft商標或徽標的授權使用受到了Microsoft的商標和品牌準則的約束。在此項目的修改版本中使用Microsoft商標或徽標不得引起混亂或暗示Microsoft贊助。任何使用第三方商標或徽標都遵守這些第三方政策。