Evoke

Evoke：通过审阅者-Athor提示编辑在LLM中唤起LLM的批判性思维能力

项目页面| arxiv

大型语言模型（LLM）在自然语言处理方面取得了令人印象深刻的进步。这些模型依靠适当的人类说明（或提示）来产生合适的响应。但是，LLM的潜力并未通过普遍使用的提示方法充分利用：

1. 许多人类在循环算法采用临时程序进行迅速选择；
2. 虽然自动及时生成方法实际上是在随机且效率低下搜索所有可能的提示。

我们提出了Evoke，这是一个自动及时的改进框架。在Evoke中，有两个相同LLM的实例：a）一个作为审阅者（LLM-REVIEWER），它得分当前提示； b）另一个作为作者（LLM-aTHOR），它通过考虑编辑历史记录和审阅者的反馈来编辑提示。

这样的作者审查器反馈循环可确保在每次迭代中进行提示。我们进一步汇总了一种唤起数据选择方法，其中只有硬样品暴露于LLM。硬样本更为重要，因为LLM可以对其完成任务的更深入了解，而模型可能已经知道如何解决更容易的情况。实验结果表明，引起的表现明显优于现有方法。

更多细节即将推出，包括操场！

贡献

该项目欢迎贡献和建议。大多数捐款要求您同意撰写贡献者许可协议（CLA），宣布您有权并实际上授予我们使用您的贡献的权利。有关详细信息，请访问https://cla.opensource.microsoft.com。

当您提交拉动请求时，CLA机器人将自动确定您是否需要提供CLA并适当装饰PR（例如状态检查，评论）。只需按照机器人提供的说明即可。您只需要使用我们的CLA在所有存储库中进行一次。

该项目采用了Microsoft开源的行为代码。有关更多信息，请参见《行为守则常见问题守则》或与其他问题或评论联系[email protected]。

商标

该项目可能包含用于项目，产品或服务的商标或徽标。 Microsoft商标或徽标的授权使用受到了Microsoft的商标和品牌准则的约束。在此项目的修改版本中使用Microsoft商标或徽标不得引起混乱或暗示Microsoft赞助。任何使用第三方商标或徽标都遵守这些第三方政策。