Evoke

Evoke: Überprüfende Bearbeitung von Rezensenten-Autor-Autor ergeben kritische Denken in LLMs

Projektseite | Arxiv

Große Sprachmodelle (LLMs) haben beeindruckende Fortschritte bei der Verarbeitung natürlicher Sprache erzielt. Diese Modelle beruhen auf ordnungsgemäßen menschlichen Anweisungen (oder Eingabeaufforderungen), um geeignete Antworten zu generieren. Das Potenzial von LLMs wird jedoch nicht vollständig durch häufig verwendete Anlaufmethoden genutzt:

1. Viele Algorithmen von Menschen in der Schleife verwenden AD-hoc-Verfahren für eine schnelle Auswahl.
2. Während Ansätze zur automatischen Eingabeaufforderung Generierung im Wesentlichen alle möglichen Aufforderungen zufällig und ineffizient durchsuchen.

Wir schlagen Evoke vor, ein automatisches Framework für Verfeinerungsrahmen . In Evoke gibt es zwei Fälle mit demselben LLM: a) als Rezensent (LLM-Reviewer), es bewertet die aktuelle Eingabeaufforderung. b) Der andere als Autor (LLM-Autor), es bearbeitet die Eingabeaufforderung, indem er den Bearbeitungshistorium und das Feedback des Rezensenten berücksichtigt.

Eine solche Feedback-Schleife für Autoren und Überprüfung stellt sicher, dass die Eingabeaufforderung in jeder Iteration verfeinert wird. Wir aggregieren weiter einen Datenauswahlansatz, um Evoken zu erhalten, wobei nur die harten Proben dem LLM ausgesetzt sind. Die harten Proben sind wichtiger, da das LLM die Aufgaben aus ihnen ein tieferes Verständnis entwickeln kann, während das Modell möglicherweise bereits weiß, wie man die einfacheren Fälle löst. Experimentelle Ergebnisse zeigen, dass die vorhandenen Methoden signifikant übertrifft.

Weitere Details kommen in Kürze , einschließlich des Spielplatzes!

Beitragen

Dieses Projekt begrüßt Beiträge und Vorschläge. In den meisten Beiträgen müssen Sie einer Mitarbeiters Lizenzvereinbarung (CLA) zustimmen, in der Sie erklären, dass Sie das Recht haben und uns tatsächlich tun, um uns die Rechte zu gewähren, Ihren Beitrag zu verwenden. Weitere Informationen finden Sie unter https://cla.opensource.microsoft.com.

Wenn Sie eine Pull -Anfrage einreichen, bestimmt ein CLA -Bot automatisch, ob Sie eine CLA angeben und die PR angemessen dekorieren müssen (z. B. Statusprüfung, Kommentar). Befolgen Sie einfach die vom Bot bereitgestellten Anweisungen. Sie müssen dies nur einmal über alle Repos mit unserem CLA tun.

Dieses Projekt hat den Microsoft Open Source -Verhaltenscode übernommen. Weitere Informationen finden Sie im FAQ oder wenden Sie sich an [email protected] mit zusätzlichen Fragen oder Kommentaren.

Marken

Dieses Projekt kann Marken oder Logos für Projekte, Produkte oder Dienstleistungen enthalten. Die autorisierte Verwendung von Microsoft -Marken oder Logos unterliegt den Marken- und Markenrichtlinien von Microsoft und muss folgen. Die Verwendung von Microsoft -Marken oder Logos in geänderten Versionen dieses Projekts darf keine Verwirrung verursachen oder Microsoft -Sponsoring implizieren. Jede Verwendung von Marken oder Logos von Drittanbietern unterliegt den Richtlinien dieses Drittanbieters.