PromptWizard, das neueste Open-Source-Tool, das vom Microsoft AI-Forschungsteam veröffentlicht wurde, bietet eine neue Lösung für die Optimierung von Eingabeaufforderungen durch das Large Language Model (LLM). Herkömmliche Methoden zur Prompt-Wort-Optimierung sind zeitaufwändig und schwer zu erweitern. PromptWizard verbessert die Modellleistung und -effizienz erheblich, indem es einen Feedback-Mechanismus einführt und eine kritische und umfassende iterative Optimierungsstrategie übernimmt. Es verwendet LLM, um in der Generierungsphase mehrere Prompt-Wort-Varianten zu generieren und auszuwerten, wodurch eine kontinuierliche Leistungsverbesserung in der Testinferenzphase gewährleistet wird, letztendlich hervorragende Ergebnisse bei mehreren Datensätzen erzielt werden und der Ressourcenverbrauch erheblich reduziert wird.
Kürzlich hat das KI-Forschungsteam von Microsoft das Open-Source-Tool PromptWizard veröffentlicht, ein Feedback-gesteuertes KI-Framework, das darauf ausgelegt ist, das Prompt-Design großer Sprachmodelle (LLM) effizient zu optimieren. Die Qualität der Hinweise ist entscheidend für die Qualität der Modellausgabe. Die Erstellung hochwertiger Hinweise erfordert jedoch häufig viel Zeit und Personalressourcen, insbesondere bei komplexen oder domänenspezifischen Aufgaben.
Herkömmliche Methoden zur sofortigen Optimierung basieren meist auf manueller Erfahrung, die nicht nur zeitaufwändig, sondern auch schwer zu erweitern ist. Bestehende Optimierungstechniken werden in zwei Typen unterteilt: kontinuierlich und diskret. Kontinuierliche Techniken wie Soft-Prompts erfordern umfangreiche Rechenressourcen, während diskrete Methoden wie PromptBreeder und EvoPrompt durch die Generierung mehrerer Prompt-Varianten evaluiert werden. Obwohl diese Methoden in einigen Fällen gut funktionieren, fehlt ihnen ein effektiver Feedback-Mechanismus, was häufig zu Ergebnissen führt unbefriedigend.
PromptWizard verbessert die Aufgabenleistung erheblich, indem es einen Feedback-Mechanismus einführt und einen kritischen und umfassenden Ansatz zur wiederholten Optimierung von Eingabeaufforderungsanweisungen und Beispielen verwendet. Der Arbeitsablauf ist hauptsächlich in zwei Phasen unterteilt: die Generierungsphase und die Testinferenzphase. In der Generierungsphase nutzt das System ein großes Sprachmodell, um mehrere Varianten der zugrunde liegenden Hinweise zu generieren und diese auszuwerten, um leistungsstarke Kandidaten zu finden. Gleichzeitig analysiert der integrierte Kritikmechanismus des Frameworks die Vor- und Nachteile jeder Eingabeaufforderung und gibt Feedback, um die nachfolgende Optimierung anzuleiten. Nach mehreren Optimierungsrunden kann das System die Vielfalt und Qualität der Eingabeaufforderungen verbessern.
Während der Testinferenzphase werden optimierte Hinweise und Beispiele auf neue Aufgaben angewendet, um eine kontinuierliche Leistungsverbesserung sicherzustellen. Mit diesem Ansatz führt PromptWizard umfangreiche Experimente zu 45 Aufgaben durch und erzielt hervorragende Ergebnisse sowohl in unbeaufsichtigten als auch in überwachten Umgebungen. Beispielsweise wird beim GSM8K-Datensatz eine unbeaufsichtigte Genauigkeit von 90 % und bei SVAMP eine Genauigkeit von 82,3 % erreicht. Darüber hinaus reduziert PromptWizard im Vergleich zu diskreten Methoden wie PromptBreeder API-Aufrufe und Token-Nutzung um das bis zu 60-fache und demonstriert so seine Effizienz in Umgebungen mit eingeschränkten Ressourcen.
Der Erfolg von PromptWizard liegt in der innovativen Sequenzoptimierung, der geführten Kritik und der Integration von Expertenrollen, die eine effektive Anpassung an spezifische Aufgaben und eine gute Interpretierbarkeit ermöglichen. Dieser Fortschritt verdeutlicht die Bedeutung von Automatisierungs-Frameworks in Arbeitsabläufen zur Verarbeitung natürlicher Sprache und dürfte effektivere und wirtschaftlichere Anwendungen fortschrittlicher KI-Technologien fördern.
Blog: https://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-feedback-driven-self-evolving-prompts/
Projektcode: https://github.com/microsoft/PromptWizard?tab=readme-ov-file
Papier: https://www.microsoft.com/en-us/research/publication/promptwizard-task-aware-agent-driven-prompt-optimization-framework/
Highlight:
PromptWizard ist ein neues KI-Framework, das zur Optimierung von Eingabeaufforderungen für große Sprachmodelle und zur Verbesserung der Modellleistung verwendet wird.
Dieses Framework kombiniert Kritikmechanismen und Feedbackschleifen, um mehrere Prompt-Varianten effizient zu generieren und zu bewerten.
PromptWizard zeigt bei mehreren Aufgaben eine hervorragende Genauigkeit und reduziert den Ressourcenverbrauch und die Kosten erheblich.
Alles in allem bietet PromptWizard ein leistungsstarkes Tool zur schnellen Wortoptimierung großer Sprachmodelle durch innovative Feedback-gesteuerte Mechanismen und effiziente Optimierungsstrategien. Seine Effizienz und Genauigkeit verschaffen ihm erhebliche Vorteile in praktischen Anwendungen und stellen ein leistungsstarkes Tool für die KI-Entwicklung dar der Technologie. Interessierte Leser können die bereitgestellten Links für weitere Informationen besuchen.