PromptWizard, a mais recente ferramenta de código aberto lançada pela equipe de pesquisa de IA da Microsoft, fornece uma nova solução para otimização de palavras imediatas de modelo de linguagem grande (LLM). Os métodos tradicionais de otimização de prompt word são demorados e difíceis de expandir. O PromptWizard melhora significativamente o desempenho e a eficiência do modelo, introduzindo um mecanismo de feedback e adotando uma estratégia de otimização iterativa crítica e abrangente. Ele usa LLM para gerar e avaliar múltiplas variantes de palavras de prompt na fase de geração, garantindo melhoria contínua de desempenho na fase de inferência de teste e, em última análise, alcança excelentes resultados em vários conjuntos de dados e reduz significativamente o consumo de recursos.
Recentemente, a equipe de pesquisa de IA da Microsoft lançou a ferramenta de código aberto PromptWizard, uma estrutura de IA orientada por feedback projetada para otimizar com eficiência o design imediato de grandes modelos de linguagem (LLM). A qualidade das dicas é crítica para a qualidade do resultado do modelo; no entanto, a criação de dicas de alta qualidade geralmente requer muito tempo e recursos humanos, especialmente em tarefas complexas ou específicas de domínio.
Os métodos tradicionais de otimização imediata dependem principalmente da experiência manual, que não só consome tempo, mas também é difícil de expandir. As técnicas de otimização existentes são divididas em dois tipos: contínua e discreta. Técnicas contínuas, como soft prompts, requerem extensos recursos de computação, enquanto métodos discretos, como PromptBreeder e EvoPrompt, são avaliados gerando múltiplas variantes de prompt. Embora esses métodos tenham um bom desempenho em alguns casos, eles carecem de um mecanismo de feedback eficaz, o que geralmente resulta em Os resultados foram. insatisfatório.
O PromptWizard melhora significativamente o desempenho das tarefas, introduzindo um mecanismo de feedback e usando uma abordagem crítica e abrangente para otimizar repetidamente instruções e exemplos imediatos. Seu fluxo de trabalho é dividido principalmente em duas etapas: a etapa de geração e a etapa de inferência de teste. Na fase de geração, o sistema aproveita um grande modelo de linguagem para gerar múltiplas variantes das pistas subjacentes e as avalia para encontrar candidatos de alto desempenho. Ao mesmo tempo, o mecanismo de crítica integrado da estrutura analisará as vantagens e desvantagens de cada prompt e fornecerá feedback para orientar a otimização subsequente. Após várias rodadas de otimização, o sistema pode melhorar a diversidade e a qualidade dos prompts.
Durante a fase de inferência de teste, dicas e exemplos otimizados são aplicados a novas tarefas para garantir a melhoria contínua do desempenho. Com esta abordagem, o PromptWizard conduz experimentos extensivos em 45 tarefas e alcança excelentes resultados em ambientes supervisionados e não supervisionados. Por exemplo, atinge 90% de precisão não supervisionada no conjunto de dados GSM8K e 82,3% no SVAMP. Além disso, em comparação com métodos discretos como o PromptBreeder, o PromptWizard reduz as chamadas de API e o uso de tokens em até 60 vezes, demonstrando sua eficiência em ambientes com recursos limitados.
O sucesso do PromptWizard reside na otimização inovadora de sequências, na crítica guiada e na integração de funções especializadas, permitindo que ele seja efetivamente adaptado a tarefas específicas e tenha boa interpretabilidade. Este progresso anuncia a importância das estruturas de automação nos fluxos de trabalho de processamento de linguagem natural e espera-se que promova aplicações mais eficazes e económicas de tecnologias avançadas de IA.
Blog: https://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-feedback-driven-self-evolving-prompts/
Código do projeto: https://github.com/microsoft/PromptWizard?tab=readme-ov-file
Artigo: https://www.microsoft.com/en-us/research/publication/promptwizard-task-aware-agent-driven-prompt-optimization-framework/
Destaque:
PromptWizard é uma nova estrutura de IA usada para otimizar prompts para modelos de linguagem grandes e melhorar o desempenho do modelo.
Esta estrutura combina mecanismos de crítica e ciclos de feedback para gerar e avaliar com eficiência múltiplas variantes imediatas.
O PromptWizard apresenta excelente precisão em múltiplas tarefas e reduz significativamente o consumo e o custo de recursos.
Resumindo, o PromptWizard fornece uma ferramenta poderosa para otimização imediata de palavras de grandes modelos de linguagem por meio de mecanismos inovadores baseados em feedback e estratégias de otimização eficientes. Sua eficiência e precisão proporcionam vantagens significativas em aplicações práticas, fornecendo uma ferramenta poderosa para a IA contribuir para o desenvolvimento. de tecnologia. Os leitores interessados podem visitar os links fornecidos para obter mais informações.