Evoke

Evocar: evocando habilidades de pensamento crítico no LLMS via revisor-autor prompt.

Página do projeto | arxiv

Os grandes modelos de idiomas (LLMs) fizeram um progresso impressionante no processamento de linguagem natural. Esses modelos dependem de instruções humanas adequadas (ou instruções) para gerar respostas adequadas. No entanto, o potencial dos LLMs não é totalmente aproveitado por métodos de condução comumente usados:

1. Muitos algoritmos humanos no loop empregam procedimentos ad-hoc para seleção imediata;
2. Enquanto as abordagens de geração de prompt de automóvel estão essencialmente pesquisando todos os avisos possíveis aleatoriamente e ineficientemente.

Propomos EVOKE, uma estrutura de refinamento imediato automático . No EVOKE, há duas instâncias de um mesmo LLM: a) como um revisor (LLM-Reviewer), ele obtém o prompt atual; b) O outro como autor (LLM-Autor), ele edita o prompt, considerando o histórico de edição e o feedback do revisor.

Esse loop de feedback de revisão de autor garante que o prompt seja refinado em cada iteração. Agregamos ainda uma abordagem de seleção de dados para evocar, onde apenas as amostras duras são expostas ao LLM. As amostras difíceis são mais importantes porque o LLM pode desenvolver uma compreensão mais profunda das tarefas a partir delas, enquanto o modelo já pode saber como resolver os casos mais fáceis. Os resultados experimentais mostram que a evocação supera significativamente os métodos existentes.

Mais detalhes em breve , incluindo o playground!

Contribuindo

Este projeto recebe contribuições e sugestões. A maioria das contribuições exige que você concorde com um Contrato de Licença de Colaborador (CLA) declarando que você tem o direito e, na verdade, concede -nos os direitos de usar sua contribuição. Para detalhes, visite https://cla.opensource.microsoft.com.

Quando você envia uma solicitação de tração, um Bot CLA determina automaticamente se você precisa fornecer um CLA e decorar o PR adequadamente (por exemplo, verificação de status, comentar). Simplesmente siga as instruções fornecidas pelo bot. Você só precisará fazer isso uma vez em todos os repositórios usando nosso CLA.

Este projeto adotou o Código de Conduta Open Microsoft. Para obter mais informações, consulte o Código de Conduta Perguntas frequentes ou entre em contato com [email protected] com quaisquer perguntas ou comentários adicionais.

Marcas comerciais

Este projeto pode conter marcas comerciais ou logotipos para projetos, produtos ou serviços. O uso autorizado de marcas comerciais ou logotipos da Microsoft está sujeito e deve seguir as diretrizes de marca registrada e marca da Microsoft. O uso de marcas comerciais da Microsoft ou logotipos em versões modificadas deste projeto não deve causar confusão ou implicar o patrocínio da Microsoft. Qualquer uso de marcas comerciais ou logotipos de terceiros estão sujeitas às políticas de terceiros.