PromptWizard, новейший инструмент с открытым исходным кодом, выпущенный исследовательской группой Microsoft по искусственному интеллекту, предоставляет новое решение для оптимизации слов в подсказках модели большого языка (LLM). Традиционные методы оптимизации слов подсказок отнимают много времени и их трудно расширить. PromptWizard значительно повышает производительность и эффективность модели за счет введения механизма обратной связи и принятия критической и комплексной стратегии итеративной оптимизации. Он использует LLM для генерации и оценки нескольких вариантов подсказок на этапе генерации, обеспечивая постоянное улучшение производительности на этапе тестового вывода и в конечном итоге достигает отличных результатов на нескольких наборах данных и значительно снижает потребление ресурсов.
Недавно исследовательская группа Microsoft по искусственному интеллекту выпустила инструмент с открытым исходным кодом PromptWizard, основанную на обратной связи структуру искусственного интеллекта, предназначенную для эффективной оптимизации оперативного проектирования больших языковых моделей (LLM). Качество подсказок имеет решающее значение для качества выходных данных модели, однако создание высококачественных подсказок часто требует много времени и человеческих ресурсов, особенно в сложных или специфичных для предметной области задачах.
Традиционные методы оперативной оптимизации в основном полагаются на ручной опыт, который не только отнимает много времени, но и трудно расширяется. Существующие методы оптимизации делятся на два типа: непрерывные и дискретные. Непрерывные методы, такие как мягкие подсказки, требуют больших вычислительных ресурсов, в то время как дискретные методы, такие как PromptBreeder и EvoPrompt, оцениваются путем создания нескольких вариантов подсказок. Хотя в некоторых случаях эти методы работают хорошо, им не хватает эффективного механизма обратной связи, что часто приводит к тому, что результаты были неудовлетворительными. неудовлетворительный.
PromptWizard значительно повышает производительность задач за счет введения механизма обратной связи и использования критического и комплексного подхода для многократной оптимизации подсказок и примеров. Его рабочий процесс в основном разделен на два этапа: этап генерации и этап тестового вывода. На этапе генерации система использует большую языковую модель для генерации нескольких вариантов основных сигналов и оценивает их, чтобы найти высокоэффективных кандидатов. В то же время встроенный в платформу механизм критики анализирует преимущества и недостатки каждого запроса и предоставляет обратную связь для последующей оптимизации. После нескольких раундов оптимизации система может улучшить разнообразие и качество подсказок.
На этапе вывода результатов тестирования к новым задачам применяются оптимизированные подсказки и примеры, чтобы обеспечить постоянное улучшение производительности. Благодаря такому подходу PromptWizard проводит обширные эксперименты над 45 задачами и достигает отличных результатов как в неконтролируемых, так и в контролируемых условиях. Например, он достигает 90% неконтролируемой точности в наборе данных GSM8K и 82,3% в SVAMP. Кроме того, по сравнению с дискретными методами, такими как PromptBreeder, PromptWizard сокращает вызовы API и использование токенов до 60 раз, демонстрируя свою эффективность в средах с ограниченными ресурсами.
Успех PromptWizard заключается в инновационной оптимизации последовательностей, управляемой критике и интеграции экспертных ролей, что позволяет ему эффективно адаптироваться к конкретным задачам и иметь хорошую интерпретируемость. Этот прогресс свидетельствует о важности систем автоматизации в рабочих процессах обработки естественного языка и, как ожидается, будет способствовать более эффективному и экономичному применению передовых технологий искусственного интеллекта.
Блог: https://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-feedback-driven-self-evolving-prompts/
Код проекта: https://github.com/microsoft/PromptWizard?tab=readme-ov-file.
Документ: https://www.microsoft.com/en-us/research/publication/promptwizard-task-aware-agent-driven-prompt-optimization-framework/
Выделять:
PromptWizard — это новая платформа искусственного интеллекта, используемая для оптимизации подсказок для больших языковых моделей и повышения производительности моделей.
Эта структура сочетает в себе механизмы критики и циклы обратной связи для эффективного создания и оценки нескольких вариантов подсказок.
PromptWizard показывает превосходную точность при выполнении множества задач и значительно снижает потребление ресурсов и затраты.
В целом, PromptWizard предоставляет мощный инструмент для быстрой оптимизации слов в больших языковых моделях с помощью инновационных механизмов обратной связи и эффективных стратегий оптимизации. Его эффективность и точность дают ему значительные преимущества в практических приложениях, предоставляя мощный инструмент для содействия развитию искусственного интеллекта. технологии. Заинтересованные читатели могут посетить приведенные ссылки для получения дополнительной информации.