gpt3 poc tutorial with braindump

мозговой дамп

Обновление (ноябрь 2023 г.): предпочтительна новая версия GPT-3.5-Turbo. Я добавил новую версию, поддерживающую API завершения чата (протестировано с GPT-3.5-Turbo). Соответствующие подпапки ( gpt-3 , gpt-35-turbo ) теперь содержат исходную и новую версии. За исключением изменения модели и соответствующих настроек, они такие же, но предпочтение отдается gpt-35-turbo , поскольку завершение GPT-3 устарело.

Braindump — это прототип приложения для создания заметок и преобразования их в базу данных, к которой легче обращаться. Просто введите то, что у вас на уме, и приложение правильно классифицирует, разрежет и сохранит это для дальнейшего использования. Он был создан как демонстрация, чтобы показать, как использовать GPT-3 для создания приложений, начиная с проверки концепции, как описано в моем руководстве по Data Science @ Microsoft «Создание приложений GPT-3 — за пределами подсказки». Вы можете использовать его как для выполнения учебного пособия, так и в качестве отправной точки для собственных исследований и приложений (например, повторно используя служебные функции и общие структуры программы в своих собственных, различных задачах).

Это простое приложение Python, которое использует Streamlit для предоставления веб-интерфейса. Чтобы действительно вызвать модель GPT-3, вам необходимо иметь работающий ключ API OpenAI. На момент написания, как только вы создадите свою учетную запись, вы получите несколько бесплатных кредитов, которых должно быть достаточно, чтобы следовать инструкциям и начать работу с приложением. Приложение также должно работать со службой Azure OpenAI вместо исходного предложения OpenAI, хотя я еще не тестировал его там.

Помимо самого приложения, этот репозиторий включает в себя исследования в виде блокнотов Jupyter, которые к нему привели.

Пользовательский интерфейс для поиска выглядит следующим образом:

Чтобы добавить факты, пользовательский интерфейс выглядит следующим образом, включая дополнительную ручную проверку интерпретации модели:

Запуск приложения или исследований

Приложение протестировано на Python 3.8 (GPT-3) и 3.10 (GPT-3.5-Turbo). Основные библиотеки, которые вам понадобятся: openai , streamlit , pandas , notebook , pytest . Вы можете установить их вручную или выполнить описанную ниже процедуру, чтобы создать новую среду и установить их автоматически. Обратите внимание, что для более старой базы кода вам понадобится более старая версия библиотеки openai .

Чтобы запустить приложение:

1. Рекомендуется запускать Python 3.10+ из дистрибутива Anaconda, который можно получить здесь.
2. Чтобы убедиться, что зависимости установлены правильно, вы можете сначала создать новую среду только для этого приложения, используя conda create -n braindump_py310 python=3.10
3. Активируйте новую среду, используя conda activate braindump_py310
4. Для GPT-3.5-Turbo (рекомендуется) установите зависимости, перечисленные в requirements.txt . Вы можете сделать это, запустив pip install -r requirements.txt из корня проекта. Для исходной версии GPT-3 (устаревшей) используйте вместо этого файл requirements.gpt3.txt , чтобы получить более старые зависимости, необходимые для ее работы.
5. Получите рабочий ключ OpenAI API и сделайте его доступным в виде переменной среды с именем OPENAI_API_KEY .
6. Наконец, запустите приложение из корня проекта. В Windows: run.gpt3.bat (версия GPT-3) или run.gpt35turbo.bat (версия GPT-3.5-Turbo); в Linux: run.gpt3.sh (версия GPT-3) или run.gpt35turbo.sh (версия GPT-3.5-Turbo).

Чтобы запустить исследования:

1. Выполните действия, описанные выше, кроме последнего.
2. Откройте нужный блокнот Jupyter в notebooks/ с помощью вашего любимого клиента Jupyter (лично я для этого часто использую VS Code).

Структура проекта

Проект структурирован следующим образом:

• notebooks/ : блокноты Jupyter, используемые для оперативного проектирования.
• src/ : исходный код конечного приложения.
  • src/gpt-3 : исходные коды исходной версии GPT-3 (устарело).
  • src/gpt-3.5-turbo : исходники для версии GPT-3.5-Turbo ( рекомендуется с ноября 2023 г.).
• data/ : данные, хранящиеся приложением.
• tests/ : модульные тесты для приложения.
  • tests/gpt-3/ : тесты для исходной версии GPT-3 (устарело).
  • tests/gpt-3.5-turbo/ : тесты для версии GPT-3.5-Turbo ( рекомендуется с ноября 2023 г.).
• docs/ : документация и связанные с ней ресурсы.

Подход

Этот подход подробно представлен в моем руководстве по Data Science @ Microsoft «Создание приложений GPT-3 — помимо подсказки». Тем не менее, позвольте мне выделить здесь некоторые ключевые моменты:

• Модели больших языков, особенно GPT-3, GPT-3.5-Turbo и GPT-4, предлагают относительно простой и очень гибкий способ создания некоторых типов программного обеспечения. Однако для создания надежного и удобного приложения необходимы значительные дополнительные аспекты разработки программного обеспечения.
• Проверка концепции (PoC) отлично подходит для изучения возможностей новых технологий и быстрой и низкой стоимости демонстрации их ценности. Таким образом, они предоставляют возможность привлечь дополнительные инвестиции, если это необходимо. Поскольку применение LLM, таких как GPT-3, остается совершенно новой областью, PoC — отличный способ исследовать это пространство и учиться.
• Постепенный итеративный процесс — лучший способ создания таких PoC и приложений. Начните с простого варианта использования и добавляйте функции и сложности по мере продвижения.
• Таким образом, теперь можно добиться впечатляющих результатов с относительно небольшими усилиями. То, что раньше было бы слишком дорого или даже невозможно сделать, теперь стало возможным. Таким образом, это отличный способ повысить производительность — как для отдельных лиц, так и для организаций. Время исследовать и экспериментировать с ранее немыслимыми проектами!

Что касается конкретных этапов, то желательно следующее:

• Попробуйте OpenAI Playground с некоторыми очень простыми случаями, чтобы увидеть, заслуживает ли эта идея дополнительной доработки.
• Как только вы решите продолжить, напишите простую спецификацию, состоящую из основных структур данных, которыми вы будете манипулировать, и нескольких примеров входных и выходных данных.
• Разбейте проблему на подзадачи и определите, какие из них можно решить с помощью GPT-3 или аналогичных моделей.
• Постепенно и итеративно разрабатывайте подсказки, желательно с помощью блокнотов Jupyter.
• Убедившись в качестве подсказок, заключите их и вспомогательные механизмы в двигатель.
• Создайте пользовательский интерфейс для своего движка, желательно с помощью чего-то вроде Streamlit или Gradio, оба из которых очень быстро дают хорошие результаты.
• Покажите PoC заинтересованным сторонам и при необходимости повторите его.

Лицензия

Лицензия MIT

Copyright (c) 2023 Паулу Салем да Силва

Настоящим разрешение бесплатно предоставляется любому лицу, получившему копию этого программного обеспечения и связанных с ним файлов документации («Программное обеспечение»), на использование Программного обеспечения без ограничений, включая, помимо прочего, права на использование, копирование, изменение, объединение. публиковать, распространять, сублицензировать и/или продавать копии Программного обеспечения, а также разрешать лицам, которым предоставлено Программное обеспечение, делать это при соблюдении следующих условий:

Вышеупомянутое уведомление об авторских правах и настоящее уведомление о разрешении должны быть включены во все копии или существенные части Программного обеспечения.

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПРЕДОСТАВЛЯЕТСЯ «КАК ЕСТЬ», БЕЗ КАКИХ-ЛИБО ГАРАНТИЙ, ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ, ВКЛЮЧАЯ, НО НЕ ОГРАНИЧИВАЯСЬ, ГАРАНТИЯМИ ТОВАРНОЙ ЦЕННОСТИ, ПРИГОДНОСТИ ДЛЯ ОПРЕДЕЛЕННОЙ ЦЕЛИ И НЕНАРУШЕНИЯ ПРАВ. НИ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ АВТОРЫ ИЛИ ОБЛАДАТЕЛИ АВТОРСКИХ ПРАВ НЕ НЕСУТ ОТВЕТСТВЕННОСТИ ЗА ЛЮБЫЕ ПРЕТЕНЗИИ, УБЫТКИ ИЛИ ДРУГУЮ ОТВЕТСТВЕННОСТЬ, БУДЬ В ДЕЙСТВИЯХ ПО КОНТРАКТУ, ПРАВОНАРУШЕНИЮ ИЛИ ДРУГИМ ОБРАЗОМ, ВОЗНИКАЮЩИЕ ОТ, ИЗ ИЛИ В СВЯЗИ С ПРОГРАММНЫМ ОБЕСПЕЧЕНИЕМ ИЛИ ИСПОЛЬЗОВАНИЕМ ИЛИ ДРУГИМИ СДЕЛКАМИ, ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ.