gpt3 poc tutorial with braindump

브레인덤프

업데이트(2023년 11월): 새로운 GPT-3.5-Turbo 버전이 선호됩니다. Chat Completion API를 지원하는 새 버전을 추가했습니다(GPT-3.5-Turbo로 테스트). 이제 적절한 하위 폴더( gpt-3 , gpt-35-turbo )에 원본 버전과 새 버전이 포함됩니다. 모델 변경 및 해당 조정 외에는 동일하지만 GPT-3 완성이 더 이상 사용되지 않기 때문에 gpt-35-turbo 선호됩니다.

Braindump는 메모를 작성하고 이를 보다 쉽게 ​​쿼리할 수 있는 데이터베이스로 변환하기 위한 프로토타입 애플리케이션입니다. 마음 속에 있는 것을 입력하기만 하면 애플리케이션이 나중에 사용할 수 있도록 이를 적절하게 분류하고, 쪼개고, 저장합니다. 이는 내 데이터 과학 @ Microsoft 튜토리얼 "프롬프트를 넘어 GPT-3 애플리케이션 구축"에 설명된 대로 GPT-3를 활용하여 개념 증명으로 시작하는 애플리케이션을 구축하는 방법을 보여주기 위한 데모로 구축되었습니다. 튜토리얼을 따르거나 자신의 연구 및 응용 프로그램을 위한 시작점으로 이를 사용할 수 있습니다(예: 자신의 다른 문제에서 유틸리티 기능과 전체 프로그램 구조를 재사용하여).

Streamlit을 활용하여 웹 인터페이스를 제공하는 간단한 Python 애플리케이션입니다. 실제로 GPT-3 모델을 호출하려면 작동하는 OpenAI API 키가 필요합니다. 글을 쓰는 시점에 계정을 생성하면 튜토리얼을 따르고 애플리케이션을 시작하는 데 충분한 무료 크레딧을 얻을 수 있습니다. 애플리케이션은 원래 OpenAI 서비스 대신 Azure OpenAI 서비스에서도 작동해야 하지만 아직 테스트하지는 않았습니다.

애플리케이션 자체 외에도 이 저장소에는 이를 가능하게 한 Jupyter 노트북 형태의 연구가 포함되어 있습니다.

검색 UI는 다음과 같습니다.

사실을 추가하기 위해 모델 해석에 대한 선택적 수동 검사를 포함하여 UI는 다음과 같습니다.

응용 프로그램 또는 연구 실행

이 애플리케이션은 Python 3.8(GPT-3) 및 3.10(GPT-3.5-Turbo)에서 테스트되었습니다. 필요한 주요 라이브러리는 openai , streamlit , pandas , notebook , pytest 입니다. 수동으로 설치하거나, ​​아래 절차에 따라 새 환경을 생성하고 자동으로 설치할 수 있습니다. 이전 코드베이스의 경우 이전 버전의 openai 라이브러리가 필요합니다.

애플리케이션을 실행하려면:

1. 여기에서 구할 수 있는 Anaconda 배포판에서 Python 3.10+를 실행하는 것이 좋습니다.
2. 종속성이 제대로 설치되었는지 확인하려면 먼저 conda create -n braindump_py310 python=3.10 사용하여 이 애플리케이션에 대한 새 환경을 생성할 수 있습니다.
3. conda activate braindump_py310 사용하여 새 환경을 활성화합니다.
4. GPT-3.5-Turbo(권장)의 경우 requirements.txt 에 나열된 종속성을 설치합니다. 프로젝트 루트에서 pip install -r requirements.txt 실행하여 이 작업을 수행할 수 있습니다. 원본 GPT-3 버전(더 이상 사용되지 않음)의 경우 대신에 requirements.gpt3.txt 를 사용하여 해당 작업에 필요한 이전 종속성을 가져옵니다.
5. 작동하는 OpenAI API 키가 필요하고 이를 OPENAI_API_KEY 라는 환경 변수로 사용할 수 있도록 하세요.
6. 마지막으로 프로젝트 루트에서 애플리케이션을 시작합니다. Windows: run.gpt3.bat (GPT-3 버전) 또는 run.gpt35turbo.bat (GPT-3.5-Turbo 버전) Linux: run.gpt3.sh (GPT-3 버전) 또는 run.gpt35turbo.sh (GPT-3.5-Turbo 버전).

연구를 실행하려면:

1. 마지막 단계를 제외하고 위의 단계를 따르세요.
2. 즐겨찾는 Jupyter 클라이언트를 사용하여 notebooks/ 아래에서 원하는 Jupyter 노트북을 엽니다(개인적으로는 이를 위해 VS Code를 많이 사용합니다).

프로젝트 구조

프로젝트는 다음과 같이 구성됩니다.

• notebooks/ : 신속한 엔지니어링에 사용되는 Jupyter 노트북입니다.
• src/ : 최종 애플리케이션의 소스 코드입니다.
  • src/gpt-3 : 원래 GPT-3 버전의 소스(더 이상 사용되지 않음)
  • src/gpt-3.5-turbo : GPT-3.5-Turbo 버전의 소스(2023년 11월부터 권장 ).
• data/ : 애플리케이션에 의해 저장된 데이터입니다.
• tests/ : 애플리케이션에 대한 단위 테스트입니다.
  • tests/gpt-3/ : 원래 GPT-3 버전에 대한 테스트(더 이상 사용되지 않음)
  • tests/gpt-3.5-turbo/ : GPT-3.5-Turbo 버전에 대한 테스트(2023년 11월부터 권장 ).
• docs/ : 문서 및 관련 자산.

접근하다

이 접근 방식은 내 Data Science @ Microsoft 튜토리얼 "GPT-3 애플리케이션 구축 - 프롬프트 너머"에 자세히 나와 있습니다. 그럼에도 불구하고 여기서는 몇 가지 핵심 사항을 강조하겠습니다.

• 대규모 언어 모델, 특히 GPT-3, GPT-3.5-Turbo 및 GPT-4는 일부 유형의 소프트웨어를 구축하는 데 상대적으로 쉽고 매우 유연한 방법을 제공합니다. 그러나 실제로 강력하고 사용 가능한 애플리케이션을 구축하려면 상당한 추가 소프트웨어 엔지니어링 측면이 필요합니다.
• 개념 증명(PoC)은 새로운 기술의 기능을 탐색하고 저렴한 비용으로 신속하게 가치를 입증하는 데 적합합니다. 따라서 필요한 경우 추가 투자를 확보할 수 있는 방법을 제공합니다. GPT-3과 같은 LLM의 적용은 여전히 ​​매우 새로운 영역이므로 PoC는 공간을 탐색하고 학습할 수 있는 좋은 방법입니다.
• 점진적이고 반복적인 프로세스는 이러한 PoC 및 애플리케이션을 구축하는 가장 좋은 방법입니다. 간단한 사용 사례로 시작하여 진행하면서 기능과 복잡성을 추가하세요.
• 이러한 방식으로 이제 비교적 적은 노력으로 인상적인 결과를 얻을 수 있습니다. 이전에는 비용이 너무 많이 들거나 불가능했던 일이 이제는 가능해졌습니다. 따라서 이는 개인과 조직 모두 생산성을 향상시킬 수 있는 좋은 방법입니다. 이전에는 상상할 수 없었던 프로젝트를 탐색하고 실험할 시간입니다!

특정 단계에서는 다음이 권장됩니다.

• 아이디어가 더 많은 작업을 할 가치가 있는지 확인하기 위해 매우 간단한 몇 가지 사례로 OpenAI Playground를 사용해 보세요.
• 계속 진행하기로 결정한 후에는 조작할 기본 데이터 구조와 입력 및 출력의 몇 가지 예시로 구성된 간단한 사양을 작성하세요.
• 문제를 하위 문제로 분류하고 GPT-3 또는 유사한 모델로 처리할 수 있는 문제를 결정합니다.
• 가급적이면 Jupyter 노트북을 사용하여 프롬프트를 점진적이고 반복적으로 엔지니어링하세요.
• 프롬프트의 품질이 만족스러우면 프롬프트와 보조 메커니즘을 엔진에 캡슐화합니다.
• Streamlit이나 Gradio와 같은 것을 사용하여 엔진용 UI를 구축하면 두 가지 모두 매우 빠르게 좋은 결과를 얻을 수 있습니다.
• 이해관계자에게 PoC를 보여주고 적절하게 반복합니다.

특허

MIT 라이센스

저작권 (c) 2023 파울로 살렘 다 실바

본 소프트웨어 및 관련 문서 파일("소프트웨어")의 사본을 취득한 모든 사람에게 사용, 복사, 수정, 병합에 대한 권리를 포함하되 이에 국한되지 않고 제한 없이 소프트웨어를 취급할 수 있는 권한이 무료로 부여됩니다. , 소프트웨어 사본을 게시, 배포, 재라이센스 부여 및/또는 판매하고, 소프트웨어를 제공받은 사람에게 다음 조건에 따라 그렇게 하도록 허용합니다.

위의 저작권 고지와 본 허가 고지는 소프트웨어의 모든 사본 또는 상당 부분에 포함됩니다.

소프트웨어는 상품성, 특정 목적에의 적합성 및 비침해에 대한 보증을 포함하되 이에 국한되지 않고 명시적이든 묵시적이든 어떠한 종류의 보증 없이 "있는 그대로" 제공됩니다. 어떠한 경우에도 작성자나 저작권 보유자는 계약, 불법 행위 또는 기타 행위로 인해 소프트웨어나 사용 또는 기타 거래와 관련하여 발생하는 모든 청구, 손해 또는 기타 책임에 대해 책임을 지지 않습니다. 소프트웨어.