gpt3 poc tutorial with braindump

頭腦轉儲

更新（2023 年 11 月）：首選新的 GPT-3.5-Turbo 版本。我新增了支援聊天完成 API 的新版本（使用 GPT-3.5-Turbo 進行測試）。適當的子資料夾（ gpt-3 、 gpt-35-turbo ）現在包含原始版本和新版本。除了模型變更和相應調整之外，它們是相同的，但首選gpt-35-turbo ，因為 GPT-3 補全已棄用。

Braindump 是一個原型應用程序，用於記錄筆記並將其轉換為更容易查詢的資料庫。只需輸入您的想法，應用程式就會對其進行正確分類、切片和儲存以供以後使用。它是作為演示構建的，旨在展示如何利用 GPT-3 從概念驗證開始構建應用程序，如我的 Data Science @ Microsoft 教程“構建 GPT-3 應用程序 - 超越提示”中所述。您可以使用它來遵循教程，也可以將其作為您自己的研究和應用的起點（例如，透過在您自己的不同問題中重複使用實用函數和總體程式結構）。

它是一個簡單的 Python 應用程序，利用 Streamlit 提供 Web 介面。要實際呼叫 GPT-3 模型，您需要有一個可用的 OpenAI API 金鑰。在撰寫本文時，創建帳戶後，您將獲得一些免費積分，這些積分足以遵循教程並開始使用該應用程式。該應用程式也應該與 Azure OpenAI 服務一起使用，而不是原始的 OpenAI 產品，儘管我尚未在那裡進行測試。

除了應用程式本身之外，該儲存庫還包括導致該應用程式的 Jupyter 筆記本形式的研究。

搜尋的 UI 如下所示：

要新增事實，UI 如下，包括可選的模型解釋手動檢查：

運行應用程式或研究

該應用程式已在 Python 3.8 (GPT-3) 和 3.10 (GPT-3.5-Turbo) 上進行了測試。您需要的主要函式庫是： openai 、 streamlit 、 pandas 、 notebook 、 pytest 。您可以手動安裝它們，也可以按照以下程序建立新環境並自動安裝它們。請注意，對於較舊的程式碼庫，您將需要舊版本的openai庫。

運行應用程式：

1. 建議您執行 Anaconda 發行版中的 Python 3.10+，可以在此處取得。
2. 為了確保正確安裝依賴項，您可以先使用conda create -n braindump_py310 python=3.10專門為此應用程式建立一個新環境
3. 使用conda activate braindump_py310啟動新環境
4. 對於 GPT-3.5-Turbo（建議），安裝requirements.txt中列出的依賴項。您可以透過從專案根目錄執行pip install -r requirements.txt來完成此操作。對於原始 GPT-3 版本（已棄用），請改用requirements.gpt3.txt ，以取得其操作所需的舊依賴項。
5. 取得您需要的可用 OpenAI API 金鑰，並將其作為名為OPENAI_API_KEY的環境變數提供。
6. 最後，從專案的根目錄啟動應用程式。在 Windows 上： run.gpt3.bat （GPT-3 版本）或run.gpt35turbo.bat （GPT-3.5-Turbo 版本）；在 Linux 上： run.gpt3.sh （GPT-3 版本）或run.gpt35turbo.sh （GPT-3.5-Turbo 版本）。

進行研究：

1. 除最後一步外，請按照上述步驟操作。
2. 使用您最喜歡的 Jupyter 用戶端在notebooks/下開啟所需的 Jupyter 筆記本（就我個人而言，我經常使用 VS Code）。

專案結構

該項目的架構如下：

• notebooks/ ：用於即時工程的 Jupyter 筆記本。
• src/ ：最終應用程式的原始碼。
  • src/gpt-3 ：原始 GPT-3 版本的來源（已棄用）。
  • src/gpt-3.5-turbo ：GPT-3.5-Turbo 版本的來源（自 2023 年 11 月起推薦）。
• data/ ：應用程式儲存的資料。
• tests/ ：應用程式的單元測試。
  • tests/gpt-3/ ：測試原始 GPT-3 版本（已棄用）。
  • tests/gpt-3.5-turbo/ ：GPT-3.5-Turbo 版本的測試（自 2023 年 11 月起推薦）。
• docs/ ：文件和相關資產。

方法

該方法在我的 Data Science @ Microsoft 教程“建立 GPT-3 應用程式 - 超越提示”中詳細介紹。儘管如此，讓我在這裡強調一些關鍵點：

• 大型語言模型，特別是 GPT-3、GPT-3.5-Turbo 和 GPT-4，提供了一種相對簡單且非常靈活的方式來建立某些類型的軟體。然而，要真正建立一個健壯且可用的應用程序，還需要大量額外的軟體工程的知識。
• 概念驗證 (PoC) 非常適合探索新技術的功能並以低成本快速展示價值。因此，如果有必要的話，它們提供了一種獲得更多投資的方法。由於 GPT-3 等法學碩士的應用仍然是一個非常新的領域，因此 PoC 是探索該空間和學習的好方法。
• 漸進、迭代的過程是建立此類 PoC 和應用程式的最佳方式。從一個簡單的用例開始，然後逐漸添加功能和複雜性。
• 透過這種方式，現在可以用相對較少的努力取得令人印象深刻的成果。以前成本太高甚至不可能做的事情現在變得可行。因此，對於個人和組織來說，這都是提高生產力的好方法。是時候探索和嘗試以前不可想像的項目了！

就具體階段而言，建議採取以下措施

• 嘗試使用 OpenAI Playground 一些非常簡單的案例，看看這個想法是否值得更多的工作。
• 一旦您決定繼續，請編寫一個簡單的規範，其中包含您將要操作的基本資料結構以及一些輸入和輸出的範例。
• 將問題分解為子問題，並確定哪些子問題可以透過 GPT-3 或類似模型來處理。
• 逐步、迭代地設計您的提示，最好使用 Jupyter 筆記本。
• 一旦對提示的品質感到滿意，請將它們和輔助機制封裝在引擎中。
• 為您的引擎建立 UI，最好使用 Streamlit 或 Gradio 之類的工具，這兩種工具都可以非常快速地產生良好的結果。
• 向利害關係人展示 PoC 並酌情進行迭代。

執照

麻省理工學院許可證

版權所有 (c) 2023 保羅·薩勒姆·達席爾瓦

特此免費授予任何獲得本軟體和相關文件文件（「軟體」）副本的人不受限制地使用本軟體，包括但不限於使用、複製、修改、合併的權利、發布、分發、再授權和/或銷售軟體的副本，並允許向其提供軟體的人員這樣做，但須滿足以下條件：

上述版權聲明和本授權聲明應包含在本軟體的所有副本或主要部分中。

本軟體以「現況」提供，不提供任何明示或暗示的保證，包括但不限於適銷性、特定用途的適用性和不侵權的保證。 IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE軟體.