hal9

Hal9：創建和共享生成應用程式

在幾秒鐘內創建和部署生成（法學碩士和擴散器）應用程式（聊天機器人和 API）。

• 開放：使用任何模型（OpenAI、Llama、Groq、MidJourney）和任何函式庫（例如（LangChain、DSPy））。
• 直覺：無需學習應用程式框架（Flask），只需使用input()和print() ，或將檔案寫入磁碟。
• 可擴展：工程師可以將您的應用程式與可擴展技術（Docker、Kubernetes 等）集成
• 功能強大：使用作業系統進程（stdin、stdout、檔案）作為我們的應用程式合約，可以實現長時間運行的代理程式、多種程式語言和複雜的系統相依性。

專注於人工智慧（RAG、微調、對齊、培訓）並跳過工程任務（前端開發、後端整合、部署、營運）。

入門

在幾秒鐘內創建並共享聊天機器人，如下所示：

pip install hal9

hal9 create chatbot
hal9 deploy chatbot

請注意， deploy需要一個HAL9_TOKEN環境變數以及一個可以從 hal9.com/devs 取得的 API 令牌。您可以使用此令牌從本機電腦、筆記本進行部署或從 GitHub 進行自動化部署。

HAL9_TOKEN=H9YOURTOKEN hal9 deploy chatbot --name my_first_chatbot

就像您創建了第一個聊天機器人一樣簡單！

/chatbot/app.py中的程式碼包含一個「Hello World」聊天機器人，它讀取使用者提示並回顯結果：

 prompt = input ()
print ( f"Echo: { prompt } " )

我們設計這個套件時考慮到了簡單性，程式碼的工作就是讀取輸入並寫入輸出，僅此而已。也就是說，您可以創建使用 LLM 的聊天機器人、生成圖像，甚至使用連接到資料庫的工具，甚至建立網站和遊戲！

創建

預設情況下， hal9 create預設使用--template echo模板，但您可以選擇不同的模板，如下所示：

hal9 create chatbot-openai --template openai
hal9 create chatbot-groq --template groq

模板提供具有特定技術和用例的現成程式碼。使用 OpenAI 的類似 ChatGPT 的模板與--template openai非常流行，產生的程式碼如下所示：

 import hal9 as h9
from openai import OpenAI

messages = h9 . load ( "messages" , [])
prompt = h9 . input ( messages = messages )

completions = OpenAI (). chat . completions . create ( model = "gpt-4" , messages = messages , stream = True )

h9 . complete ( completions , messages = messages )
h9 . save ( "messages" , messages , hidden = True )

學習部分詳細解釋了此程式碼的工作原理，但將提供快速概述。 hal9套件包含一個輔助函數來簡化您的生成式 AI 程式碼。您可以選擇完全不使用hal9並自己使用input()和print()語句，甚至可以使用像langchain這樣的工具。 h9.load()和h9.save()函數在聊天會話中載入和保存數據，我們的平台預設是無狀態的。 h9.input()函數是input()的精簡包裝器，它也將使用者輸入儲存在messages中。然後h9.complete()是一個輔助函數，幫助解析完成結果並將結果保存在messages中。就是這樣！

發展

若要變更您的項目，請在 IDE 中開啟chatbot/並修改chatbot/app.py 。

然後您可以按如下方式運行您的專案：

hal9 run chatbot

如果您使用--template自訂了模板，請確保設定正確的金鑰，例如，如果您使用的是適用於 Linux 或 macOS 的 OpenAI 模板：

 export OPENAI_KEY=YOUR_OPENAI_KEY.

對於 Windows 使用：

 set OPENAI_KEY=YOUR_OPENAI_KEY.

有關取得和使用 OpenAI API 金鑰的更多信息，請參閱 OpenAI API 金鑰文件。

然後，您可以使用以下命令在本機上運行您的應用程式：

hal9 run chatbot

此指令只是一個方便的包裝器，可以使用python app.py等內容自行執行程式碼。

部署

部署命令將準備部署您的生成應用程式。

例如，您可以將部署準備為產生應用程式 (Hal9)。我們還計劃向 Docker 提供部署，開源社群可以進一步擴展這一點。

hal9 deploy chatbot --target hal9

每個命令的任務是準備專案資料夾的部署。例如， --target docker應建立一個Dockerfile文件，使該專案準備好在雲端容器中運行。

對於個人使用， --target hal9支援hal9.com上的免費套餐；企業支援也可以透過--target hal9 --url hal9.yourcompany.com進行部署