hal9

Hal9：创建和共享生成应用程序

在几秒钟内创建和部署生成（法学硕士和扩散器）应用程序（聊天机器人和 API）。

• 开放：使用任何模型（OpenAI、Llama、Groq、MidJourney）和任何库（例如（LangChain、DSPy））。
• 直观：无需学习应用程序框架（Flask），只需使用input()和print() ，或将文件写入磁盘。
• 可扩展：工程师可以将您的应用程序与可扩展技术（Docker、Kubernetes 等）集成
• 功能强大：使用操作系统进程（stdin、stdout、文件）作为我们的应用程序合约，可以实现长时间运行的代理、多种编程语言和复杂的系统依赖项。

专注于人工智能（RAG、微调、对齐、培训）并跳过工程任务（前端开发、后端集成、部署、运营）。

入门

在几秒钟内创建并共享聊天机器人，如下所示：

pip install hal9

hal9 create chatbot
hal9 deploy chatbot

请注意， deploy需要一个HAL9_TOKEN环境变量以及一个可以从 hal9.com/devs 获取的 API 令牌。您可以使用此令牌从本地计算机、笔记本进行部署或从 GitHub 进行自动化部署。

HAL9_TOKEN=H9YOURTOKEN hal9 deploy chatbot --name my_first_chatbot

就像您创建了第一个聊天机器人一样简单！

/chatbot/app.py中的代码包含一个“Hello World”聊天机器人，它读取用户提示并回显结果：

 prompt = input ()
print ( f"Echo: { prompt } " )

我们设计这个包时考虑到了简单性，代码的工作就是读取输入并写入输出，仅此而已。也就是说，您可以创建使用 LLM 的聊天机器人、生成图像，甚至使用连接到数据库的工具，甚至构建网站和游戏！

创建

默认情况下， hal9 create默认使用--template echo模板，但您可以选择不同的模板，如下所示：

hal9 create chatbot-openai --template openai
hal9 create chatbot-groq --template groq

模板提供具有特定技术和用例的现成代码。使用 OpenAI 的类似 ChatGPT 的模板与--template openai非常流行，生成的代码如下所示：

 import hal9 as h9
from openai import OpenAI

messages = h9 . load ( "messages" , [])
prompt = h9 . input ( messages = messages )

completions = OpenAI (). chat . completions . create ( model = "gpt-4" , messages = messages , stream = True )

h9 . complete ( completions , messages = messages )
h9 . save ( "messages" , messages , hidden = True )

学习部分详细解释了此代码的工作原理，但将提供快速概述。 hal9包包含一个辅助函数来简化您的生成式 AI 代码。您可以选择根本不使用hal9并自己使用input()和print()语句，甚至可以使用像langchain这样的工具。 h9.load()和h9.save()函数在聊天会话中加载和保存数据，我们的平台默认是无状态的。 h9.input()函数是input()的一个精简包装器，它还将用户输入存储在messages中。然后h9.complete()是一个辅助函数，帮助解析完成结果并将结果保存在messages中。就是这样！

发展

要更改您的项目，请在 IDE 中打开chatbot/并修改chatbot/app.py 。

然后您可以按如下方式运行您的项目：

hal9 run chatbot

如果您使用--template自定义了模板，请确保设置正确的密钥，例如，如果您使用的是适用于 Linux 或 macOS 的 OpenAI 模板：

 export OPENAI_KEY=YOUR_OPENAI_KEY.

对于 Windows 使用：

 set OPENAI_KEY=YOUR_OPENAI_KEY.

有关获取和使用 OpenAI API 密钥的更多信息，请参阅 OpenAI API 密钥文档。

然后，您可以使用以下命令在本地运行您的应用程序：

hal9 run chatbot

此命令只是一个方便的包装器，可以使用python app.py等内容自行运行代码。

部署

部署命令将准备部署您的生成应用程序。

例如，您可以将部署准备为生成应用程序 (Hal9)。我们还计划向 Docker 提供部署，开源社区可以进一步扩展这一点。

hal9 deploy chatbot --target hal9

每个命令的任务是准备项目文件夹的部署。例如， --target docker应创建一个Dockerfile文件，使该项目准备好在云容器中运行。

对于个人使用， --target hal9支持hal9.com上的免费套餐；企业支持也可以通过--target hal9 --url hal9.yourcompany.com进行部署