生成 (LLM とディフューザー) アプリケーション (チャットボットと API) を数秒で作成してデプロイします。
input()
とprint()
を使用するか、ファイルをディスクに書き込むだけです。AI (RAG、微調整、調整、トレーニング) に集中し、エンジニアリング タスク (フロントエンド開発、バックエンド統合、展開、運用) をスキップします。
次のようにチャットボットを数秒で作成して共有します。
pip install hal9
hal9 create chatbot
hal9 deploy chatbot
deploy
hal9.com/devs から取得できる API トークンを含むHAL9_TOKEN
環境変数が必要であることに注意してください。このトークンを使用して、ローカル コンピューター、ノートブックからデプロイしたり、GitHub から自動化したりできます。
HAL9_TOKEN=H9YOURTOKEN hal9 deploy chatbot --name my_first_chatbot
とても簡単に、最初のチャットボットが作成されました。
/chatbot/app.py
内のコードには、ユーザー プロンプトを読み取り、結果をエコー バックする「Hello World」チャットボットが含まれています。
prompt = input ()
print ( f"Echo: { prompt } " )
私たちはシンプルさを念頭に置いてこのパッケージを設計しました。コードの仕事は入力を読み取って出力を書き込むことだけです。とはいえ、LLM を使用するチャットボットを作成したり、画像を生成したり、データベースに接続するツールを使用したり、Web サイトやゲームを構築したりすることもできます。
デフォルトでは、 hal9 create
--template echo
テンプレートをデフォルトとしますが、次のように別のテンプレートを選択することもできます。
hal9 create chatbot-openai --template openai
hal9 create chatbot-groq --template groq
テンプレートは、特定のテクノロジーとユースケースを備えたすぐに使用できるコードを提供します。 --template openai
を使用して OpenAI の ChatGPT に似たテンプレートを使用するのが非常に一般的です。生成されるコードは次のようになります。
import hal9 as h9
from openai import OpenAI
messages = h9 . load ( "messages" , [])
prompt = h9 . input ( messages = messages )
completions = OpenAI (). chat . completions . create ( model = "gpt-4" , messages = messages , stream = True )
h9 . complete ( completions , messages = messages )
h9 . save ( "messages" , messages , hidden = True )
「学習」セクションでは、このコードがどのように機能するかについて詳しく説明しますが、概要も簡単に説明します。 hal9
パッケージには、生成 AI コードを簡素化するヘルパー関数が含まれています。 hal9
まったく使用せず、 input()
およびprint()
ステートメントを自分で使用するか、 langchain
のようなツールを使用することもできます。 h9.load()
とh9.save()
関数は、チャット セッション全体でデータをロードおよび保存します。プラットフォームはデフォルトでステートレスです。 h9.input()
関数は、 input()
のスリムなラッパーであり、ユーザー入力をmessages
に保存します。 h9.complete()
は、完了結果を解析し、結果をmessages
に保存するのに役立つヘルパー関数です。それくらいです!
プロジェクトに変更を加えるには、IDE でchatbot/
を開き、 chatbot/app.py
変更します。
その後、次のようにプロジェクトを実行できます。
hal9 run chatbot
--template
を使用してテンプレートをカスタマイズした場合は、必ず正しいキーを設定してください。たとえば、Linux または macOS 用の OpenAI テンプレートを使用している場合は、次のようにします。
export OPENAI_KEY=YOUR_OPENAI_KEY.
Windows の場合:
set OPENAI_KEY=YOUR_OPENAI_KEY.
OpenAI API キーの取得と使用の詳細については、OpenAI API キーのドキュメントを参照してください。
その後、次のようにしてアプリケーションをローカルで実行できます。
hal9 run chatbot
このコマンドはpython app.py
などを使用してコードを自分で実行するための単なる便利なラッパーです。
デプロイ コマンドは、生成アプリのデプロイを準備します。
たとえば、生成アプリ (Hal9) としてデプロイを準備できます。 Docker へのデプロイメントも提供する計画があり、オープンソース コミュニティはこれをさらに拡大できます。
hal9 deploy chatbot --target hal9
各コマンドは、プロジェクト フォルダーの展開を準備する役割を果たします。たとえば、 --target docker
このプロジェクトをクラウド コンテナーで実行できるようにするDockerfile
ファイルを作成する必要があります。
個人使用の場合、 --target hal9
hal9.com
の無料利用枠をサポートします。エンタープライズ サポートは、 --target hal9 --url hal9.yourcompany.com
を使用して展開することもできます。