ngoprek llm
1.0.0
必須: Node.js 18 以降。
次のデモは、OpenAIまたはローカル LLM の GPT を使用して実行できます。
方法 #1 : OpenAI から API にアクセスするには、 OPENAI_API_KEYという環境変数に保存されている OpenAI からのAPIキーが必要です。 API キーの生成方法を読んで、この API キーを安全に使用することを忘れないでください。
方法 #2 : 最初に LocalAI を実行し、GGML 形式の適切なモデル (LLama 2 7B など) を取得します。次に、LocalAI のサーバー アドレスを参照する 2 つの環境変数OPENAI_API_BASEと、使用するモデル名を選択するCHAT_MODELを設定します。
$ curl -OL https://github.com/go-skynet/LocalAI/releases/download/v1.23.2/local-ai-avx-Linux-x86_64
$ chmod +x ./local-ai-avx-Linux-x86_64
$ curl -OL https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin
$ mv llama-2-7b-chat.ggmlv3.q4_0.bin models/
$ ./local-ai-avx-Linux-x86_64
$ export CHAT_MODEL= ' llama-2-7b-chat.ggmlv3.q4_0.bin '
$ export OPENAI_API_BASE= ' http://127.0.0.1:8080 'デモを実行して文を完成させる例 ( completed ):
$ node complete.js "Sukarno dan Hatta pada tahun 1945"
デモを実行して質問する例:
$ node ask.js "Berapa jumlah penduduk Bandung?"
デモを実行して詳細情報を確認する例:
$ node query.js "Berapa koordinat geografis dari Bandung?"
シーケンス図
参加者 クライアント
LLM参加者
参加者ジオコーダー
クライアント->>+LLM: 「バンドンの地理座標は何ですか?」
LLM-->>+ジオコーダ: geocode("バンドン")
ジオコーダー-->>+LLM: {"緯度":-6.9,"経度":107.6}
LLM->>+クライアント: 「バンドンは緯度 -6.9、経度 107.6 にあります。」
$ node query.js "Bagaimana suhu di ibukota Jawa Timur?"
シーケンス図
参加者 クライアント
LLM参加者
参加者ジオコーダー
参加者ウェザーステーション
クライアント->>+LLM: 「東ジャワの首都の気温はどうですか?」
LLMの右に注意：東ジャワ州の首都＝スラバヤ
LLM-->>+ジオコーダ: geocode("スラバヤ")
ジオコーダー-->>+LLM: {"緯度":-7.3,"経度":112.7}
LLM-->>+ウェザーステーション: ウェザーステーション(-7.3, 112.7)
WeatherStation-->>+LLM: {"メイン": {"温度": 27}}
LLM->>+クライアント: 「スラバヤの気温は約 27°C です。」
Clojure のデモ バージョンは、以下に示すようにターミナル経由で直接実行できますが、REPL を使用して (たとえば、Visual Studio Code + Calva または Vim/NeoVim + vim-iced プラグインを使用して) 理解して試してみることをお勧めします。
まず、必要なモジュールがインストールされていることを確認します。
$ npm install
デモを実行して文を完成させる例 ( completed ):
$ npm run nbb complete.cljs "Ibukota Indonesia adalah"
デモを実行して質問する例:
$ npm run nbb ask.cljs "Apa ibukota Jawa Timur?"
デモを実行して詳細情報を確認する例:
$ npm run nbb probe.cljs "Kapan saya terakhir ke Bandung?"
