ngoprek llm

Ngoprek LLM（大語言模型）

必需：Node.js 18 或更高版本。

以下示範可以使用 OpenAI 的 GPT或本地 LLM 運行。

方法#1 ：要從 OpenAI 存取 API，您需要 OpenAI 的API金鑰，該金鑰儲存在名為OPENAI_API_KEY的環境變數中。請閱讀如何產生 API 金鑰，並且不要忘記安全地使用此 API 金鑰！

方法#2 ：先執行 LocalAI 並採用適當的模型，例如 GGML 格式的 LLama 2 7B。然後設定兩個環境變數OPENAI_API_BASE來引用LocalAI的伺服器位址和CHAT_MODEL來選擇要使用的模型名稱。

詳細步驟範例：

$ curl -OL https://github.com/go-skynet/LocalAI/releases/download/v1.23.2/local-ai-avx-Linux-x86_64
$ chmod +x ./local-ai-avx-Linux-x86_64
$ curl -OL https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin
$ mv llama-2-7b-chat.ggmlv3.q4_0.bin models/
$ ./local-ai-avx-Linux-x86_64
$ export CHAT_MODEL= ' llama-2-7b-chat.ggmlv3.q4_0.bin '
$ export OPENAI_API_BASE= ' http://127.0.0.1:8080 '

JavaScript 版本

運行演示來完成句子的範例（完成）：

 $ node complete.js "Sukarno dan Hatta pada tahun 1945"

執行示範詢問的範例：

 $ node ask.js "Berapa jumlah penduduk Bandung?"

運行演示以查找詳細資訊的範例：

 $ node query.js "Berapa koordinat geografis dari Bandung?"

序列圖
  參與者客戶
  法學碩士參與者
  參與者地理編碼器
  客戶->>+LLM：“萬隆的地理座標是多少？”
  法學碩士-->>+地理編碼器：地理編碼（“萬隆”）
  地理編碼器-->>+LLM: {"lat":-6.9,"long":107.6}
  LLM->>+客戶：“萬隆位於緯度-6.9，經度107.6。”

 $ node query.js "Bagaimana suhu di ibukota Jawa Timur?"

序列圖
  參與者客戶
  法學碩士參與者
  參與者地理編碼器
  參與者氣象站
  客戶->>+LLM：“東爪哇首都的氣溫怎麼樣？”
  LLM註右：東爪哇省首府=泗水
  法學碩士-->>+地理編碼器：地理編碼（「泗水」）
  地理編碼器-->>+LLM: {"lat":-7.3,"long":112.7}
  法學碩士-->>+氣象站：氣象站(-7.3, 112.7)
  氣象站-->>+LLM: {"main": {"temp": 27}}
  LLM->>+客戶：“泗水的氣溫約27°C”

Clojure 版本

Clojure 的示範版本可以直接透過終端機運行，如下所示，但最好使用 REPL 來理解並嘗試它（例如使用 Visual Studio Code + Calva 或 Vim/NeoVim + vim-iced 外掛程式）。

首先，請確保安裝了所需的模組：

 $ npm install

運行演示來完成句子的範例（完成）：

 $ npm run nbb complete.cljs "Ibukota Indonesia adalah"

執行示範詢問的範例：

 $ npm run nbb ask.cljs "Apa ibukota Jawa Timur?"

運行演示以查找詳細資訊的範例：

 $ npm run nbb probe.cljs "Kapan saya terakhir ke Bandung?"