ngoprek llm

Ngoprek LLM（大语言模型）

必需：Node.js 18 或更高版本。

以下演示可以使用 OpenAI 的 GPT或本地 LLM 运行。

方法#1 ：要从 OpenAI 访问 API，您需要 OpenAI 的API密钥，该密钥存储在名为OPENAI_API_KEY的环境变量中。请阅读如何生成 API 密钥，并且不要忘记安全地使用此 API 密钥！

方法#2 ：首先运行 LocalAI 并采用合适的模型，例如 GGML 格式的 LLama 2 7B。然后设置两个环境变量OPENAI_API_BASE来引用LocalAI的服务器地址和CHAT_MODEL来选择要使用的模型名称。

详细步骤示例：

$ curl -OL https://github.com/go-skynet/LocalAI/releases/download/v1.23.2/local-ai-avx-Linux-x86_64
$ chmod +x ./local-ai-avx-Linux-x86_64
$ curl -OL https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin
$ mv llama-2-7b-chat.ggmlv3.q4_0.bin models/
$ ./local-ai-avx-Linux-x86_64
$ export CHAT_MODEL= ' llama-2-7b-chat.ggmlv3.q4_0.bin '
$ export OPENAI_API_BASE= ' http://127.0.0.1:8080 '

JavaScript 版本

运行演示来完成句子的示例（完成）：

 $ node complete.js "Sukarno dan Hatta pada tahun 1945"

运行演示询问的示例：

 $ node ask.js "Berapa jumlah penduduk Bandung?"

运行演示以查找详细信息的示例：

 $ node query.js "Berapa koordinat geografis dari Bandung?"

序列图
  参与者客户
  法学硕士参与者
  参与者地理编码器
  客户->>+LLM：“万隆的地理坐标是多少？”
  法学硕士-->>+地理编码器：地理编码（“万隆”）
  地理编码器-->>+LLM: {"lat":-6.9,"long":107.6}
  LLM->>+客户：“万隆位于纬度-6.9，经度107.6。”

 $ node query.js "Bagaimana suhu di ibukota Jawa Timur?"

序列图
  参与者客户
  法学硕士参与者
  参与者地理编码器
  参与者气象站
  客户->>+LLM：“东爪哇首都的气温怎么样？”
  LLM注右：东爪哇省首府=泗水
  法学硕士-->>+地理编码器：地理编码（“泗水”）
  地理编码器-->>+LLM: {"lat":-7.3,"long":112.7}
  法学硕士-->>+气象站：气象站(-7.3, 112.7)
  气象站-->>+LLM: {"main": {"temp": 27}}
  LLM->>+客户：“泗水的气温约为27°C”

Clojure 版本

Clojure 的演示版本可以直接通过终端运行，如下所示，但最好使用 REPL 来理解和尝试它（例如使用 Visual Studio Code + Calva 或 Vim/NeoVim + vim-iced 插件）。

首先，确保安装了所需的模块：

 $ npm install

运行演示来完成句子的示例（完成）：

 $ npm run nbb complete.cljs "Ibukota Indonesia adalah"

运行演示询问的示例：

 $ npm run nbb ask.cljs "Apa ibukota Jawa Timur?"

运行演示以查找详细信息的示例：

 $ npm run nbb probe.cljs "Kapan saya terakhir ke Bandung?"