ngoprek llm

Ngoprek LLM (modelo de lenguaje grande)

Requerido: Node.js 18 o posterior.

La siguiente demostración se puede ejecutar usando GPT de OpenAI o un LLM local.

Método n.º 1 : para acceder a la API desde OpenAI, necesita una clave API de OpenAI que se almacena en una variable de entorno llamada OPENAI_API_KEY . ¡Lea cómo generar una clave API y no olvide usarla de forma segura!

° 2 : primero ejecute LocalAI y tome un modelo adecuado, por ejemplo LLama 2 7B, en formato GGML. Luego configure las dos variables de entorno OPENAI_API_BASE para hacer referencia a la dirección del servidor de LocalAI y CHAT_MODEL para seleccionar el nombre del modelo a usar.

Ejemplo de pasos detallados:

$ curl -OL https://github.com/go-skynet/LocalAI/releases/download/v1.23.2/local-ai-avx-Linux-x86_64
$ chmod +x ./local-ai-avx-Linux-x86_64
$ curl -OL https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin
$ mv llama-2-7b-chat.ggmlv3.q4_0.bin models/
$ ./local-ai-avx-Linux-x86_64
$ export CHAT_MODEL= ' llama-2-7b-chat.ggmlv3.q4_0.bin '
$ export OPENAI_API_BASE= ' http://127.0.0.1:8080 '

Versión JavaScript

Ejemplo de ejecución de una demostración para completar una oración ( completar ):

 $ node complete.js "Sukarno dan Hatta pada tahun 1945"

Ejemplo de ejecución de una demostración para preguntar:

 $ node ask.js "Berapa jumlah penduduk Bandung?"

Ejemplo de ejecución de una demostración para encontrar información detallada:

 $ node query.js "Berapa koordinat geografis dari Bandung?"

 diagrama de secuencia
  cliente participante
  Participante del LLM
  participante Geocodificador
  Cliente->>+LLM: "¿Cuáles son las coordenadas geográficas de Bandung?"
  LLM-->>+Geocodificador: código geográfico("Bandung")
  Geocodificador-->>+LLM: {"lat":-6.9,"long":107.6}
  LLM->>+Cliente: "Bandung está en la latitud -6,9 y la longitud 107,6".

 $ node query.js "Bagaimana suhu di ibukota Jawa Timur?"

 diagrama de secuencia
  cliente participante
  Participante del LLM
  participante Geocodificador
  estación meteorológica participante
  Cliente->>+LLM: "¿Cómo es la temperatura en la capital de Java Oriental?"
  Nota a la derecha de LLM: capital de Java Oriental = Surabaya
  LLM-->>+Geocodificador: código geográfico ("Surabaya")
  Geocodificador-->>+LLM: {"lat":-7.3,"long":112.7}
  LLM-->>+Estación meteorológica: Estación meteorológica (-7.3, 112.7)
  Estación meteorológica-->>+LLM: {"principal": {"temp": 27}}
  LLM->>+Cliente: "La temperatura en Surabaya ronda los 27°C"

Versión Clojure

La versión de demostración de Clojure se puede ejecutar directamente a través del terminal como se muestra a continuación, pero es mejor comprenderla y probarla usando REPL (por ejemplo, con Visual Studio Code + Calva o Vim/NeoVim + complemento vim-iced).

Primero, asegúrese de que los módulos necesarios estén instalados:

 $ npm install

Ejemplo de ejecución de una demostración para completar una oración ( completar ):

 $ npm run nbb complete.cljs "Ibukota Indonesia adalah"

Ejemplo de ejecución de una demostración para preguntar:

 $ npm run nbb ask.cljs "Apa ibukota Jawa Timur?"

Ejemplo de ejecución de una demostración para encontrar información detallada:

 $ npm run nbb probe.cljs "Kapan saya terakhir ke Bandung?"