ngoprek llm

Ngoprek LLM (grand modèle de langage)

Obligatoire : Node.js 18 ou version ultérieure.

La démo suivante peut être exécutée à l'aide de GPT depuis OpenAI ou d'un LLM local.

Méthode n°1 : Pour accéder à l'API depuis OpenAI, vous avez besoin d'une clé API d'OpenAI qui est stockée dans une variable d'environnement appelée OPENAI_API_KEY . Veuillez lire comment générer une clé API et n'oubliez pas d'utiliser cette clé API en toute sécurité !

Méthode n°2 : Exécutez d'abord LocalAI et prenez un modèle adapté, par exemple LLama 2 7B, au format GGML. Définissez ensuite les deux variables d'environnement OPENAI_API_BASE pour faire référence à l'adresse du serveur LocalAI et CHAT_MODEL pour sélectionner le nom du modèle à utiliser.

Exemple d'étapes détaillées :

$ curl -OL https://github.com/go-skynet/LocalAI/releases/download/v1.23.2/local-ai-avx-Linux-x86_64
$ chmod +x ./local-ai-avx-Linux-x86_64
$ curl -OL https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin
$ mv llama-2-7b-chat.ggmlv3.q4_0.bin models/
$ ./local-ai-avx-Linux-x86_64
$ export CHAT_MODEL= ' llama-2-7b-chat.ggmlv3.q4_0.bin '
$ export OPENAI_API_BASE= ' http://127.0.0.1:8080 '

Version JavaScript

Exemple d'exécution d'une démo pour compléter une phrase ( achèvement ) :

 $ node complete.js "Sukarno dan Hatta pada tahun 1945"

Exemple d'exécution d'une démo pour demander :

 $ node ask.js "Berapa jumlah penduduk Bandung?"

Exemple d'exécution d'une démo pour trouver des informations détaillées :

 $ node query.js "Berapa koordinat geografis dari Bandung?"

 diagramme de séquence
  client participant
  Participant au LLM
  Géocodeur participant
  Client->>+LLM : "Quelles sont les coordonnées géographiques de Bandung ?"
  LLM-->>+Géocodeur : géocode("Bandung")
  Géocodeur-->>+LLM : {"lat":-6.9,"long":107.6}
  LLM->>+Client : "Bandung est à la latitude -6,9 et à la longitude 107,6."

 $ node query.js "Bagaimana suhu di ibukota Jawa Timur?"

 diagramme de séquence
  client participant
  Participant au LLM
  Géocodeur participant
  Station météo des participants
  Client->>+LLM : « Quelle est la température dans la capitale de l'Est de Java ?
  Noter à droite du LLM : capitale de Java Est = Surabaya
  LLM-->>+Géocodeur : géocode("Surabaya")
  Géocodeur-->>+LLM : {"lat":-7.3,"long":112.7}
  LLM ->>+WeatherStation : WeatherStation (-7,3, 112,7)
  Station météo-->>+LLM : {"main": {"temp": 27}}
  LLM->>+Client : "La température à Surabaya est d'environ 27°C"

Version Clojure

La version démo de Clojure peut être exécutée directement via le terminal comme indiqué ci-dessous, mais il est préférable de la comprendre et de l'essayer en utilisant le REPL (par exemple avec Visual Studio Code + Calva ou Vim/NeoVim + plugin vim-iced).

Tout d’abord, assurez-vous que les modules requis sont installés :

 $ npm install

Exemple d'exécution d'une démo pour compléter une phrase ( achèvement ) :

 $ npm run nbb complete.cljs "Ibukota Indonesia adalah"

Exemple d'exécution d'une démo pour demander :

 $ npm run nbb ask.cljs "Apa ibukota Jawa Timur?"

Exemple d'exécution d'une démo pour trouver des informations détaillées :

 $ npm run nbb probe.cljs "Kapan saya terakhir ke Bandung?"